とりあえず、フーリエ解析やった後に信号処理を勉強したらいい
その後で
青木 直史 著『C言語ではじめる音のプログラミング』
http://floor13.sakura.ne.jp/book03/book03.html
を読むといい