統計とかパターン認識とか
高級なことをしたいならウェーブレット変換とかで特徴抽出できる
簡単にやりたいならOpenCVでできる、まぁ原理が知りたければSIFTとかSURFとかの論文読めばいいよ
SIFTとか特許があるから気を付けてね

ネットワーク関係は専門じゃないので詳しくは知らない
トランスポート層しか扱ったこと無いので、詳しくは他の人頼む