データ（X,Y）に拘束（ソートされてるとか）がない場合は、効率的なアルゴリズムってのはないんじゃないかな？
あんま詳しくないから自信ないけど。
行列の全データにアクセスするならcvmGet使うよりも、直接データポインタにアクセスしたほうが多少速いんじゃない？
コンパイラが最適化しやすい希ガス。