＞それなら出来そうですが・・・、俺ならこのデータでも十分だ！、とか言いそうで怖い・・・。
SVMって聞いたことある？サポートベクターマシン。
少ない教師信号でも未知データに対する精度がBP法より高いと言われてるから、
それと同程度ならBP法でも十分な学習ができたと判断していいんじゃないかな。
SVMライブラリはググればいくつか見つかる。