大規模なNNになるとキャッシュに収まり切るような量じゃないから
GPU使ってもメモリのレイテンシのせいで死ぬほど遅くなるんだよな
参考書レベルの小規模なニューロン数ならGPUで数十倍〜数百倍と喧伝出来ても
万単位のNNになると処理時間の99%以上がメモリへのアクセス待ちで消費されてCPUの数倍がせいぜい