>>201
TensorFlow分散環境が他のフレームワークより数倍遅いのはgRPCが遅いからだそうだ。
gRPC高速化パッチが登場したが変更点が多すぎて安定版にすぐにマージできない。

ChainerMN による分散深層学習の性能について
https://research.preferred.jp/2017/02/chainermn-benchmark-results/
grpc RecvTensor is slow
https://github.com/tensorflow/tensorflow/issues/6116