binary netをchainerで実装し、
mnistだけ簡単に追試した。特に工夫もなく、
すんなり動いちゃいました。 いろいろ試してみてください。
https://github.com/hillbig/binary_net
http://arxiv.org/abs/1602.02830
GPU要らないかもしれない。