縦書き句読点大丈夫ですよ。
試しに横書きのものを縦書きにしてみたり、
最初から縦書きでやってみたりしましたが、
問題なさそうです。

主にヒラギノ角ゴ Pro W3を使いました。
それ以外でも大丈夫でしたが。