やったことはないけど歪み過ぎてチェスボードが検出できないと思う。
Matlabなら魚眼対応ツールあるけど