10bit には対応してないと思う
ttps://github.com/FFmpeg/FFmpeg/blob/master/libavfilter/vf_ssim.c#L248