>>594です
ありがとうございます!

a=aベクトル
b=bベクトルとすると
√1/2|a|^2|b|^2-(a・b)^2

こんなのもありませんでしたか?