>>225
内積を使う
(BA↑・BC↑)/(|BA↑|*|BC↑|)

平面座標なら
(x_a-x_b)(x_c-x_b)+(y_a-y_b)(y_c-y_b) /
√(((x_a-x_b)^2+(y_a-y_b)^2)((x_c-x_b)^2+(y_c-y_b)^2))

それとも空間座標?