自分の勉強不足は重々承知しております。
教科書に載ってる程度のことは理解しているつもりですが、
いかんせん、実戦的な問題に慣れていないので・・・

この問題は、どこかの模試の過去問だと思います。
宿題に出され（もちろん解答も解説もありません）、（１）と（２）は自力でできたのですが、（３）が・・・

955さんから頂いたヒントを順に整理していくと、
OR↑＝ka↑とおく。
PR↑＝OR↑−OP↑
PR↑＝ka↑−(２/５)a↑−(３/１０)b↑
a↑⊥PR↑より
a↑⊥ka↑−(２/５)a↑−(３/１０)b↑

ここで内積＝０を使うと思うのですが、
a↑・{　ka↑−(２/５)a↑−(３/１０)b↑}＝０
？？？となってしまうのです。