「Retrunを押したというメッセージを送る」というのはうまくいってますよ。
ただそのときに既にALTが押されているので"Alt+Retrun"でフルスクリーン化
という動作になってしまっているのでしょう。

keybd_event(vbKeyReturn,0,0,0)
の前に
Public Const KEYEVENTF_KEYUP = &H2
keybd_event(vbKeyMenu,0,KEYEVENTF_KEYUP,0)
なんかやってみたらどうでしょう。
（試してませんがうまくいけばめっけものです。）

それかReturn押下時の処理を関数化し、"Alt+R"押下時に
その関数を呼ぶとか。（ベタですが．．．）