とりあえずさ、適当なfamilyを指定したらどう？
plot(1,1,xlab="日本語",family="Osaka")
とか。
/System/Library/Fonts/の中には、
Hiragino Kaku Gothic ProN W3.otfはないでしょ。
Rprofileで存在しないフォントを指定したら豆腐になるでしょ。