問題がだいぶ絞り込めました

{-# LANGUAGE CPP #-}

たったこれだけ書かれた Test.hs ファイルを ghci 上でロードすると、

Test.hs:0:4: lexical error (UTF-8 decoding error)
Failed, modules loaded: none.

と表示されエラーとなりますが、エラーの意味が分かりません

{-# LANGUAGE Arrows #-}

例えばこれだけ書かれた Test.hs ファイルなら、普通にロードできます

これ GHC 7.2.2 のバグでしょうか
それとも意図された振る舞いなのでしょうか

後者なら、このエラーはどのような意味なのでしょうか