gcc自体はこれでもかってぐらい最適化できるからね
最適化しまくれば遅くなるでしょね
archに依存しない中間コードをarch毎に埋め込むタイプはそりゃ早いでしょ
コードサイズもそれなりにコンパクトなものができるようですし