passphraseではなくpasswordなので、これはパスワード認証
のためのログインパスワードであって、秘密鍵ファイルを読むための
パスフレーズではないのでは?

でもって、
Public/private keys are always tried before the explicit password authentication, even if you provide a password.
(http://net-ssh.rubyforge.org/chapter-2.html)

なので、公開鍵認証が行われている、と。

パスフレーズのほうは、空にするか、ssh-agentとかにお任せすることになるのではないでしょうか。