可能。
ただしIP電話を使うためにはモデム自体にPPPoE接続を張らせないといけないので、
・モデム(ルータ)中のIP電話が張るPPPoE接続
・お手持ちルータが張るPPPoE接続
の2本の接続を張ることになる。
プロバイダが複数同時接続を認めない場合はプロバイダのアカウントも2つ必要
なので、別々にプロバイダと契約してる同居人がいる場合以外はちょっと嬉しくない。

別解としては
モデム(ルータ)の内側にお手持ちのルータを繋ぎ(つまり2段になるわけだが)、
必要なら一定のポート範囲を静的NAT指定してそのまま内側ルータに通して
しまうようにする(IP電話自体も呼制御や通話データの必要があるので全部の
ポートを使えるわけじゃないが)。


IPv6を通したいとかいう場合を除いて、
後者でほとんどの場合は問題ないんじゃないかと思うけど。