確かに特定の固定IPアドレスからのみ許可しているのなら、当面は大丈夫かもしれない。
でもさすがにTELNETはやばい。
平文通信なので、キャプチャされたらIDもPASSもだだ漏れ。
で、IPアドレスを偽装されると?

まあ、誰が何の得があってそんなことをやるんだって言う話もあるが、
それしか手段がないのならともかく、他にもっと安全な方法があるんだから、
そっちを選んだ方が良い。