相手がSMTPで送信してれば相手のIPアドレスまで追えるしょ?
webメールとかだとやっかいですが。