文字列操作と条件分岐、関数などの仕組みを使って作るしかないかと。XSLでも十分できますよ。
普通に使われている相対パスならhttp://サイト名/までが無ければ、そのhtmlがあるところのサイトと同じサイトにあるファイルです。
そのファイルがhoge.comのファイルなら、こんな感じかな
xsl:if select="start-with(@href,'http://hoge.com/') or not(start-with(@href,'http://'))"
もちろんhttp://HoGe.CoM/とか、IPで書かれていりとか、％エンコードとか他にも色々ありますが、実際に確認して条件を追加していくしかないでしょう。