２ちゃんとかで引用に使われる">>"を判別して自動リンクつけたいんですが、

$text = ">>2は逝ってよし！";
$text =~ s/>>[0123456789]{1,3}/<a href="">$&<\/a>/g;

ココまではできたんですが、アンカーのURLに引用もとの数字を入れたいんですが
（この場合だと"2"）、それをどう取得したらよいか分かりません。
この正規表現の書き方では無理ですか？