ウィンドウモードなら、GDI経由でキャプチャできるかと。
Frapsは落としてないから詳しくは知らないが、DirectXをフックしてるか
ドライバレベルで介入しているんじゃないかね。

っていうか、Frapsと同じことしたいなら、それを使えばいいじゃない。