複数カメラの取り込みを、VideoInputを使って以下のページを参考にして作りました。
ttp://www.eml.ele.cst.nihon-u.ac.jp/~momma/wiki/wiki.cgi/OpenCV/複数台のカメラ.html
ソースはほぼこのままで、2カメラにしただけです。

するとUSBカメラ（device0）の方は固まりがちで1fpsもでないくらいなのに、
ノートPCに内臓されてるカメラ(device1)の方は解像度が高くしてもスムーズに動作します。
USBの方はYUY2->RGB24の変換をしてるみたいなのでここに時間がかかってるんでしょうか？

VideoInputの出力を貼っておきます。
***** VIDEOINPUT LIBRARY - 0.1991 - TFW07 *****
VIDEOINPUT SPY MODE!

SETUP: Looking For Capture Devices
SETUP: 0) USB ﾓﾇｪ ﾇﾐ､ｹ
SETUP: 1) Integrated Camera
SETUP: 2 Device(s) found

SETUP: Setting up device 0
SETUP: USB ﾓﾇｪ ﾇﾐ､ｹ
SETUP: Couldn't find preview pin using SmartTee
SETUP: Setting capture size to 320 by 240
SETUP: Media Type is YUY2 converted to RGB24
SETUP: Capture callback set
SETUP: Device is setup and ready to capture.

SETUP: Setting up device 1
SETUP: Integrated Camera
SETUP: Couldn't find preview pin using SmartTee
SETUP: Setting capture size to 320 by 240
SETUP: Media Type is RGB24 no conversion needed
SETUP: Capture callback set
SETUP: Device is setup and ready to capture.