VBRは曲全体で品質が一定になるようにビットレートを調整するモードだから
エンコーダにとって圧縮が難しいサンプルはビットレートが上がって当然。
上がるのが嫌な人はABRやCBRを使うしかない。