うる覚えだが、

高さ:幅:X軸:Y軸

こんな感じで指定するはず。
他のツールでは上下左右の切り取り幅を指定するがmencoderは違うぞ。