自己レス。

これで問題解決?。do-timestamp=true ! videorate !をオプションに加えた。
omxplayerで再生できるようになったが、時間が0から始まらないw まあいいか?

gst-launch-1.0 -e \
v4l2src do-timestamp=true ! videorate ! "video/x-raw,width=640,height=480,stream-format=byte-stream,framerate=30/1" ! \
omxh264enc target-bitrate=1000000 control-rate=variable ! \
video/x-h264,profile=high ! h264parse !\
mux. mp4mux name=mux ! \
filesink location=Output.mp4