トラックポイントでスクロールできたよ
Section "ServerFlags"
Option "AutoAddDevices" "false"
EndSection
いまんとこ、evdevが悪いようだ