mplayerで正常に再生されてるなら xineの問題じゃないの?
xineはmplayerに比べて エラーに厳しい(すぐ異常終了する)感じがある
たしかmplayerでも以前は AAC音声のデコーダ faadの部分にパッチ当てないと
うまくデータを解釈出来なくてだめっていうケースが合ったと思うから...
mplayerは最近AACのデコードにlibfaadでなくffmpeg使うように変わったから大丈夫なのかも
mplayer -ac faad FILE だと不具合起きたりするならますます怪しいね

どっちみち 音声切替時に問題あるんだから パッチ当てればいいと思うんだけど;)