コンサートのマナーについて、詳しい方の意見を聞かせてもらえないでしょうか？

先日行ったクラシックのコンサートで、右隣の男性が膝の上に置いた手でリズムをとっており、
手の動きは曲調に合わせて大きく動いたり小さくなったりという感じで、
体も少しリズムに合わせて揺れている様や感じでした。

休憩になった際「気になるんで手を動かさないでもらえます？」とその男性の右隣の方が言い、
少し何かを話してたと思ったら、注意された男性が私に「気になりました？」と聞いて来ました。
私は手の動きには気づいてましたが、クラシックコンサートなどほとんど行ったことがないので、
そういうものだと思ってあまり気にしてませんでした。

そんなのが気になるなんて神経質ですよね〜？みたいなニュアンスだったんで、
なんと答えていいのかわからず苦笑で乗り切ったのですが、
本来のマナーはどうなのでしょうか？