Activity側で記述することが多く、クラスファイルの肥大化が進み可読性が悪くなってしまいます。
複数のファイルに分割するなどして解決できればいいのですが、普通はどのような方法をとるのでしょうか？

もちろん処理毎に分けれる場合はクラスを作ってはいますが、各Viewの処理やActivityのイベントでごちゃごちゃしてしまいます。