MP3を例に挙げます。

・ヒトの耳には聞こえやすい周波数と聞こえ難い周波数というのがあって、
実験的に調べられた結果ラウドネス曲線という形で表すことができることが
知られています。
・ヒトの耳は大きな音があるとその周波数付近の一定範囲の小さな音は知覚
しにくいという特性が知られています。これを周波数マスキングと言います。
・ヒトの耳は大きな音があるとその時間前後の一定範囲の小さな音は知覚
しにくいという特性が知られています。これを時間マスキングと言います。

これらの特性を利用して、ヒトが聞こえ難いとされる部分をカットしても
聴者にとってあまり問題にならない、ということから、MP3エンコードでは
こういった操作がなされます。
さて、音質との関係ですが、この部分の実装がその音質とかかわっている
のではないかと思います。
ヒトの特性を利用したものというのは結構感覚的・実験的で、数学的には
まだ解明されていない部分でもあるので実装が異なってしまうのでしょう。