人間に見える色を数値化したのがHSVだから
HSVに変換して平均差の小さい色に統一すればいいと思うけど