＞色距離情報を24bit integerに集約できればかなり高速化出来るじゃないかって話をしてるんだ

簡単だよ、でも事前の作業やメモリ使用量は半端なく大きくなる
L*a*b*でも何でも良いが、その色距離情報とやらの各要素値の取り得る最大値を定義する
それを要素の最大値としたベクトルを想定し、
そのベクトルの要素の値の組み合わせを整数値で良いから全パターンテーブル化
今度は、そのベクトルテーブルが指す一つ一つのベクトルと、他の全テーブルのベクトルの組み合わせ
(このベクトル同士の組み合わせを色差とみなす)をテーブル化すれば、
そのテーブルのインデックスがお望みの色距離情報を24bit integerに集約だろ
24bitで数が足りるかは知らんがｗ