本来の三温糖の色は砂糖を加熱してできるカラメルによるもので、これ自体は問題ではない（ただし黒砂糖のようなミネラル分はない）。
ところが、この色がばらつくという理由で、別に「カラメル色素」で着色して色を揃えた三温糖がある。
「カラメル色素」は着色料として製造されたカラメルだが、製法によりカラメルIからカラメルIVの4種類がある。
カラメルIIからカラメルIVは製造時に亜硫酸化合物、アンモニウム化合物のいずれか又は両方を使っており、この製法による不純物が問題視されている。
「カラメル色素」でもカラメルIは問題ないとされているが、日本ではカラメルIIIとカラメルIVが多く使われており、カラメルIはあまり使われていない。
製造コストが高いからである。
三温糖でもカラメル色素を使っていないものは問題なく、またカラメル色素を使っていてもカラメルIなら問題ないといえるが、ただ三温糖ではわからない。