「かりん」の語源を調べてきました。
「花林糖/(かりんとう)」のかりんは花林/花梨の木の色に似ているから。
花梨は三味線にも使われるほど、硬く狂いにくい高級材で、
美しい黄褐色〜暗赤褐色だそうです。
もちろん硬さと色のイメージで「花林糖」なんでしょう。

ということは、素材がパンの耳でも何でも「かりん糖」の資格あり！ってことですね。