スカイリムで定住したか、スリディールまで南下したか、ハイロックでエルフと混じったかの違いでしょ。
ブレトンやノルドから派生したんじゃなくて、一つの人間種からブレトンやノルド、インペリアルが派生したんでしょ。
大元をたどればエルフとも同じなんだろうけどさ。