ポインタというのは参照（リファレンス）という抽象概念を、
アドレスという実体で実装したものだと思うのだが、
参照だけでも難しいのかな？

まぁ、抽象概念というのは当たり前すぎて難しかったりする物ではあるけれど…
例：プログラム・関数・変数など

抽象概念を身につけるには、比喩や具体例を積み重ねつつ、
そこにある関係を丁寧に対応付けて、パターン認識力を育てていくのが王道で、
定義とか説明とかにこだわりすぎるとかえってハマるような気がする。