パンの酵母の香りと、糖分は矛盾しないよ。
というか、糖分ないと酵母は働かない。

生地の中の糖質と水分を、炭酸ガスとアルコールに変えるのが発酵。

素人が勘違いしやすいのは、酵母と酵素がごちゃになってる。

砂糖を入れないハード系の生地の中でも酵母が発酵できるのは、
それ以前に(と同時に、発酵と並行して)酵素がデンプンを分解して糖質に変えてるから。

ハード系に比べて菓子パンが楽なのは、糖質を人工的に足せるから。
粉のデンプンから糖質を引き出して、かつ酵母がそれを食べきらないように持っていって初めて、
粉の甘みの残るハード系が焼ける。