とりあえず、着実に、
いったんネットワークタイムサーバへの同期機能を止めてから
(実質的には ntpd を止めてから)

sudo ntpdate お前様の好きなntpサーバ

とかやって 1 step ずつ検証してみるのがええんでは？