Javaのdoubleは
0.11999999999999999555910790149937383830547332763671875
と
0.12000000000000000943689570931383059360086917877197265625
の間の数が用意されていない。
ソースに「0.12」と書くとJavaコンパイラは勝手に前者に書き換えてしまう。
そして後者が君の答えに一番近かったと判断されたのだろうね。

どうしても100等分した12にきっちりこだわるのなら、
double使ったプログラムごと捨てて作り直した方がいい。