相変わらずよくわかってないトーシロですけども
とりあえず

・二進法の都合上、小数点以下の実数は完全には
表すことが出来ない
・実数を表すのに浮動小数点数方式を
使うがあくまで擬似的な手段かつ
何処かしらで丸めるので
必ず誤差は発生する。
しかしプログラミング次第でその誤差は小さくできる。

・一切の誤差が許されないような環境、
つまり銀行などの金融関係では
decimalを使う

一般教養としてはこういう理解で
よござんすよね？