確率についての質問です。X=kの時の確率をP(x=k)とする。

…,k-1,k,k+1,…
かつ、kが整数の時、

一般式P(X=k)=P(X≦k)-P(X≦k-1)。
この一般式は、すべての確率計算において成り立つのですか? 
また成り立つならば、それはなぜですか?
よろしくお願いしますm(__)m