>>613
ビットは2進法での桁を表す言葉。
2進法(binary)+桁(digit)=ビット(bit = b + it) という風にして作られた造語。
     ~             ~~
例えば2進数 1010011 は7桁あるので7ビット。

ただ、ビット単位でデータを扱うのはサイズが細かすぎて不便なので、
普通は数ビット1かたまりでデータを扱う。
その最小単位がバイト(byte)。
コンピュータが一度に「口に入れられる」(扱える)単位ということで、
噛む(bite)になぞらえてバイト(byte)と名付けられた。
そういうわけなので、コンピュータによってバイトのサイズは異なるわけだが、
今のコンピュータでは1バイト=8ビットなものが多い。

積めるメモリの上限は OS によって異なる。
例えば 32ビット版の Windows XP は 3GB までのメモリしか使えない。
単に OS の制限であって、法則とかはない。