>>344
x=[x]+yとおくと、(0≦y<1）
f(x)=([x]+a)((b-1)[x]+by)
xが整数nに左から近付くときは、[x]=n-1, y→1だから、
lim[x→1-0]f(x) = ab
xが整数nに右から近付くときは、[x]=n, y→0だから、
lim[x→1+0]f(x) = (a+1)(b-1)
...
こんなノリで解けると思う。（解けなかったらゴメン。）

>>315
とりあえず(1)のヒント。
Pが平行四辺形OACBの内部にあれば、△PAOと△PBCの面積の和は、
平行四辺形の面積の半分になる。（Pを通りOAに平行な線を加えれば分かると思う。）