> 戻すと同時に同じ色の玉を３個戻す
ってのは日本語としておかしい気がするが
「取り出したものは戻し、それに加えて同じ色のタマを3個新たに入れる」
という意味かな?
だったら、n回目の試行ではタマの総数はx+y+3(n-1)個になってるわけだが。