PictureBox の Graphics に直接描くんじゃなくて、
PictureBox の Image に自前で用意した Bitmap を設定してその Bitmap の Graphics に描画するようにすれ。