Form上のButton(Nameは「Button_FontSize」、Textは「フォントサイズを変える」)を
クリックするとそのTextが変わる様にしたいのです。

Private Sub Button_Fontsize_Click(ByVal (略)) Handles Button_Fontsize.Click
'現在のフォントサイズを調べて18かどうかで動作を決める
If Button_Fontsize.Font.Size = 18 Then
Button_Fontsize.Font.Size = 9
Else
Button_Fontsize.Font.Size = 18
End If
End Sub

これだとFont.SizeというPropertyの属性がReadOnlyになっている為ビルド中に怒られます。
このFont.Sizeを変更できるようにするにはどうすればいいのでしょうか？