Form.KeyPreview := Trueでフォームがキー入力を受け取るようにして
フォームのOnKeyPressイベントに下のような処理を追加する。
後は十字キーが押された時の処理を書けばいい

procedure TForm1.FormKeyPress(Sender: TObject; var Key: Char);
begin
case Key of
Char(VK_UP) : 　//図形上へ移動;
Char(VK_DOWN) : //図形下へ移動;
Char(VK_LEFT) : 　//図形左へ移動;
Char(VK_RIGHT): 　//図形右へ移動;
end;
end;