ダメ元でその空き家最寄りの警察署（交番でも平気なんだろうか？）に
かくかくしかじかであそこの空き家が詐欺に悪用されています
と通報するべし。
完全な泣き寝入りをすると、他の人の被害を食い止められないとか以前に
あなたが追加被害を受ける可能性がある（詐欺営業とか詐欺DMとか詐欺勧誘とか）。
多少なりとも抵抗することは必須、でないと犯人になめられる。今後もカード以外で仕掛けられるよ。