結局全部削除した。
configure が自動生成する source 自体に directory が書かれてたから、
つまり directory を変更するには最初からやり直さないとならんってことだ。