せっかく相談しているわけだから、強行しないで、もう少し待ってみてはいかがですか？
個人的には、建てても構わないものと思いますけど。