【敷居が高い】
不義理や面目のないことがあって、その人の家へ行きにくい。