まじめな話、信仰の有無にかかわらず、
神棚や仏壇は粗末にしないほうがいいよ。

神仏に関わるものを撤去したり、移動させるときは
必ず神職や僧侶に類する人が何かしらの儀式を済ませてからじゃないと。

身近な例で言うと、現代社会でも
土地に家を新築する前は地鎮祭を執り行うでしょ。
それと似たようなことっす。