ん？機械には生の概念じたいがないんじゃないの？
事故になったときに、
「スイッチで被害を最小限にできるが、スイッチの場所から帰る耐久力はない」となったときに、
損得を考えて「自分と同機種を作り直す費用」と「押さないときに大きくなる損害予想」で、
後者が上回ればスイッチを押しに行くでしょ。

自我は仕組みもよくわからないが、
機械の自律に「自己保身」を組み込みはしないので。
あー、でも学習があるから上書きされるか。
となると、やっぱ80年代小説のように不文律のルールがいるのか。
「自分の価格を上回る被害がでそうなときは自壊を選択する」という。
「人を傷つけない」は却って効率が悪くなるだろうから付けないほうがいいが。