この手の問題は学生のころ以来だからちょっとあやしいけど

|n1|
|n2|
|n3| を ベクトルN、　|a1,a2,a3,...|を行列A
|n4|
|: |

として、Aの逆行列を ^A とした場合、

問題から

s = N × A

したがって

s × ^A = N

というわけでAの逆行列を計算する問題にできるけど、
それって高速にできるのかな。