A(i,j) <=> A(j,i)として転置ができるのはM=Nの正方行列のときだけです。

例えば 4×8の行列の (2,6)成分は
2*8 + 6 = 22 だから A[22]ですよね

これを 8×4行列の (6,2)成分にするのだから
6*4 + 2 = 26 より A[26] に移動するわけです。

でも、もとの A[26] を A[22] と交換するのではだめなんです。
26 = 3 * 8 + 2 より A[26] = A(3,2) なわけですから、
これは転置後 A'(2,3) ＝ A[2*4+3]=A[11]にいれなきゃなりません

で、A[11] = A[1*8+3] = A(1,8)だから
A'(8,1) = A[8*4+1] = A[33] で
A[33] = …以下続く…