そのIntPtrをネイティブの中で使ってないよね?

Normalで作成したGCHandleのToIntPtrはネイティブコードの中で有効なポインタとして使えないはず
コールバックの中でGCHande.FromIntPtrとかやるなら可能

ネイティブ中で使うにはPinnedにしないとダメ