非同期なら
GCHandle.AllocでGCHandleType.PinnedしておいてAddrOfPinnedObject
その配列がアンマネージで使われなくなったらFreeを忘れずに
あとポインタとかハンドルはInt32じゃなくてIntPtrな