realloc でいいんじゃない？とりあえずは
我慢できないくらい遅かったら他の方法に変えればいい
といっても realloc と比べて劇的に速くなる方法って思いつかないけど