ASIOを使ってUDPでデータを送ってるんだが、遅延が酷い

すごく単純にするとこんな感じ
A→Bに一つの数値を送る
Bは他にいろいろやってるから処理は遅い

開始時のログ
A：１　２　３　４
B：１　２　３　４

しばらくすると、こうなる
A：１２３　１２４　１２５　１２６
B：９８　９９　１００　１０１

時間が経てば経つほど、AとBの差が開いていく

内部バッファ？の古いパケットは捨てて、
最新のパケットだけ使う設定とかないのかな？