>>69
それってそれぞれを別々にやる場合だけじゃない？
例えば中断したときにデリミタをチェンジして再開とかできんの？
あと、トークン３つめまではデリミタＸＸ、その先の処理は、
文字列ＸＸと○○で囲まれた文字へのデリミタ■■の適用を除外し、
枠外はデリミタ△△、■■でトークンを取得・・・とか。