最終的にはＣ言語風味のスクリプトを作ろうと思ってるわけですが、
文字列処理に関しての知識が足りないため現在修行中です。

とりあえず、ある文字列から
タブ、スペース、リターン、キャリッジリターンをデリミタ文字にして
トークンごとに文字列を取得するクラスを作れるところまでいきました。

次はＣＳＶファイルあたりでもよみこんでみようかと、
デリミタをタブ、スペース、リターン、キャリッジリターン、コンマにして挑んだところ、
ダブルコーテーションで囲まれた範囲のリターンやスペースがデリミタ文字にならないらしく
おかしなことになっております。
こういった場合はどんな手法を使うのが定石なのでしょうか？
強引にダブルコーテーションがきたら、その中の文字をデリミタ文字ｊでのチェックを行わないと
してしまっていいのでしょうか？
アドバイスお願いします。