何がやりたいのかわからん。
最終的には正規表現で文字列のパターンマッチをさせるのが目的のようだが。

・文字ごとに種類を定めたいのだとすると、get_token()でwhile()する意味がない。
・ふつう、tokenは、ある文字の連なり、つまり文字列を指すんだが。意味が通っていない。
・正規表現をパスさせるのが目的なのか、要素ごとに分けるのかも良くわからん。

>>462 漏れは
$ indent -kr -ip4 -ts1000
したよ。