Tokenizer

いわゆるソースコードを個々の要素に分ける部分をカリカリ書いた。
java だから多値返せなくて意外とめんどい。

[C#]
string __getNextToken(string code, ref int index) { /* ... */ }

[Java]
int __registNextToken(String code, int index, ArrayList results) { /* ... */ }

こうなる。C# は参照呼出し可能だから code からトークン切り取った後の index も返せるんだけど、Java はムリ。
だから切り取ったトークンは results に追加してもらうことにして、メソッドは index を返す。

いや、折角OOPLでやってるんだから、index をインスタンス変数にするのでも良いんだけど。

追記

index をインスタンス変数にはしなかった。
代わりに処理を単純化させて、メソッドを分割しなかった ^-^;

ってなわけで Tokenizer 完成。明日は Parser