tokenizer関数は、Zend Engineに組み込まれたPHP tokenizerへのインター フェイスを提供します。以下の関数により、 字句解析レベルの言語処理を行うことなく、PHPソースを解析/修正する ツールを作成することが可能となります。
トークンに関する付録も参照して下さい。
これらの関数は、標準モジュールの一部として利用可能であり、常に使用できます。
PHP 4.3.0以降、以下の関数はデフォルトで有効となっています。 これ以前のバージョンの場合、 --enable-tokenizerを指定して PHPをコンパイルする必要があります。 --disable-tokenizerを指定すること により、tokenizerサポートを無効とすることができます。
Windows版のPHPには この拡張モジュールのサポートが組み込まれています。これらの関数を使用 するために拡張モジュールを追加でロードする必要はありません。
注意: tokenizerの組込みサポートはPHP 4.3.0で利用可能となりました。
これらの定数は、この拡張モジュールで定義されており、 この拡張モジュールがPHP内部にコンパイルされているか実行時に動的にロー ドされるかのどちらかの場合のみ使用可能です。
注意: T_ML_COMMENT is not defined in PHP 5. All comments in PHP 5 are of token T_COMMENT.
注意: T_DOC_COMMENT was introduced in PHP 5.
以下にtokenizerを用いた簡単なPHPスクリプト例を示します。この例は、 PHPファイルを読み込み、ソースから全てのコメントを削除、コードのみ を出力するものです。