コードをトークン分けします。くっそ重い。 実行すると良い例:const helloWorld = "hello world" ;const helloZalpha = "hello \{Z-alpha\}" ; ;,{,}が文の区切りとして使用されます。 { もあることに注意してください 前のと違ってスペースはJavascriptやPython基準になってるはず。 (ifなどの都合で、{で区切られた場合を考慮せねばなりません)。 {,}が区切りとして使用された場合、Tokenリストには;が挿入されます。 【重要】 現在()内はバグり散らかしております。ご了承ください: ・多重✕ ・()内のエスケープシーケンス✕ ・()後の文字分裂 ・()の後の{でフリーズ
update 2026.1.31...()が含まれたバージョン。まあバグだらけ 2026.1.24...エスケープシーケンス対応(\{など) 2026.1.23...リテラル対応 2026.1.21...とりあえず公開
