Es wird aber definitiv anders gehandhabt. REM und ' (als Alternative) zeigen nach einem LIST verschiedene Kommentare. Beim REM bleibt das ? stehen, beim ' wird es in PRINT als Klartext umgewandelt.
Stimmt. Der Tokenizer geht, sobald er ein REM erkannt hat und das Token dazu hat in den String-Modus und ignoriert damit etwaige implizite Umwandlungen wie $3f (?) -> $99 (PRINT-Token).
Siehe http://unusedino.de/ec64/technical/aay/c64/roma579.htm an der Stelle $A5DF (zeigt sich nicht in den Kommentare, die sind auf dieser Site eher schwach), wo in einer Kettensubtraktion ($3A und $55 = $8F -> REM Token) vom ermittelten Token abgezogen wird.
Daher müsste man den Tokenizer also auch dahingehend abändern, dass er das beim Zeichen (') macht ...
Aber das Tokenizer-Thema hatten wir da ja schon öfter, etwa um Funktionen in Ausdrücken erkennen zu können, müsste man da ohnehin Hand anlegen.