Anforderungen

• ç (c,) 0xe7 231
• Ç (C,) 0xc7 199
• ë (e") 0xeb 235
• Ë (E") 0xcb 203

Eingabe:

• Whitespace trennt Token
• Satzzeichen (),.;:!? etc. sind Token

• jedes Token ist durch Whitespace getrennt
  => "abc, def" und "abc,def" nicht unterscheidbar

Ausgabe: Leerzeichen oder genau ein newline trennt normalerweise Tokens. Zwei newlines hintereinander, d.h. eine Leerzeile, markieren Absätze. Überschriften sind i.d.R. Absätze, die ohne Satzzeichen enden. Der Tokenizer analysiert dies jedoch nicht. Bei html-Eingabe mit header-HTML-Tags wird aber ein Absatz erzwungen.

Das Ausgabetoken \n<Zahl> markiert unsichere Absätze. Bei \n1 ist nur mit geringer Wahrscheinlichkeit ein Absatz, bei \n99 ist ein Absatz anzunehmen.