Program menurut ctokenizer.sf.net

CTokenizer menerima sintaks C++ sebagai input dan output vektor objek CToken, yang berisi string token dan jenis token a(n enumerated), yang kemudian dapat digunakan untuk mengurai input.