द्वारा कार्यक्रम ctokenizer.sf.net

सीटीओकेनाइजर सी + + सिंटर को इनपुट के रूप में स्वीकार करता है और सीटीओकेन ऑब्जेक्ट्स का एक वेक्टर आउटपुट करता है, जिसमें एक टोकन स्ट्रिंग और एक (एन गणना) टोकन प्रकार होता है, जिसका उपयोग इनपुट को पार्स करने के लिए किया जा सकत