CTokenizer

लाइसेंस: मुफ्त ‎फ़ाइल आकार: N/A
‎उपयोगकर्ताओं की रेटिंग: 3.0/5 - ‎1 ‎वोट

करीबन CTokenizer

सीटीओकेनाइजर सी + + सिंटर को इनपुट के रूप में स्वीकार करता है और सीटीओकेन ऑब्जेक्ट्स का एक वेक्टर आउटपुट करता है, जिसमें एक टोकन स्ट्रिंग और एक (एन गणना) टोकन प्रकार होता है, जिसका उपयोग इनपुट को पार्स करने के लिए किया जा सकता है।