द्वारा कार्यक्रम ewbtokenfactory.sf.net
-
EWBTokenFactory for PHP मुफ्त
पीएचपी के लिए ईडब्ल्यूबीToकेनफैक्ट्री एक व्हाइटस्पेस समावेशी टोकनाइजर है। अधिकांश टोकनाइजर प्रत्येक शब्द को टोकन के रूप में पकड़ेंगे और व्हाइटस्पेस छोड़ देंगे। यह टोकनाइजर बीच में रिक्त स्थान को अपने स्वयं के टोकन में भी टोकन