द्वारा कार्यक्रम ewbtokenfactory.sf.net

पीएचपी के लिए ईडब्ल्यूबीToकेनफैक्ट्री एक व्हाइटस्पेस समावेशी टोकनाइजर है। अधिकांश टोकनाइजर प्रत्येक शब्द को टोकन के रूप में पकड़ेंगे और व्हाइटस्पेस छोड़ देंगे। यह टोकनाइजर बीच में रिक्त स्थान को अपने स्वयं के टोकन में भी टोकन