वेब क्रॉलर एक प्रोग्राम है जो पृष्ठों को डाउनलोड करके और पृष्ठ से पृष्ठ तक लिंक का पालन करके स्वचालित रूप से वेब को पार करता है। वेब क्रॉलर का एक सामान्य उद्देश्य किसी भी वेब पेज को डाउनलोड करना है जिसे लिंक के माध्यम से एक्सेस किया जा सकता है। इस प्रक्रिया को वेब क्रॉलिंग या स्पाइडरिंग कहा जाता है। कई साइटें, विशेष रूप से खोज इंजन में, अप-टू-डेट डेटा प्रदान करने के साधन के रूप में स्पाइडरिंग का उपयोग करते हैं। वेब क्रॉलर्स का उपयोग मुख्य रूप से एक खोज इंजन द्वारा बाद में प्रसंस्करण के लिए सभी विजिट किए गए पृष्ठों की एक प्रति बनाने के लिए किया जाता है जो तेजी से खोज प्रदान करने के लिए डाउनलोड किए गए पृष्ठों को इंडेक्स करेगा। क्रॉलर्स का उपयोग वेबसाइट पर रखरखाव कार्यों को स्वचालित करने के लिए भी किया जा सकता है, जैसे लिंक की जांच करना या एचटीएमएल कोड को मान्य करना। इसके अलावा, क्रॉलर्स का उपयोग वेब पृष्ठों से विशिष्ट प्रकार की जानकारी इकट्ठा करने के लिए किया जा सकता है, जैसे ई-मेल पते (आमतौर पर स्पैम के लिए) फसल करना। एक वेब क्रॉलर एक प्रकार का बॉट, या सॉफ्टवेयर एजेंट है। सामान्य तौर पर, यह यात्रा करने के लिए यूआरएल की एक सूची के साथ शुरू होता है, जिसे बीज कहा जाता है। चूंकि क्रॉलर इन यूआरएल का दौरा करता है, इसलिए यह पृष्ठ में सभी हाइपरलिंक की पहचान करता है और उन्हें यात्रा करने के लिए यूआरएल की सूची में जोड़ता है, जिसे क्रॉल फ्रंटियर कहा जाता है। सीमांत से यूआरएल को नीतियों के एक सेट के अनुसार पुनः दौरा किया जाता है ।
संस्करण इतिहास
- विवरण 3.19 पर तैनात 2012-01-15
पहली सार्वजनिक रिहाई
कार्यक्रम विवरण
- कोटि: सिस्टम यूटिलिटीज > ऑटोमेशन टूल्स
- प्रकाशक: VietSpider
- लाइसेंस: मुफ्त
- मूल्य: N/A
- विवरण: 3.19
- मंच: windows