द्वारा कार्यक्रम VietSpider

वेब क्रॉलर एक प्रोग्राम है जो पृष्ठों को डाउनलोड करके और पृष्ठ से पृष्ठ तक लिंक का पालन करके स्वचालित रूप से वेब को पार करता है। वेब क्रॉलर का एक सामान्य उद्देश्य किसी भी वेब पेज को डाउनलोड करना है जिसे लिंक के माध्यम से एक्स