Program menurut VietSpider

Web crawler adalah program yang secara otomatis melintasi web dengan mengunduh halaman dan mengikuti tautan dari halaman ke halaman. Tujuan umum crawler web adalah untuk mengunduh halaman web apa pun yang dapat diakses melalu