Web crawler adalah program yang secara otomatis melintasi web dengan mengunduh halaman dan mengikuti tautan dari halaman ke halaman. Tujuan umum crawler web adalah untuk mengunduh halaman web apa pun yang dapat diakses melalui tautan. Proses ini disebut web crawling atau spidering. Banyak situs, khususnya mesin pencari, menggunakan laba-laba sebagai sarana untuk menyediakan data terbaru. Crawler web terutama digunakan untuk membuat salinan semua halaman yang dikunjungi untuk diproses nanti oleh mesin pencari yang akan mengindeks halaman yang diunduh untuk menyediakan pencarian cepat. Crawler juga dapat digunakan untuk mengotomatiskan tugas pemeliharaan di situs web, seperti memeriksa tautan atau memvalidasi kode HTML. Selain itu, crawler dapat digunakan untuk mengumpulkan jenis informasi tertentu dari halaman Web, seperti memanen alamat email (biasanya untuk spam). Crawler web adalah salah satu jenis bot, atau agen perangkat lunak. Secara umum, dimulai dengan daftar URL untuk dikunjungi, yang disebut benih. Saat crawler mengunjungi URL ini, ia mengidentifikasi semua hyperlink di halaman dan menambahkannya ke daftar URL untuk dikunjungi, yang disebut perbatasan pendataan. URL dari perbatasan secara rekursif dikunjungi sesuai dengan serangkaian kebijakan.
Riwayat versi
- Versi 3.19 diposting di 2012-01-15
rilis publik pertama
Detil Program
- Kategori: Utilitas Sistem > Alat Otomasi
- Penerbit: VietSpider
- Lisensi: Gratis
- Harga: N/A
- Versi: 3.19
- Platform: windows