Program menurut cwlr.sf.net

  • SimplerCrawler Gratis

    Crawler single-thread yang sangat sederhana untuk web (http) ditulis dalam perl. Mendukung tautan yang mengikuti aturan dan koleksi untuk mengambil informasi halaman yang dikunjungi (berbasis regexp).