Webskanerlash (yoki crawling) - qidiruv robotlari yordamida saytda mavjud bo'lgan ichki havola va kontentlarni aniqlash maqsadida sahifalarni yuklash jarayoni. Saytdagi yangi sahifalar haqida XML-sayt xaritalaridan bilib olish imkoniyati mavjud