Googlebot
Sign in to saveAlso known as موقع الميرابي للأدب
Googlebot is the web crawler software used by Google that collects documents from the web to build a searchable index for the Google Search engine. This name is actually used to refer to two different types of web crawlers: a desktop crawler (to simulate desktop users) and a mobile crawler (to simulate a mobile user).
In the Vinony graph
Vinony's link graph records 610 inbound references to Googlebot, and connects out to web crawler, Google and World Wide Web.
It is catalogued under topics including Google Search, Google software and Internet bots.
Vinony links it to 21 Wikipedia language editions.
Key facts
- Software.name
- Googlebot
- Software.logo
- Google Search typeface.svgclass=skin-invert
- Software.author
- Software.genre
- Web crawler
- Software.website
- Googlebot FAQ
via Wikipedia infobox
Wikidata facts
- Instance of
- web crawler
- Developer
- Official website
- www.googlebot.com
Show 2 more facts
via Wikidata · CC0
Article · Русский
Googlebot — поисковый робот компании Google, используемый для сканирования мировой сети и пополнения поискового индекса системы Google. Робот начинает сканирование каждого отдельного сайта с получения списка URL-адресов веб-страниц, созданного по результатам предыдущих сеансов, и пополняет его данными из файлов Sitemap; просматривая страницы, робот ищет ссылки (SRC и HREF) и добавляет их в список страниц, подлежащих сканированию. Веб-мастера могут управлять роботом с помощью команды в файле robots.txt или мета-тега <meta name="Googlebot" content="nofollow">; Google в списке своих инструментов для веб-мастеров даёт возможность проверить «видение» сайта роботом. IP-адреса бота время от времени меняются.При сканировании Googlebot указывает user-agent: * Googlebot/2.1 (+http://www.googlebot.com/bot.html) * Googlebot/2.1 (+http://www.google.com/bot.html) * Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) * Googlebot-Image/1.0 (паук, сканирующий изображения)
Abstract from DBpedia / Wikipedia · CC BY-SA