Бот – це програма пошукової системи, яка створена для того, щоб ходити по кожній сторінці сайту, розподіляти за категоріями і переміщувати їх в базу даних.
У пошуковій системі Google є 3 відомих бот: Adsense bot, Freshbot і DeepCrawl. Adsense bot, як Ви, напевно, здогадуєтеся, використовується на тих сайтах, де є рекламні блоки Adsense. Як тільки створюється нова сторінка, JavaScript посилає повідомлення боту AdSense, який приходить через 15 хвилин, щоб проіндексувати її і подати нові, найбільш релевантні посилання в рекламний блок.
А тепер ми зупинимося докладніше на DeepCrawl та Freshbot.
Freshbot ходить найбільш популярними сторінками сайту. І не так важливо, чи має сайт одну сторінку, чи тисячу. У таких відомих сайтів, як Amazon.com і CNN.com є сторінки, які перевіряються кожних десять хвилин, відколи Google з’ясував, що вони часто оновлюються. Звичайний сайт Freshbot відвідує один раз на 1-14 днів, залежно від того, наскільки популярними є сторінки.
Що ж відбувається, коли на ваш сайт навідується Freshbot? Відбувається пошук усіх можливих лінків, які є на Вашому сайті, які потім переміщуються в базу даних. Згодом про це повідомляється робота DeepCrawl.
Раз на місяць Ваш сайт відвідує бот DeepCrawl, він проходить по всіх лінках, знайдених за допомогою Freshbot. Ось чому індексування Вашого сайту може тривати місяць.
Тому наберіться терпіння та продовжуйте оновлювати контент свого сайту. Крім того, працюйте над отриманням якісних зовнішніх посилань на свій сайт, Google винагородить Вас за це.
