Semalt: Як Google знає, коли (і навіщо) припинити сканування вашого веб-сайту?

Павуки Google настільки ж важливі, як і сама SEO-кампанія під час маркетингу веб-сайту. Вони сканують веб-сайти та індексують вміст зі всіх сторінок, які він може знайти. Він також здійснює реіндексацію на оновлених сторінках сайту. Це робиться на регулярній основі, грунтуючись на кількох факторах. Вони включають, але не обмежуючись цим, PageRank, обмеження сканування та посилання, знайдені на сторінці. Кількість разів, коли павуки Google сканують на сайт, буде залежати від одного або декількох із цих факторів.

Як відвідувачі, так і павуки сканування Google, веб-сайт повинен легко переходити на веб-сайт. Саме тому створення зручного веб-сайту - це додаткова перевага для SEO-кампанії. В іншому випадку Google не зможе отримати доступ до вмісту, отже зменшивши рейтинг сайту на сторінці рейтингу пошукової системи .

Росс Барбер, менеджер з успішності клієнтів Semalt , визначає, що два найважливіші фактори індексації, на які Google покладається, щоб вплинути на своє рішення про уповільнення або припинення сканування вашого сайту, - це час підключення та код статусу HTTP. Інші включають команду відключення, теги "без слідування" та robots.txt.

Підключіть коди часу та статусу HTTP

Коефіцієнт часу підключення відноситься до кількості часу, який потрібен боту сканування Google, щоб дістатися до сервера сайту та веб-сторінок. Швидкість високо цінується Google, оскільки це вкрай свідчить про хороший досвід роботи користувачів. Якщо веб-сторінка не оптимізована за швидкістю, то сайт буде рейтинговим. Павуки Google будуть робити спроби зайти на веб-сайт, і якщо час на створення з'єднання буде довшим, вони відхиляються та скануватимуть його рідше. Крім того, якщо Google наполягає на індексації веб-сайту з поточною швидкістю, це може перервати користувацький досвід, оскільки це може значно уповільнити його сервер.

Другий коефіцієнт індексації - це коди статусу HTTP, які посилаються на те, наскільки добре сервер відповідає на запит про сканування сайту. Якщо коди статусу знаходяться в межах 5хх, то Google бере на себе, щоб зупинити або затримати швидкість, з якою вони сканують поточний сайт. Все, що знаходиться в діапазоні 5xx, є індикатором можливих проблем із сервером, і відповідати на запит може бути проблематично. Через ризик виникнення додаткових проблем, боти Google відступлять і проводять індексацію, коли сервер буде більш доступний.

Коли Google поновлює сканування сайту?

Google вірить у надання користувачам найкращого досвіду та оцінить сайти, які оптимізують їх елементи SEO для досягнення цих цілей. Однак якщо веб-сайт наразі має проблеми, згадані вище, він накаже своєму Googlebot спробувати сканувати його пізніше. Якщо проблеми не зникнуть, власник втратить чудову можливість, щоб Google переглянув його вміст і присвоїв йому заслужений ранг за результатами пошуку. На додаток до цих проблем, будь-який знак спаму заблокує показ сайтів у результатах пошуку.

Як і всі інші алгоритми, якими користується Google, його павуки також є автоматичними. Вони розроблені для пошуку, сканування та індексації вмісту на основі певних параметрів. Якщо сайт не відповідає певним найкращим практикам, індексація не відбудеться. Існує багато інших факторів, але завжди пам’ятайте звертати пильну увагу на час підключення та коди статусу HTTP вашого сайту.