Рубрики
Статьи специалистов

📌 Google сканирует сайт как обычно, если…

📌 Google сканирует сайт как обычно, если robots.txt долго отдаёт код ответа 503

Если файл robots.txt продолжительное время отдаёт код ответа 503, то Google принимает это за постоянную ошибку и начинает сканировать сайт как обычно, с целью поиска контента для пользователей поиска.

Источник — https://youtu.be/5QxYWMEZT3A?t=401

#google_каждый_день