Чем robots.txt отличается от noindex и как закрыть личный кабинет SaaS?
Хочу исключить /admin и /profile из поиска. Если добавить Disallow в robots.txt, исчезнут ли уже найденные URL из выдачи?
2 ответов
Михаил Ветров
Disallow запрещает обход, но сам по себе не гарантирует удаление URL из индекса: поисковик может знать адрес по внешним ссылкам. Для доступной страницы используйте meta robots noindex, дождитесь переобхода, а чувствительные данные обязательно защищайте авторизацией.
Дарина Орлова
Не закрывайте robots.txt страницу раньше, чем робот увидит noindex. Для приватных маршрутов лучший порядок такой: авторизация, noindex для доступной оболочки, отсутствие в sitemap и внутренних публичных ссылках.