Индексация
Сайт не индексируется: что проверить до повторного переобхода
Переобход не исправляет причину. Он только просит робота снова открыть адрес. До заявки нужно понять, получает ли робот код 200, разрешена ли индексация и совпадает ли canonical с нужной страницей.
Что мы измерили на живых сайтах
2 сентября мы проверили 507 адресов из карт 109 сайтов. Полностью чистыми в выборке оказались 72 карты. В остальных встретился хотя бы один нерабочий URL, редирект, noindex или canonical на другой адрес.
Опрос сделан прямыми GET-запросами к равномерной выборке адресов из sitemap.xml 2 сентября 2026 года. Выборка не случайная: это сайты, которые проверяли мы, в основном малый и средний бизнес на WordPress и Битриксе. Цифры описывают этот корпус, а не весь рунет.
Сначала отделите обход от индексации
| Состояние | Что оно означает |
|---|---|
| URL доступен роботу | сервер ответил, но страница ещё не обязана попасть в поиск |
| Заявка на переобход обработана | запрос принят и посещение могло состояться, это не обещание индексации |
| Страница проиндексирована | поисковик хранит её версию, но не обязан показывать по любому запросу |
| Страница получает показы | есть спрос и соответствие конкретному запросу |
Когда смешивают эти четыре состояния, любое выпадение лечат повторным переобходом. Правильное действие зависит от того, на каком переходе остановилась именно ваша страница.
Проверка за пять шагов
- Код ответа. Нужен 200 на конечном URL без цепочки переходов и плавающих 5xx.
- Доступ роботу. robots.txt не закрывает путь, а сервер не блокирует поисковый User-Agent.
- Разрешение индексации. В HTML и X-Robots-Tag нет noindex.
- Главный адрес. canonical указывает на этот URL, а не на соседнюю или старую страницу.
- Поисковая задача. H1, title и видимый текст отвечают одному намерению и не повторяют соседний URL.
Как проверить самому
Затем откройте проверку URL в Вебмастере и сравните последнее посещение с датой вашей правки. Если робот видел старую версию, отправьте изменённый URL один раз. Если он видел новую и снова исключил её, проверяйте спрос, намерение и повторы, а не очередь переобхода.
Что делать при массовом выпадении статей
- Выгрузить события и сопоставить дату исключения, последнее посещение и дату деплоя.
- Отделить статьи и услуги от правовых и служебных страниц, которым поиск не нужен.
- Проверить общие технические признаки на живом сервере, не переписывая все тексты одновременно.
- Отправить только реально изменённые страницы и рубрикатор статей.
- После нового посещения оценивать запросы и показы по каждому URL отдельно.
Разбор отдельных файлов находится в материалах про robots.txt и sitemap.xml. Они отвечают на технические подзадачи и не заменяют проверку намерения страницы.
Сколько стоит исправление
Проверка бесплатная. Исправление индексации входит в пакет технического SEO: от 10 000 ₽ до 18 000 ₽ на WordPress за пакет целиком. Точная цена появляется после того, как коды ответа, noindex, canonical и дубли привязаны к конкретным адресам. Для разовой задачи можно заказать доработку сайта по результатам аудита.
Источники и нормы
Собственные цифры выше получены замерами Фиксометра. Определения, пороги и правила сверены с первичными документами:
- Яндекс Вебмастер: анализ индексации страницы. Проверка доступности, robots.txt, статуса обхода и причин отсутствия страницы в поиске.
- Яндекс Вебмастер: малоценная или маловостребованная страница. Что означает LOW_DEMAND и почему переобход не гарантирует возвращение страницы.
- Google Search Central: ask Google to recrawl URLs. Назначение повторного обхода, ограничения и отсутствие гарантии мгновенного включения в индекс.
Частые вопросы
Заявка на переобход обработана, значит страница в поиске?
Нет. Это означает, что робот обработал запрос и мог посетить URL. Решение об индексации принимается отдельно и может обновиться позже.
Нужно отправлять URL каждый день?
Нет. Повторная отправка неизменённой страницы не меняет причину решения. После содержательной или технической правки достаточно одной заявки и контроля последнего посещения.
LOW_DEMAND это фильтр или санкция?
Не обязательно. Так Яндекс объединяет малоценные и маловостребованные страницы. Статус может меняться даже без правки текста, поэтому сначала смотрят дату последнего обхода и версию страницы.
Удалять noindex со всех страниц?
Нет. Корзина, результаты поиска, правовые и служебные страницы часто не должны ранжироваться. Ошибка только тогда, когда noindex стоит на странице с поисковой задачей.
Когда ждать результат?
Сначала робот должен увидеть новую версию. В Вебмастере данные могут обновляться не сразу, поэтому ориентируются на lastAccess и динамику по запросам, а не на часы после заявки.
Проверьте свой сайт
Бесплатный аудит проверит код ответа, robots.txt, sitemap, noindex и canonical. Фактический статус в поиске виден только в панелях, зато технические причины можно убрать до переобхода. Исправления входят в техническое SEO.