Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.

При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.

Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.

1. Проверьте индексацию в панели вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google . Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».

Yandex . Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс.
Проблемы с индексацией выглядят так:

На скриншоте — сайт, закрытый от индексации в файле robots.txt

Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:

Отправить

Наши подписчики всегда получают больше.

2. Используйте операторы в поисковых запросах

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:».

Например, сайт cubing.com.ua находится под фильтром АГС.

Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Почему не индексируется сайт?

1. Новый сайт . Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap) . Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.

3. Ошибки на сайте . Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

5. Ошибка с robots.txt . Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:

User-agent: * Disallow: /

Выводы

Цель владельца сайта — чтобы все страницы, открытые для индексации, были в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

1. В панелях вебмастеров Google и Яндекс.
2. С помощью поискового оператора «site:».
3. С помощью плагинов, вроде RDS bar, и буркмарклетов.
4. В специальных сервисах, например, Netpeak Spider.

Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.

P.S. Бонус для тех, кто дочитал :)

Держите таблицу , с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?

1. Сделать копию.
2. Выбрать доменную зону.
3. Загрузить в столбец А список URL-адресов.
4. Подождать результатов (чем больше адресов, тем дольше надо ждать).

В итоге получаем приблизительно такую картину:

Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:

1. Выбрать доменную зону.
2. Выбрать регион.
3. Ввести запрос (адрес сайта).
4. Поставить «1», если хотите получить адрес и заголовок.
5. Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).

С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.

Логические рассуждения на тему: «Как проверить, сколько страниц в индексе поисковых систем».

И числовые расчеты, которые показывают, как я сводила баланс, изучая, что проиндексировано, а что нет и почему.

Я решила разобраться с этим более пристально и разложить все по полочкам.

Рассмотрим на примере Яндекса и Google.

Проблема индексирования, или что такое индексы.

Проблема индексирования постоянно волнуетвладельца любого сайта. Когда страницы сайта попадают в индексы поисковых систем, это обеспечивает стабильный и, что самое главное, бесплатный трафик. Страницы участвуют в поисковой выдаче, а посетители сами ищут информацию и попадают на Ваш сайт. Это же здорово!

Ну, вот, наконец, сайт начинает стабильно индексироваться.

Теперь владельцев волнует уже то, чтобы каждая новая статья попадала в поиск как можно быстрее, и они мечтают, чтобы сайт посещал, так называемый «быстроробот».

Для этого советуют добавлять информацию на свой сайт регулярно и размещать ссылки на новые статьи в социальных сетях, особенно и .

Это можно легко сделать, использую .

Но жизнь идет, алгоритмы меняются. Если сайт раньше посещал быстроробот, и статья попадала в поиск Яндекса в течение нескольких часов, то последнее время (ноябрь 2014) многие вебмастера жалуются, что на это уходит несколько дней.

Я тоже заметила, что после того, как я стала добавлять информацию на страницу в сервисе вебмастеров Яндекса перед публикацией (что мне настоятельно посоветовали делать специалисты этого поисковика), новая статья попадает в поиск только при очередной поисковой выдаче Яндекса. Как раз несколько дней и проходит.

Получается что-то типа того: ваш текст уже у нас в кармане, вы и так от нас никуда не денетесь, и спешить нам не обязательно.

А как же можно в таком случае определить, что статья уже проиндексирована?

Я делаю это с помощью расширения браузера Google Chrome .

Такое же расширение установлено у меня и на браузере Opera. Оно позволяет для любой открытой страницы определить, проиндексирована она или нет.

Как самостоятельно добавить страницу в индекс Google.

Google в этом вопросе более оперативен. Он позволяет каждому принудительно добавлять новую страницу в индекс. Это можно сделать . Там нужно сначала выбрать вкладку «Посмотреть, как Googlebot», где затем появляется возможность самостоятельно добавить страницу в индекс, если указать ее Url.

Как говорится: и вам хорошо, и нам не плохо.

Таким способом можно добавлять до 500 страниц в месяц.

А как обстоят дела с количественными показателями индексации для сайта?

Сколько страниц в индексе поисковых систем?

Это проще всего посмотреть в сервисах для вебмастеров поисковых систем.

Допустим, у меня на сайте 106 статей и 10 страниц (это видно в административной панели сайта) плюс Главная страница, или лента новостей. Дальше легко подсчитать (106+10+1=117). Значит, всего будет 117 Url на sitemap.

Кстати там же можно посмотреть показатели дополнительного и основного индекса Google для его сайта. У него они оказались значительно ближе друг к другу.

Увы, на моем Вордпресс блоге соплей предостаточно.

Эх, надо учиться создавать сайты на более профессиональном уровне. А не использовать готовые шаблоны…

Получается, что сайты нужно строить так, чтобы дублированного контента на них не было и все имеющиеся там ссылки на страницы сразу шли в дело, т.е. в основной индекс.

Может, и WordPress когда-нибудь до такого дорастет.

А пока получается, что, если использовать короткие ссылки на страницы, то это не способствует SEO (оптимизации). А если применять ЧПУ ссылки, то получается дублированный контент.

С нетерпением жду ваших комментариев.

Какие мысли по этому поводу Вас посетили?

Время чтения: 11 минут(ы)

Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.

Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.

Рассмотрим каждый вариант подробнее.

1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

Бесплатный и достоверный способ с использованием сервисов для вебмастеров.

Яндекс.Вебмастер

После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.

Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».

Для анализа список страниц можно скачать из сервиса файлом в форматах.xls и.csv.

Google Search Console

Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис https://search.google.com/search-console/about?hl=ru , вводим url сайта и нажимаем кнопку «Добавить ресурс».

После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».

Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.

Примеры проверки индексации сайта

2. Проверка количества проиндексированных страниц в ПС при помощи операторов

Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru ».

3. Анализ индексации сайта при помощи плагинов и расширений

Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.

4. Отслеживание проиндексированных страниц с помощью online сервисов

Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru вводим url и нажимаем «Анализировать».

Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.

5. Программы для контроля индексации сайта

Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.

Проверка индексации страницы

Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:

1. В панели для вебмастеров:

2. Оператор «url»

В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».

3. Оператор «info»

В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»

Почему сайт может не индексироваться

В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.

Ошибки в файле robots.txt

Файл robots.txt – это текстовый документ в формате.txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.

Отсутствие файла sitemap.xml

Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.

Новый сайт

Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.

Приватные настройки

В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.

Тег «noindex»

Страницы могут быть закрыты от индекса в коде с помощью мета тега name="robots" content="noindex, nofollow" />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».

Мусорные страницы

Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.

Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле.htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.

Выводы SEO-специалиста Веб-центра

Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.

Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.

Всем привет, друзья!
В сегодняшней статье я напишу о том, как проверить индексацию сайта и отдельной страницы в Яндексе и Гугле. Кроме этого вы узнаете, что такое основной и дополнительный индекс в поисковой системе Google. Итак, давайте обо всем по порядку.

Как проверить индексацию сайта в Яндексе?
Для того чтобы проверить индексацию целого сайта в Яндексе, достаточно ввести вот такой адрес в поисковую строку:

url:www.ваш домен* | url:ваш домен*

В результатах поиска можно узнать, сколько страниц находиться в индексе Яндекса, посмотреть на и . Кроме этого с помощью такого запроса можно увидеть, какие картинки индексирует Яндекс. Для этого достаточно нажать справа на ссылку: «Все картинки»:

В данном случае видно, что поисковая система индексирует 83 документа.

С помощью дополнения RDS Bar также можно посмотреть индексацию страниц и не только. Это расширения позволяет узнать очень много полезной информации о любом сайте, все что нужно, это просто установить его на свой браузер. Подробно где скачать и как пользоваться плагином RDS Bar я писал .

Здесь, напротив надписи «Индекс Я» указано число, которое отвечает за количество проиндексированных документов в Яндексе. На это число можно нажать и увидеть все страницы в выдаче, как и в предыдущем случае.

В Яндекс Вебмастере также отображается информация об индексации сайта. Там можно узнать, сколько страниц запрещено к индексированию в , а сколько индексируется. Но проблема в том, что там показывается индексация ресурса немного с задержкой. Например, я знаю, что Яндексом сейчас проиндексировано 83 страницы, а в Вебмастере отображается только 77:smile::

Но все равно это очень полезный сервис и туда нужно обязательно.

Как проверить индексацию страницы в Яндексе?
Иногда есть необходимость проверить не индексацию сайта а конкретной страницы. Для этого достаточно в поисковую строку Яндекса ввести вот такой запрос:

site:адрес любой страницы

Если страница проиндексирована, то вы увидите ее в результатах поиска:

Если не проиндексирована, то будет писать: «Искомая комбинация слов нигде не встречается».

Кроме этого индексацию конкретной страницы можно проверить с помощью дополнения RDS Bar. Если страница проиндексирована, то напротив надписи «Индекс Я стр.» будет писать «да», когда не проиндексирована, то соответственно «нет». Если документ был проиндексирован недавно, то будет отображаться время индексации, например: «вчера», «16 часов назад» и т. д. Таким образом можно определить, :

Как проверить индексацию сайта в Гугле?
Прежде чем перейти к проверке индексации ресурса в Гугле, нужно понимать, что в этой поисковой системе есть два индекса: «основной» и «дополнительный».

В основной индекс попадают только качественные документы, которые участвуют в ранжировании.

В дополнительном индексе находятся некачественные страницы, которые появляются в результатах поиска очень редко. Ну, например, когда пользователь вводит какой-нибудь странный запрос, и в основном индексе нет на него ответа:smile:. В дополнительный поиск Гугл заносит , неуникальные страницы, документы, запрещенные в файле robots.txt и т. д.

Сейчас на примере моего блога я покажу, как можно узнать, сколько документов находится в основном поиске, а сколько в дополнительном.

Сначала узнаем, сколько всего документов Гугл индексирует. Для этого я ввожу в поисковую строку такой запрос:

Как видно в индексе Гугла 423 страницы.

Теперь нам нужно узнать, сколько документов находиться в основном индексе. Для этого я ввожу вот такой запрос:

В основном индексе 108 документов. Теперь давайте узнаем, сколько страниц находиться в дополнительном индексе. И сделать это очень просто. Нужно отнять все страницы, которые индексирует Гугл, от тех, которые находятся в основном поиске. В данном случае 423 – 108 = 315.

Итак, 315 страниц – это «сопли», которые не участвуют в ранжировании. Гугл почему-то занес туда те документы, которые запрещены от индексации в robots.txt. Почему, не знаю, но ничего страшного в этом нет, главное чтобы в основном поиске были основные документы, которые не запрещены к индексации.

Проверить индексацию сайта в Гугле можно также и с помощью дополнения RDS Bar:

Здесь нам слева показано, сколько всего страниц Гугл индексирует, а справа, какой процент от этих документов участвуют в основном поиске. Но данные также могут быть немного не точными.

Проверить индексацию целого ресурса в Гугле можно еще и с помощью инструмента Google Webmaster. Сначала, конечно, нужно добавить туда сайт, если его там нет. Потом перейдите в раздел «Индекс Google» -> «Статус индексирования» и выберите «Расширенные данные»:

Здесь можно посмотреть, сколько страниц проиндексировано всего, а сколько заблокировано в Robots.txt. Но данные отображаются с задержкой, поэтому они далеко не всегда правильные:smile:.

Для проверки индексации отдельного документа в поисковой системе Гугл, как и в случае с Яндексом достаточно ввести в строку такой запрос:

Кроме этого RDS Bar также определяет индексацию страницы:

Как видите все очень просто, если установить плагин RDS Bar на свой браузер, то можно за секунду узнать индексацию сайта или страницы в Яндексе и Гугле.

На этом я, пожалуй, закончу. Всем пока;-).

1 голос

Здравствуйте, уважаемые читатели блога Start-Luck. Рано или поздно каждый веб-мастер начинает интересоваться все ли страницы его сайта видят поисковые системы. В этом нет ничего удивительного. Ты стараешься, хочешь чтобы каждая твоя статья была полезна, то есть понятна поисковику. Иначе, зачем стараться и продолжать?

Проверка индексации сайта в поисковых системах довольно простой процесс, но есть множество способов ее осуществить. Не так давно я уделил свое внимание Яндексу и именно там, а сегодня решил поговорить и о Гугле. Эта статья будет обобщающей. Обо всем методах проверки блога на видимость в поисковиках.

Давайте начнем.

Ручной метод

Один из лучших методов узнать сколько страниц вашего сайта находится в поисковике – спросить у него самого. Это бесплатно, быстро, просто и без какой бы то ни было регистрации. Самый простой и довольно-таки точный метод.

Какой же запрос нужно ввести, чтобы Яндекс показал все странички, что у него по вам есть? Нет ничего проще. Выглядеть он будет так: URL:домен-вашего-сайта*

Теперь смотрим сколько страниц нашлось. Эта информация высвечивается в правом верхнем углу под словом найти.

Для Google код будет немного отличаться. Пишем site:домен . Как вы видите, страниц чуть меньше. В принципе, это нормально. Гугл менее дружен к отечественным ресурсам. Эта компания не занимается вплотную российским сегментом. Огорчены? Я скажу вам: «Слава Богу».

Запросы Google к «своим» вебмастерам настолько суровы, что они на стену лезть готовы. Попасть на первое место может далеко не каждая статья. Те русские разработчики, что работают на английском, в голос утверждают, что работать на российский Гугл значительно легче и удобнее.

Точный метод

В принципе, конечно, ни Google, ни Yandex – не являются злыми монстрами, которые скрывают информацию от создателей сайта. Они всячески способствуют тому, чтобы проекты были качественными, а потому с радостью предоставляют доступ к различной статистике. В том числе и статистике индексации.

Эти два метода являются наиболее точными. Помимо индексации эти приложения подскажут о множестве других полезных настроек, так что рекомендую их установить и пользоваться в обязательном порядке.