Домой / Видео / Новый тег rel=canonical для удаления дубликатов страниц. При разных сортировках товаров в каталоге. Разные канонические URL

Новый тег rel=canonical для удаления дубликатов страниц. При разных сортировках товаров в каталоге. Разные канонические URL

Канонический URL (canonical) позволяет указать поисковой системе, какая ссылка является предпочтительной для индексации. Настройкой canonical необходимо заниматься, если у вас на сайте имеются страницы с одинаковым содержанием. Ввиду особенностей CMS сайта могут автоматически создаваться страницы с одним и тем же контентом по разным адресам URL (более подробно читайте ниже). Появление подобных страниц возможно вследствие таких причин:

  1. Если вы написали одно и то же сообщение в разных темах блога, то есть вероятность автоматического создания еще одной страницы сайта.
  2. Например, у вас есть несколько доменов: http://article.example.com и http://blogs.example.com. И вы планируете размещать информацию сразу на обоих ресурсах. В таком случае размещаемый контент будет дублированным.
  3. Если была обновлена структура вашего сайта, после чего URL страниц сайта могли быть изменены.

Чтобы не допустить дублирования страниц сайта в поисковой выдаче, необходимо настроить канонические URL, после чего поисковик сможет определить, какую страницу нужно индексировать. Рассмотрим причины, из-за которых важно заниматься настройкой canonical:

  1. Если на разных страницах вашего сайта публикуется частично или полностью идентичная информация, то следует указать, какую страницу следует считать основной.
  2. Одна и та же информация, размещенная на разных страницах, затрудняет получение статистики о данных страницах.

Как настроить канонические адреса

Рассмотрим способы настройки «канонических» URL:

  1. Следует указать, какой URL считается основным. Сделать это можно при помощи атрибута rel="canonical" тега link. Например, на сайте присутствует несколько страниц с идентичным содержимым. Для того чтобы задать URL https://example.com/buyingcar в качестве основного, указываем на страницах с дублируемым контентом в блоке head кода страницы тег вида . В данной ситуации вы задаете главный URL, который в дальнейшем будет использован для просмотра сообщения о покупке автомобилей. Также эта страница будет показываться в результатах поисковой выдачи. Предпочтительнее задавать адрес сайта в абсолютном виде (https://example.com/buyingcar), избегайте относительных путей (/buyingcar).
  2. В карту сайта добавляем только канонические URL, в таком случае вы сможете сообщить поисковому роботу, какие страницы сайта вы считаете основными. При индексировании сайта поисковой робот не будет заходить на неканонические страницы, тем самым быстрее индексируя сайт.
  3. Для различных CMS существуют различные плагины, которые позволяют настроить канонические URL, например, для WordPress можно воспользоваться Yoast SEO .

Для OpenCart настройка атрибута canonical производится средствами CMS. Необходимо зайти в настройки товара и задать параметр SEO URL.

Для настройки canonical в Joomla нужно включить в настройках CMS функцию SEF. После включения для технических страниц вида /index.php?option будет добавлен атрибут rel="canonical" (с указанием URL на страницу с настроенным ЧПУ).

Как проверить дублированный контент

Проверить, настроен canonical для страниц вашего сайта или нет, можно с помощью следующих инструментов:

1. Для проверки настройки canonical, открываем html-код страницы и проверяем наличие атрибута canonical у тега link (в блоке кода страницы).

Также проверить контент на наличие дублей можно с помощью операторов поиска, рассмотрим на примере Google. Для этого нужно ввести в поисковую строку site:имя_домена "запрос", в итоге аналогично поиску от Яндекса по результатам поисковой выдачи делаем вывод о наличии дублированного контента.

3. Еще один способ найти дублируемый контент – уникальность. В этом нам помогут специальные программы и сервисы, мы рассмотрим на примере сервиса text.ru. Для анализа необходимо добавить информацию со страницы вашего сайта в сервис и запустить проверку. В результате вы увидите, на каких сайтах в Интернете есть такой же текст, и на сколько процентов ваш текст совпадает с текстами других сайтов.

Итог

Грамотно настроенный canonical повышает эффективность работы и ускоряет индексирование сайта. Если у вас не получится самостоятельно это сделать, то вы можете обратиться к нашим специалистам , и мы сделаем настройку rel="canonical" для вашего сайта.

Часто бывает, что на сайте присутствуют дубли страниц, которые нельзя удалить или сделать 301 редирект в силу разных причин.

Использование атрибута rel canonical в SEO

Я начал этот пост с ситуации дублей карточек товаров на одном из моих клиентских сайтов. Это далеко не единичный случай использования реал каноникал в SEO. Очень часто атрибут rel canonical применяется для .

Часто также возникают разные споры и заблуждения в SEO кругах относительно использования canonical на саму себя. Вот, что ответил в одном из своих интервью Мэтт Каттс:

Абсолютно нормально, если страница ссылается сама на себя с rel=canonical, и абсолютно нормально, во всяком случае, для Google, чтобы rel=canonical стоял на каждой странице сайта. Люди думают, что его можно использовать спорадически, но это не тот случай. Мы специально рассматривали ситуацию, когда каждая страница сайта содержит rel=canonical. Пока вы заботитесь о том, чтобы они указывали на правильные страницы, проблем не будет вообще.

То есть ничего ужасного в этом нет, на многих сайтах wordpress (в том числе и на моем) стоит rel canonical на саму себя и страницы нормально ранжируются.

301 редирект или атрибут rel canonical

301 редирект — это директива, которая ОБЯЗАТЕЛЬНО учитывается поисковиками, без исключений. А каноникал — это некая “подсказка”, как вести себя роботу.

Поэтому предпочтительней использовать 301 редирект!

Но как в моем случае в начале поста, SaaS платформа не позволяет менять URL адреса и соответственно настроить 301 редирект, поэтому пришлось прибегнуть к помощи каноникла.

То есть canonical нужно использовать в том случае, когда нет технической возможности сделать 301 редирект. Об этом, кстати, говорит и Мэтт Каттс в том же интервью.

Напоследок еще хочу сказать, что в будут отображаться все страницы, в том числе и все дубли, но не канонические страницы будут исключаться из поиска.

P.S. А тем, кто не знает, кто такой Мэтт Каттс советую посмотреть вот этот короткий ролик.

В этой статье мы рассмотрим канонические ссылки в html (атрибут rel="canonical"). Поговорим зачем они были введены и для чего использовать. Скажу сразу, что появились они в 2009 году в компании Google.

Что такое каноническая ссылка

Дубли на сайте - страницы содержащие одинаковый контент , но имеющие разные адреса URL.

Чаще всего дубли возникают в результате недоработок движка сайта . Такие проблемы есть почти у каждого сайта на CMS. Ничего страшного в этом нету, если их грамотно обработать. Бороться с дублями необходимо прежде всего для того, чтобы занимать хорошие места в поисковой выдаче. Как известно, дубли негативно влияют на траст сайта в целом, а следовательно и на его позиции.

Для борьбы с дублями существует несколько способов:

  • robots.txt (все про robots.txt)
  • 301 редиректом (как сделать 301 редирект)
  • 404 страницей (404 ошибка - как правильно настроить)

Однако есть и четвертый способ решения этой проблемы - использование атрибута rel="canonical" .

Атрибут rel="canonical" - как пользоваться

Синтаксис rel="canonical"
... ...

Этот атрибут прописывается в заголовочных тегах . На всех одинаковых страницах (дублях) нужно указать адрес главной страницы (основной). Ссылки в href="" и есть канонические ссылки.

Например, если на сайте есть одинаковые страницы

site/catalog/tovar site/catalog/tovar?sort=abc site/catalog/tovar?sort=price

Для уточнения какая из этих страниц является главной достаточно написать на каждой странице:

Тем самым показывая поисковой системе, что адрес основной страницы является - site/catalog/tovar .

Ответы на часто задаваемые вопросы

1. Стоит ли пользоваться каноническими ссылками?

Да, стоит. В рассмотренным примере, можно было пользоваться только каноническими ссылками или robots.txt. Можно совмещать эти два способа.

При использовании нужно быть осторожным, чтобы не давать роботу ложные рекомендации на тех страницах, где это делать не нужно.

2. Что будет если канонически ссылки противоречат друг другу

Это плохо, но поисковый робот тогда самостоятельно разберется, какую страницу оставить главной. Лучше не допускать таких противоречий.

3. Случаи, когда робот может проигнорировать ваши рекомендации

Из справки Яндекса:

  • Документ по каноническому адресу недоступен для индексирования
  • В качестве канонического адреса указывается URL в другом домене или поддомене
  • Вы указали несколько канонических адресов
4. Можно ли использовать цепочку канонических URL

Например, /stranica/123 ссылается на /stranica/12, а эта в свою очередь на /stranica/. Поисковый робот может проигнорировать такую конструкцию.

5. Как правильно выбрать канонический урл

Сложно ответить и рассмотреть все варианты в паре предложений. Дадим общие рекомендации. На мой взгляд нужно смотреть на привлекательность URL (или точнее на ЧПУ). К примеру, если есть страница /cat/2323fdfds34.html и страница /cat/rel-canonical. Очевидно, что второй адрес гораздо предпочтительней.

Если все не так очевидно, то стоит выбирать менее вложенные статьи в каталоги и менее короткие URL. К примеру /cat/podcat/podpodcat/str.html лучше заменить на /cat/str.html

И последнее: если какая-то страница уже долго время существует и хорошо ранжируется, то все новые "дубли", лучше ссылать на нее. Смена адреса путем rel canonical, конечно, не должна повлиять на позиции, но лучше не рисковать, если они и так высокие по этому запросу.

6. Можно ли ссылаться на другой домен канонической ссылкой

В атрибуте rel canonical можно использовать ссылки только внутри домена или поддоменов. Нельзя ссылаться на внешние сайты.

7. Можно ли делать rel canonical сама на себя

Да можно. Смысла в этом нету, но и плохого тоже.

На сайте по разным причинам может появиться дублированный контент. Без дополнительной информации поисковая система при этом сама решает какой контент ранжировать выше, а какой ниже. В ряде случае поисковая система может ранжировать выше старый и моральной устаревший контент, потому что выбирает неправильный документ в качестве канонического.

Каноническую страницу легко указать поисковым системам в заголовке страницы, а именно в разделе head документа. Для этого нужно поместить следующий HTML код в head раздел каждого документа, являющегося неканоническим:

Если у Вас есть доступ к HTTP заголовкам, например, через htaccess или PHP, то Вы можете установить канонический URL для файлов, которые не имеют HTML кода, в частности, для PDF, DOC. Для этого используйте код:

Link: ; rel=»canonical»

Случаи, когда rel=»canonical» не работает

Атрибут rel=»canonical» используется поисковыми системами, как подсказка со стороны вебмастеров, какая страница является основной. В тоже время данный атрибут может отработать некорректно. Например, в следующих случаях:

  • Если указать URL канонической страницы страницу отдающую 404 код, то поисковая система будет искать другой актуальный адрес.
  • При взломе сайта Google и Яндекс могут посчитать, что злоумышленники поставили фальшивые канонические адреса и в таком случае также их не учитывать.
  • Если Вы разместили конструкцию внутри тега BODY или в заголовке head при отсутствии закрывающего тега .

Случаи, когда rel=»canonical» можно применять

Как я писал выше, Вы должны использовать rel=»canonical» на страницах, которые являются дубликатами или очень похожими на основную (каноническую). Если у вас есть две похожие страницы, но не идентичные, порой имеет смысл изменить одну из них, чем делать канонической.

Важное, правило: канонической страницей нужно делать только ту страницу, которая находится сейчас в индексе. То есть нельзя использовать для этих целей страницу, которая была исключена из индекса, например, с помощью Robots или мета-тега Noindex или по другим причинам.

Правильное применение rel=»canonical» будет в следующих случаях:

  • Сайты с динамическими URL. Можно использовать данный атрибут для определения предпочтительного URL.
  • В коммерческих сайтах, в первую очередь интернет-магазинах, когда клиенты меняют порядок сортировки, важно чтобы получившийся при этом url не был проиндексирован.
  • При публикации синдицированного контента или дублированного внутри сайта на разных страницах. Важно с помощью rel=»canonical» правильно указать первоисточник.

Когда применять rel=»canonical» не стоит

  • Самая главная ошибка, когда используют данный атрибут при смене URL структуры сайта. На старых документах ставят rel=»canonical» на новые. А это неправильный подход. В таких случаях единственно правильным решением будет использование 301 редиректа.
  • Второй по важности ошибкой является неправильное использование данного атрибута на страницах пагинации. Например, многие указывают rel=»canonical» на страницах пагинации на главную страницу сайта, что является ошибкой. В таком случае оптимальным вариантом использование rel=prev/next.

Атрибут rel=canonical позволяет бороться с дублями страниц. Когда одно и то же содержимое доступно по разным URL, канонические ссылки указывают главную страницу. Эта страница (приоритетная) как раз и будет находиться в индексе поисковых систем и весь вес со страниц дубликатов будет перетекать на основную страницу.

Атрибут canonical прописывается на страницах дублей с указанием наиболее приоритетной страницы в разделестраницы вот так:

Данный тег прекрасно понимают все основные поисковые системы и канонические ссылки являются для некоторых типов страниц неотъемлемыми с точки зрения SEO оптимизации. Об этом всем мы с вами поговорим сегодня.

Rel canonical: что это

Когда на один и тот же контент можно попасть с помощью разных URL"ов, в индексе поисковых систем начинает участвовать сразу несколько страниц. В итоге ни одна страница толком не продвигается, так как внутренние ссылки идут то на одну страницу, то на другую.

Тоже самое касается внешних ссылок. Невозможно сосредоточиться максимально на продвижении одной страницы, а это в итоге не раскрывает потенциал страницы полностью. Или же, к примеру, покупаются ссылки на одну страницу, а на самом деле в индексе совершенно другая страница.

В результате чего сайт будет занимать позиции ниже, чем мог бы. Атрибут rel=canonical как раз позволяет нам оставить в индексе только самую приоритетную страницу. Также весь ссылочный вес передается на нее.

Чтобы в индексе была только одна страница, нужно прописать на страницах дубликатах в разделеканоническую ссылку на приоритетную:

Откуда могут появиться дублирующиеся страницы?

Если для удаления дублей, можно воспользоваться , я рекомендую в первую очередь обратить внимание на него. Если же 301 редирект не помогает или его использование неуместно, то на помощь можно позвать канонические ссылки, только будьте аккуратными.

Статья сайта относится к нескольким рубрикам

Если в вашего сайта выводится рубрика статей, то можно столкнуться с проблемой. Одна и та же статья может располагаться сразу по нескольким URL адресам. Вот у меня, к примеру, есть статья про безопасность в WordPress, она располагается сразу в 2-х категориях: "Полезное для блога" и "WordPress плагины". Поэтому доступна сразу по 2-ум разным URL адресам:

Это для нас, обычных посетителей, как будто страница одна и та же. Для поисковиков же это 2 разные страницы, которые являются дублями. И они могут включить в индекс либо сразу обе страницы, либо не ту, которую хотелось бы. Как раз в подобных случаях выручает rel=canonical, который позволяет указать поисковикам, что нужно проиндексировать только одну конкретную страницу.

В моем случае со страницы https://сайт/sozdanie-bloga/poleznoe_dlya_bloga/bezopasnost-wordpress.html прописан канонический URL на https://сайт/sozdanie-bloga/razdel-4-plaginy/bezopasnost-wordpress.html и поэтому в индексе только второй вариант страницы.

Данный rel=canonical у меня прописывается автоматически с помощью плагина для WordPress, более подробно в конце урока.

Товары интернет-магазина в нескольких категориях

Еще одно из самых популярных явлений, это когда товары в интернет-магазинах расположены сразу в нескольких категориях. В виде примера приведу товар iPhone 6s, который может располагаться сразу на нескольких страницах:

  • site.ru/apple/iphone6s/
  • site.ru/mobilnye-telefony/iphone6s/
  • site.ru/catalog/iphone6s/

Все точно также, нужно указать со всех страниц rel=canonical на основную, приоритетную страницу. Как выбрать правильно каноническую страницу расскажу ниже.

Страница печати, разные id

Также на некоторых страницах встречаются страницы для печати. У них к URL добавляется что-то вроде ?print=true . То есть, один и тот же контент может находиться на:

  • site.ru/content/post-1;
  • site.ru/content/post-1?print=true.

В таком случае со страницы site.ru/content/post-1?print=true нужно прописать в область(внимание, не в body!) следующее:

Благодаря этому действию, страница site.ru/content/post-1?print=true не будет участвовать в поиске, то есть не будет проиндексирована.

Также встречаются всякие &id=xxx , с ними боремся точно так же.

Тег more

Еще один популярный тег присваиваются статьям в стиле /#more-777 , который прописывается к URL. Чаще всего такое можно заметить на шаблонах WordPress, особенно старых. Чтобы в индекс попадала правильная страница, аналогично на странице site.ru/post#more-777 должно быть прописано:

Дубли replytocom

Точно также бывает с?replytocom=777 , которые могут попасть в индекс из-за древовидных комментариев. Делаем все по аналогии. Я же для борьбы с дублями replytocom просто ставлю галочку в и данная проблема больше не беспокоит:

Партнерская программа

Когда реализуете партнерскую программу, часто много ссылок c "хвостами" начинают ссылаться на вас. Получается, что-то вроде этого: site.ru/?partner=id777. С подобных страниц тоже нужно прописывать атрибут canonical, чтобы они не попали в индекс.

Как правильно использовать rel=canonical

Как вы уже поняли, чтобы в индексе был только 1 вариант страницы, нужно со всех дублирующихся страниц проставить атрибут canonical. Вот как он должен выглядеть

Данный тег должен находиться внутри.

Как правильно выбрать канонический урл?

Каноническая страница - это та страница, которая рекомендуется поисковикам для индексации среди всех дублей. Какую же лучше выбрать?

  • Если страница раньше имела только 1 url, то лучше сделать канонической ее, так как скорей всего она уже проиндексирована, также имеет определенный вес. То есть с новой страницы проставить rel=canonical на старую.
  • Если же страницы создавались примерно в одно время, лучше каноническим URL сделать ту, которая находится в индексе.
  • Если же несколько страниц-дублей находится в индексе поисковиков, то лучше выбрать тот, который будет продвигаться. Чаще всего тот URL, который имеет меньше всего уровень вложенности, либо уже имеет входящие ссылки.
  • Если же все условия идентичные у страниц дублей, обычно берется за приоритетную страницу та, которая подходит под некий шаблон товара/статьи по сайту и предпочтение отдается единообразию.

Частые ошибки с атрибутом rel=canonical

  1. Тег rel="canonical" - это не строгая директива. Он лишь предлагает основную страницу для поисковиков, то есть просто-напросто советует.
  2. Нельзя использовать другой домен в данном атрибуте. Допускаются ссылки только внутри домена или поддомены.
  3. Для проставления канонических ссылок необязательно иметь 100% дублированный контент, если есть небольшие различия - это нормально. Такое может быть, когда продукты расставлены в другом порядке или поисковый робот посетил страницы в разное время, например.
  4. Если документ по каноническому адресу недоступен (отдает 404 ошибку, допустим), то поисковики могут проигнорировать его.
  5. Также поисковые роботы могут проигнорировать данный атрибут, если на странице указано несколько канонических урлов.
  6. Для указания канонического ссылки допускается использовать не полный URL адрес, а относительный путь:

    Но будьте аккуратны, можете "наломать дров", лучше использовать полный URL, с указанием вашего домена.

  7. Каноническая страница должна быть индексируемой.

Запомните: rel=canonical передает вес входящих ссылок .

Почитайте еще эти статьи (официальные руководства от Яндекса и Google):

Частные случаи использования rel=canonical

Сanonical сама на себя

Меня не раз спрашивали, можно ли ставить каноническую ссылку саму на себя? Такое обычно происходит при автоматической генерации с помощью разных плагинов или силами CMS. Ответ - да, можно, ничего в этом плохого нет.

Canonical для страниц пагинации

Многие вебмастера хотят сделать rel=canonical со страниц пагинации (site.ru/category/page/2) на первую страницу (site.ru/category). Это неправильно, как я считаю. Все-таки здесь встречаются не полные дубли, такие страницы пагинации лучше закрыть с помощью:

В WordPress это можно сделать автоматически, поставив галочку в плагине WordPress SEO by Yoast:

Товары

Если товары разделены на несколько страниц (их много и сделана разбивка на несколько страниц), то лучше основным каноническим урлом сделать вывод всех товаров, которое обычно выводится с помощью добавления к URL что-то подобное этому ?all=products .

Многие SEO плагины для WordPress очень хорошо дружат с атрибутом rel=canonical. Мой любимый и, как я считаю, вообще ничего не требует. Просто достаточно его активировать и необходимые канонические URL сами прописываются.

В некоторых других SEO плагинах в настройках нужно просто поставить галочку напротив "Канонические страницы" (или еще что-то подобное).

То есть по умолчанию, если статья на моем блоге присвоена сразу к нескольким категориям, то автоматически прописывается каноническая страница..html у меня прописан следующий атрибут rel=canonical (обратите внимание, это другой URL):

По умолчанию, благодаря плагину Yoast SEO, если пост располагается сразу в нескольких категориях, в индекс же попадает только один вариант.

Выводы

Я надеюсь, что вполне понятно, смог объяснить, что такое атрибут rel=canonical и как им пользоваться. Настоятельно рекомендую ознакомиться вам еще с этим уроком: . Все эти действия с rel=canonical, 301-ым редиректом, meta name robots, файлом robots.txt позволят сделать выдачу вашего сайта "чистым".

Я за "чистый" индекс без дублей, служебных страниц и пр. ненужных вещей. Благодаря чистоте SEO продвижение сайта будет проще и правильнее.

И еще: чтобы не было подобных заморочек я рекомендую будущие ваши сайты создавать без указания категорий в URL статей/товаров. То есть пусть будет что-то вроде:

  • site.ru/statya.html (для блогов);
  • site.ru/catalog/iphone6s (для интернет-магазинов).

Отдельное спасибо за ретвиты и репосты, мои друзья. Обязательно жду ваших мыслей в комментариях.