Дубли страниц Joomla2.5

Если у сайта резко повысилось количество страниц в поиске Яндекса или Google , то это вам сигнал к тому, что появились дубли страниц. То есть сайту показана желтая карточка, которая впоследствии может привести к тяжелым последствиям. И поэтому необходимо срочно принимать меры!

Владелец может и не подозревать, что на его сайте некоторые страницы имеют копии – чаще всего так и бывает. Страницы открываются, с их содержимым все в порядке, но если только обратить внимание на URL, то можно заметить, что при одном и том же контенте адреса разные. Что это значит? Для живых пользователей ровным счетом ничего, так как им интересна информация на страницах, а вот бездушные поисковые машины воспринимают такое явление совершенно по-другому – для них это совершенно разные страницы с одинаковым контентом.

Итак, если рядовой пользователь даже не сможет заметить наличие дублей на вашем сайте, то поисковики это сразу определят. Какой реакции от них ждать? Так как по сути копии поисковые роботы видят как разные страницы, то контент на этих страницах перестает быть уникальным. А это уже негативным образом сказывается на ранжировании.

Также наличие дублей размывает ссылочный вес, который оптимизатор пытался сосредоточить на целевой странице. Из-за дублей, он может оказаться совсем не на той странице, на которую его хотели перенести. То есть эффект от внутренней перелинковки и внешних ссылок может многократно снизиться.

В подавляющем большинстве случаев в возникновении дублей виноваты CMS – из-за неправильных настроек и отсутствия должного внимания оптимизатора генерируются четкие копии. Этим грешат многие CMS, в том числе и Joomla.

Для решения проблемы трудно подобрать универсальный рецепт, но можно попробовать воспользоваться одним из плагинов для удаления копий. Возникновение же нечетких дублей, в которых содержимое не полностью идентично, обычно происходит по вине вебмастера. Такие страницы часто встречаются на сайтах интернет-магазинов, где страницы с карточками товаров отличаются лишь несколькими предложениями с описанием, а весь остальной контент, состоящий из сквозных блоков и прочих элементов, одинаковый.

Многие специалисты утверждают, что небольшое количество дублей не повредит сайту, но если их больше 40-50%, то ресурс при продвижении могут ждать серьезные трудности. В любом случае, даже если копий не так много, стоит заняться их устранением, так вы гарантированно избавитесь от проблем с дублями.

Поиск страниц-копий

Существует несколько способов поиска дублированных страниц, но для начала стоит обратиться к нескольким поисковикам и посмотреть, как они видят ваш сайт – нужно лишь сравнить количество страниц в индексе каждого.

Сделать это довольно просто, не прибегая ни к каким дополнительным средствам: в «Яндексе» или Google достаточно в строку поиска ввести host:yoursite.ru и посмотреть на количество результатов. Если после такой простой проверки количество будет сильно отличаться, в 10-20 раз, то это с некоторой долей вероятности может говорить о содержании дублей в одной из них. Страницы-копии могут быть и не виноваты в такой разнице, но тем не менее это дает повод для дальнейшего более тщательного поиска.

Если же сайт небольшой, то можно вручную посчитать количество реальных страниц и потом сравнить с показателями из поисковых систем. Искать дублированные страницы можно по URL в выдаче поисковика. Если у них должны быть ЧПУ, то страницы с URL из непонятных символов, вроде «index.php?s=0f6b2903d», будут сразу выбиваться из общего списка.

Еще один способ определения наличия дублей средствами поисковых систем – это поиск по фрагментам текста. Процедура такой проверки проста: надо ввести фрагмент текста из 10-15 слов с каждой страницы в строку поиска, а затем проанализировать результат. Если в выдаче будет две и более страниц, то копии есть, если же результат будет всего один, то дублей у данной страницы нет, и можно не волноваться.

Логично, что если сайт состоит из большого количества страниц, то такая проверка может превратиться в невыполнимую рутину для оптимизатора. Чтобы минимизировать временные затраты, можно воспользоваться специальными программами. Один из таких инструментов, который наверняка знаком опытным специалистам, – программа Xenu`s Link Sleuth.

Скачать бесплатно программу Xenu`s Link Sleuth (русифицированная версия).

Чтобы проверить сайт, необходимо открыть новый проект, выбрав в меню «Файл» «Проверить URL», ввести адрес и нажать «OK». После этого программа начнет обработку всех страниц сайта. По окончании проверки нужно экспортировать полученные данные в любой удобный редактор и начать поиски дублей.

По результатам исследования заданного URL сайта Xenu выдает HTML-отчет. Он очень подробный и состоит из нескольких разделов:

• Неработающие ссылки, отсортированные по адресам (URL).
• Неработающие ссылки, отсортированные по страницам, на которых они встречаются.
•  Ссылки, которые работают, но с помощью функции редиректа перенаправляют посетителей на другие страницы. Редирект замедляет загрузку страниц, поэтому в некоторых случаях имеет смысл поставить ссылку сразу на прямой адрес.
•  Ссылки протоколов FTP и Gopher. Xenu, к сожалению, не проверяет такие ссылки на работоспособность. Однако, имея их полный список под рукой, пользователь может проверить их самостоятельно, вручную.
• Список страниц, которые можно сообщить поисковым интернет-системам для индексации.
•  Карта (оглавление) сайта, в которой указаны не URL страниц, а их заголовки, то есть, содержимое тега .
•  Неработающие внутренние ссылки, то есть ссылки, которые должны вести на какие-то страницы нашего же сайта, а ведут "в никуда".
•  Список файлы-сирот (orphan).
•  Обобщенная статистика исследования: сколько ссылок получили тот или иной статус в результате проверки.

Кроме вышеперечисленных способов в инструментарии панелей «Яндекс.Вебмастер» и Google Webmaster Tools есть средства для проверки индексации страниц, которыми можно воспользоваться для поиска дублей.

Как убрать дубли страниц

После того как все дубли будут найдены, потребуется их устранение. Это тоже можно сделать несколькими способами, но для каждого конкретного случая нужен свой метод, не исключено, что придется использовать их все.

Страницы-копии можно удалять вручную, но такой способ скорее подойдет только для тех дублей, которые и были созданы ручным способом по неосмотрительности вебмастера.

Редирект 301 отлично подходит для склеивания страниц-копий, URL которых отличаются наличием и отсутствием www. Решение проблемы с дублями с помощью тега canonical можно применять для нечетких копий. Например, для категорий товаров в интернет-магазине, которые имеют дубли, отличающиеся сортировкой по различным параметрам. Также canonical подойдет для версий страниц для печати и в других подобных случаях. Применяется он довольно просто – для всех копий указывается атрибут rel=”canonical”, а для основной страницы, которая наиболее релевантна, – нет. Код должен выглядеть примерно так: link rel="canonical" href="http://yoursite.ru/stranica-kopiya"/, и стоять в пределах тега head.

По данной теме читайте следующие статьи:

Что такое redirect-301
robots.txt. Удаление дублей в Joomla 2.5
robots.txt Ошибки и рекомендации
robots.txt Как устранить дубли для сайта Joomla 2.5
Источники дублей Joomla
Плагин для удаления дублей Shnodoubles

В борьбе с дублями может помочь настройка файла robots.txt Директива Disallow позволит закрыть доступ к дублям для поисковых роботов.
Описание файла robots.txt можно прочитать в статье: Файл robots.txt для Joomla 2.5.