Удаление дублей в Joomla2.5

В этой статье я расскажу как провести  анализ robots.txt  и о методе удаления дублей страниц сайта на движке CMS Joomla 2.5 для поисковой системы Яндекс.

Вот реальная последовательность действий которая и привела к очистке сайта от дублей.  Следуя этой или подобной методике вы обязательно очистите свой сайт в индексе Яндекса от дублей.

Начинаем с  входа в Панель управления сайтом – Яндекс вебмастера.
Выбираем свой сайт по ссылке: Мои сайты - > мой сайт.ru.

Открываем перечень страниц сайта попавших в поисковый индекс .
Индексирование сайта - > Страницы в поиске.
 

Создаем новый документ Word N1, специально для того, чтобы провести анализ robots.txt.

Выполняем копирование всех страниц находящихся в поиске и вставляем их в созданный текстовый документ  N1.

Удаляем гиперссылки, остаются лишь страницы с url.

Осуществляем сортировку страниц сайта на реально действующие и на все остальные. То есть все остальные, и будут дублями страниц сайта.

Именно для них нужно составлять правила для исключения из поиска роботов систем Яндекса, Google и др.

Как составить правила и файл robots.txt Joomla 2.5 можно посмотреть в статьях:

• Файл robots.txt для Joomla 2.5 
• robots.txt Ошибки и рекомендации 
• robots.txt Как устранить дубли для сайта Joomla 2.5Word

Создаем новый документ Word N2.
Копируем  свой файл robots.txt из Яндекс вебмастера или с сервера.
Осуществляем изменения файла robots.txt в документе Word N2.

Файл robots.txt с изменениями и дополнениями вставляем в корневую папку на хостинге.

Осуществляем анализ robots.txt и произведенных действий. Для этого копируем все url с текстового документа N1.

В Панели управления сайтом - Яндекс вебмастера открываем страницу: Анализ robots.txt (Настройка индексирования - > Анализ robots.txt).

В открывшемся окне (“Список URL добавить”) вставляем копии url и нажимаем “Проверить”.

После выдачи результата проверки, производим анализ проделанной работы. В случае неудовлетворительного результата, выполняем корректировку файла robots.txt.

После такого изнурительного труда, по изгнанию нехороших страниц, придется ждать энное количество дней пока будут выданы очередные результаты  поискового робота. Эти результаты можно посмотреть: Мои сайты - > мой сайт.ru Исключено роботом.

По данной теме читайте следующие статьи:

Что такое redirect-301
Дубли страниц Joomla 2.5
Источники дублей Joomla
Плагин для удаления дублей Shnodoubles