Что случается с поисковым трафиком с Яндекса при смене ЧПУ.

24 июня 2017, 12:00

Что случается с поисковым трафиком с Яндекса при смене ЧПУ.

Красивая гейша, сменив кимоно, ждёт трафика с Яндекса.

Сменив кимоно,
Гейша станет лишь краше.
Её трафик растёт...

Всякому вебмастеру интересно, как поведёт себя поисковый трафик, обретаемый да хоть с того же Яндекса, в случае перевода всего сайта целиком на другое ЧПУ. Что может быть вызвано, например, сменой движка.

Ведь в этом случае происходит полная переиндексация сайта, верно? А потому сайт сначала должен выпасть из поиска, а потом полностью переиндексироваться. Но мы знаем, что этот процесс конкретно у Яндекса отнюдь не быстр, и трафик поисковой природы может сильно просесть, а то и вовсе потеряться. Страшно ведь?

Местный автор не боится затевать такие эксперименты, и некоторое время назад обновил свой сайт целиком. В нём было что-то около 7500 страниц, но после глобальной чистки от всего устаревшего и более не актуального, страниц осталось раз в пять меньше. Причём структура URL-ов 95% документов кардинально поменялась («ЛастоБлог» был заменён на «Блоговую Нану»).

Почерпнём из этого весь возможный полезный опыт.
Полная переиндексация сайта - это всегда интересно.

Цель эксперимента.

Она тривиальна - эмпирически отследить всю процедуру переиндексации сайта Яндексом, причём в динамике, и со средствами инструментального контроля в руках.

Особенно нас интересует, как ведёт себя органический поисковый трафик, что с ним случается, и в каких временных рамках это происходит.

Подготовка к эксперименту.

Поисковые системы настоятельно рекомендуют при смене ЧПУ устанавливать соответствие между старыми адресами и новыми. Причём это нужно не столько самим поисковым системам (вот они уж точно без этого обойдутся), сколько пользователям. Все внешние ссылки, стоящие на документы нашего сайта, не должны вдруг приводить в никуда. По фень-шую вместо «никуда» пусть лучше возникает 301 редирект, ведущий к тому же документу, но в новом адресе.

В соответствии с этой рекомендацией, обязательной для СДЛ, и согласно инструкции по миграции с «Ласто Блога» на «Блоговую Нану» , в .htaccess файл была заселена конструкция для замены ЧПУ:

RewriteRule ^blog/index_([a-z]+).html$ http://lasto.com/blog/index_index_$1.htm [L]
RewriteRule ^blog/contents_([a-z]+).html$ http://lasto.com/blog/index_index_$1.htm [L]
RewriteRule ^blog/post_(\d{10}).html$ http://lasto.com/blog/index_post_$1.htm [L]
RewriteRule ^blog/post_(\d{10})_(\d{1,3}).html$ http://lasto.com/blog/index_post_$1_$2.htm [L]
RewriteRule ^blog/opinion_(\d{10})_(\d{10}).html$ http://lasto.com/blog/index_opinion_$1_$2.htm [L]

Обратите внимание, что, в отличие от инструкции, трафик с «белых дорвейчиков» тут не приземляется на фиктивную посадочную страницу, так как у нее будет хеадер «302 found». Нам же нужен честный 404 хеадер, отдаваемый в экран прямо силами Апача. Пусть оно некрасиво и выглядит как тупик (на экране никакой навигации нет), но не приводит к двусмысленности.

Критерий завершения эксперимента.

По идее, тут алгоритм такой: составляем список всех страниц сайта, доступных через навигацию, и потом каким-либо образом вызнаём у Яндекса все проиндексированные им документы из этого списка. Когда вхождение документов в серп будет на уровне 90-95%, можно считать, что сайт проиндексирован.

Понимая, что конкретно тут после смены ЧПУ почти все адреса документов обновились, этот алгоритм применим.

Местный автор не стал заморачиваться изысканием софта под эту одноразовую для него процедуру, и тупо привлёк бота от Хитрой Конторы

В самом деле, когда бот обходит весь сайт, коллекционируя URL-ы всех его страниц в пределах трёх кликов от морды (а местный автор пишет движки таким образом, чтобы это незыблемое правило соблюдалось), и в какой-то момент оказывается, что не менее 95% этих страниц таки проиндексированы Яндексом, причём все они - в новом ЧПУ, то можно заключить, что переиндексация сайта Яндексом случилась.

Главный итог эксперимента.

Удивительно, но факт - для индексирования всех полутора тысяч страниц сайта в их новых адресах Яндексу хватило ровно недели.

Местный автор полагает, что этому весьма способствовали рулёзы в .htaccess файле. Они явным образом устанавливали соответствие между старыми и новыми вариантами написания адресов, поэтому их склейка проистекла стремительно.

Без таких рулёзов, когда старые варианты URL-ов начинают приводить к 404 ошибке, а новые надо ещё изыскать через навигацию сайта, да за несколько итераций, процесс не был бы так быстр.

Есть предположение, что если старые и новые написания адресов страниц нельзя сопоставить через столь простые алгоритмические подмены, буквально в пять простых правил, которые можно записать вообще четырьмя строчками, всё это волшебство .htaccess-а можно заменить магией карты сайта.

Магия будет не так действенна, как рулёзы хтакцесса, но и лучше, чем последовательный переобход документов через иерархию меню навигации. И, кстати, это единственный случай, когда карта сайта способна хоть чем-то помочь (в повседневной жизни она сайту без надобности).

Временной интервал.

Сайт был подменён на сервере вечером пятницы, 16 июня, примерно в 18 часов по местному времени.

Через неделю, к полудню 23 июня, было зафиксировано выполнение условий завершения эксперимента, как это оговорено выше. Сайт встал 95 процентами своих документов в индекс Яндекса.

Для чистоты эксперимента все графики, которые встретятся в статье ниже, содержат данные за 168 часов. То есть они сняты с сервиса статистики ровно в 18 часов местного времени 23 июня.

Индексирующий бот Яндекса «YandexBot/3.0»

Визиты бота YandexBot/3.0 при смене ЧПУ сайта.

Интересно, что бот с юзерагентом «YandexBot/3.0» обходит сразу все документы сайта за сутки, но делает это по нескольку раз. Основное нашествие длилось три дня, всё остальное - доиндексация.

Бот анализа вёрстки сайта «YandexMobileBot/3.0»

Вернее, он выносит умозаключение о пригодности вёрстки сайта для мобильных устройств, но устоявшегося названия у него ещё нет.

Визиты бота YandexMobileBot/3.0 при смене ЧПУ сайта.

Как видим, этот бот работой себя не утруждает.
Но радует, что такой бот хотя бы имеется.

Бот индексатора Яндекс.Картинок «YandexImages/3.0»

Визиты бота YandexImages/3.0 при смене ЧПУ сайта.

Учитывая, что в блоге оставлено порядка 200 постов, и почти каждый из них имеет хотя бы по одной картинке, этот бот посетил все, либо почти все такие документы.

Отметим, что посещение случилось вслед за индексирующим ботом, и практически сразу. Двух дней боту сервиса поиска по картинкам вполне хватило.

Бот Яндекс.Каталога «YandexCatalog/3.0»

Мы имеем единственный и одинокий хит:

Визиты бота YandexCatalog/3.0 при смене ЧПУ сайта.

Местный автор не помнит, чтобы он вообще добавлялся в Яндекс.Каталог, а учитывая его «любовь» к Яндексу, и вовсе исключает такой вариант как невозможный. Однако, факт - бот Яндекс.Каталога зачем-то на сайт ходит, причём строго в момент смены сайтом своего ЧПУ и полного обновления всего контента.

Бот Яндекс.Метрики «YandexMetrika/2.0»

Опять же, местный автор никогда не ставил на свой сайт никакой Яндекс.Метрики, и, более того, не имеет аккаунта в Яндекс.Вебмастере для этого сайта (да и вообще ни для какого другого сайта также). Но, тем не менее, такой бот зачем-то пришёл, хотя и не сразу:

Визиты бота YandexMetrika/2.0 при смене ЧПУ сайта.

Поисковый трафик с Яндекса.

Это самое интересное, ибо график нарисовался вот такой:

Поисковый трафик с Яндекса после смены ЧПУ сайта.

Сам трафик строго с домена yandex.ru (есть и другие, например, yandex.by, yandex.ua, clck.yandex.ru, yandex.fr - но от них мы пока абстрагируемся).

Это удивительно, но никакого провала поискового трафика при смене ЧПУ сайта не случилось. Как сайт получал около 500 хитов в сутки с серпов Яндекса и Гугла совокупно (причём примерно поровну), так оно и осталось. Но с учётом сгинувших в небытиё страниц всевозможных «белых дорвейчиков», на которые приходилась примерно треть поискового трафика (вот рассказ про это с похабной картинкой), да сотни убитых постов, потерявших актуальность. Их трафик надо из 500 вычесть.

Вывод.

Как убедился на собственном примере местный автор, Яндекс сегодня весьма неплох, и при смене ЧПУ сайта весьма эффективно «переклеивает» URL-ы. Поисковый трафик при этом почти не проседает. Хотя конкретно тут его и не так много, чтобы такое утверждение постулировать для SE трафика иной размерности.

При этом никакого переранжирования документов не происходит. TOP-5 наиболее интересных людям документов, составленный по величине поступающего на них поискового трафика, в точности сохранился, как и весь TOP из примерно 20 документов, отслеживаемых местным автором.

Никаких явлений класса «документ выпал из индекса при смене ЧПУ, и больше в него не попал» также не замечено. Оно, конечно, в серпе Яндекса старые и новые URL-ы ещё долго будут вперемежку, но это вполне обычное дело.

Главное, что удивляет и обнадёживает: кардинальная смена URL-ов документов сайта, включая замену их расширения, при грамотном построении движка (когда рулезами файла хтакцесса можно однозначно сопоставить новым URL-ам старые) не является помехой для получения поискового трафика с Яндекса. Он вообще не только никуда не делся, но даже и не просел.

Для местного автора это явилось полнейшей неожиданностью.
Яндекс, и вдруг такая красота :)

Другие статьи категории «SEO - три весёлых буквы»

Дружно готовимся к геноциду от Яндекса.

Дружно готовимся к геноциду от Яндекса. Где-то ещё в 2011 году Яндекс предупреждал, что так называемые SEO-тексты должны сгинуть, ибо до добра не доведут. Как мы все теперь знаем, ничего подобного в реальности почему-то не случилось, и сайты с SEO-текстами на борту живы-здоровы и по сей день. Может, какая-то часть из них и была порвана в клочья, но далеко не основная масса.

Полноэкранные модальные окна и поисковая выдача Гугла.

Полноэкранные модальные окна и поисковая выдача Гугла. Местному автору посчастливилось жить на территории с чудным климатом. Окна в доме открываются нараспашку где-нибудь в конце июня, и до конца августа не закрываются вовсе. Конечно, ночью бывает слегоньца холодновато, но зато днём благодать. Причём услуги кондиционера не требуются. Ну и хвойные леса вокруг, и прочие лютики-цветочки довершают картину счастья.

Карта сайта. Нужна ли?

Карта сайта. Нужна ли? Местный автор, многократно сталкиваясь с одним и тем же вопросом, раз этак на десятый вдруг понимает, что проще написать опус для дальнейшего отсылания к нему. Так что сегодня мы будем постигать, кто такая карта сайта, и зачем она нам даром не нужна.
14 июля 2017, 18:39

№ 1Подтверждаю...

В феврале сего года переводил свой магазин на SSL протокол. Тоже боялся, что переиндексация займет кучу времени и будет печалька с продажами. Естественно постарался все сделать максимально грамотно - с добавлением htaccess рулезов, новой карты сайта и правильными танцами с бубном в Я.Вебмастере.

Итог - Яндекс переиндексировал и выкатил в серп https-версию сайта за 4 суток - более 50% документов, за 8 суток - более 90%.

Хваленый Гугл, к примеру, копался более 2 недель. (хотя в Гугле после перехода на https сайт заметно подрос в выдаче)
Тут другое, и смена протокола вообще никакого отношения к переиндексации не имеет.
Александр
Все заметки категории «SEO - три весёлых буквы»