Файл роботса и поисковый трафик.

Файл роботса и поисковый трафик.

Каждый вебмастер страждет познать Тайную Книгу Ктулху поисковых систем. Чтоб знать наперёд, чего такого страшного и радостного произойдёт, если сделать так-то и так-то. Ибо все боятся страшного, и жаждут радостного.

Нет никакого способа узнать это, кроме как сотворив эксперимент.
Ну так за дело.

Суть эксперимента.

Где-то на этапе причёсывания своего блога или чуть раньше, местный автор решил поделить все документы сайта на те, что угодны Богу, и другие.

«Другие» тоже полезны, и выполняют возложенную на них функцию сильно вспомогательных страниц, что типично для сайтов ниши СДЛ, однако показывать их поисковикам вовсе не обязательно.

В результате родился файл роботса такого вида:

И несколько тысяч страниц перешли на тёмную сторону Силы.

Закономерно возник вопрос, чего станет с сайтом и его трафиком, когда Яндекс и Гугл обнаружат пропажу существенной части ресурса. С оговоркой, что с горизонта исчезли не шибко значимые страницы.

Но сперва трастовый показометр.

Такой нам известен всего один, который Xtool - многие им пользуются, и на самом деле, его и вполне достаточно. И вот чего он показывает за интересующий нас период времени:

По идее, данные бы надо сгладить, так как собственно показометр про аппроксимацию и интерполяцию ничего не слышал. Но и в «сыром» виде есть над чем посмеяться.

Да, понятно, что показометр в том числе учитывает и соотношение страниц, сидящих в индексе, к общему числу страниц сайта, каковое подсмотрено в альтернативном источнике. И пока альтернативный источник не учёл реалии обновлённого файла роботса, и не подкорректировал свои знания о числе документов сайта, доступных для индексации, показания траста XT будут ни о чём.

Как видите, этот показометр болтает от 8 (весьма качественный сайт) до 3 (откровенный говносайт) при неизменном качестве собственно сайта. Думается, это неправильно, и коэффициент степени индексации сайта Яндексом в показометре явно гипертрофирован.

Но нас интересуют не собственно циферки, а поведение кривульки. Она в целом вернулась к доперестроечным позициям, либо активно устремлена туда. Из чего можно заключить, что уже можно анализировать влияние изменений в файле роботса на поисковый трафик сайта — все пертурбации уже случились.

Гугл.

Как мы знаем, органический поисковый трафик с Гугла не очень сильно завязан на поведенческие факторы, а определяется трастом сайта (в Гугловом понимании, естественно), и классическим ссылочным ранжированием.

Грубо говоря, если на какой-то документ ссылаются из достойных мест, и по этим ссылкам ходит живой народ, то документ, читаемый народом, будет ранжироваться высоко. И тем лучше, чем выше траст сайта, содержащего этот документ.

Поэтому, когда мы закрываем от индексирования тьму вспомогательных страниц, и тем самым фактически убираем их с сайта, ничего страшного не происходит — на эти документы всё равно никто не ссылался, и в выдаче они не фигурировали. Поисковый трафик с Гугла не упал.

На самом деле он даже увеличился, примерно на треть. Видимо, оставив в индексе только значимые документы, мы тем самым повлияли на траст сайта. В лучшую сторону.

Стоить заметить, что реакция индексирующего бота Гугла весьма оперативна, и эффект можно заметить уже спустя пару недель.

Вывод: Гуглу нравятся сайты, все вспомогательные документы которых скрыты от индексации файлом роботса. Ссылки на такие документы со значимых документов прикрыты нофалловом — в СДЛ без таких ссылок не обойтись.

Яндекс.

Идеология ранжирования документов тут в корне иная — ссылочное ранжирование не котируется, и вообще чуть ли не отменено. В Яндексе молятся на поведенческие факторы, и то, что мы привыкли называть трастом сайта (с улыбкой вспоминаем про формулу в 700 мегабайт — это он и есть).

По идее, убрав из поля видимости Яндекса вспомогательные страницы, на которых никто и никогда никаких поведенческих факторов не демонстрировал, и на которые из поиска не шли, мы не должны получить эксцессов.

Однако, получили — поисковый трафик с Яндекса упал вдвое.
Объяснить это трудно.

Очевидно, что позиции сайта по любым ключевым словам просто просели, причём заметно. И это вовсе не вызвано хвалёными поведенческими факторами — сайт жил той же самой жизнью, что и раньше.

Следовательно, изъятие существенной части сайта из серпа Яндекса, пусть даже это будут и «мусорные» страницы, негативно сказывается на трасте самого сайта. Его документы существенно теряют в позициях.

Правда, с течением времени это лечится само собой, и спустя 3-4 месяца позиции восстанавливаются. По крайней мере, поисковый трафик с Яндекса у местного автора вернулся к доперестроечным значениям через указанный промежуток времени.

Итого.

Довольно часто местному автору в разных источниках приходится читать, что в результате непонятной ахинеи сайт потерял поисковый трафик с Яндекса, но приобрёл его с Гугла. Или наоборот. Но якобы Ломоносов был прав — где чего убыло, в другом месте того же столько прибыло, и Яндекс с Гуглом компенсируют друг друга.

Скорее всего, это так и есть, ввиду разного подхода к ранжированию указанных искалок.

Но теперь, чуть лучше понимая, как оно работает, местный автор рискнёт дать совет. Вот он: всегда ориентируйтесь на трафик с Гугла, и оптимизируйте сайт так, чтобы максимизировать этот трафик. На Яндекса при этом внимания не обращайте — он оценит Ваши усилия с лагом в три-четыре месяца.

Но при этом помните и о другом эффекте: если Гугл ценит только значимые документы сайта, в рамках хорошо всем понятной концепции ссылочного ранжирования, то Яндекс от ссылочного ранжирования демонстративно отказывается. А потому дорвейные технологии тут по-прежнему работают — чем больше страниц на сайте, заточенных под разнообразные ключевики, тем больший поисковый трафик сайту полагается.

Судьба Островов Яндекса.

Изучая на досуге вопрос, что подумает искалка, если файлом роботса вдруг закрыть от индексации существенный кусок сайта, местный автор вдруг вспомнил, что полтора-два года назад Яндекс устраивал революцию и внедрял инновацию, повергнувшую хомячков в панику. Поскольку местный автор Яндексом не пользуется, стало шибко интересно, что же из всего из этого в итоге получилось — времени уже прошло достаточно.

Поведенческие факторы и легальный шпион на сайте.

Последние публикации местного автора в рамках тематики SEO постоянно внушают Вам мысль про то, что сегодня поисковый трафик на Вашем сайте есть функция от его траста, числа проиндексированных страниц, и, грубо говоря, набора поведенческих факторов. Которые (поведенческие факторы), в свою очередь, являются функцией от качества контента (интересно читать)…

Сдулся поисковый трафик? Это симптом.

Около трёх лет назад местный автор затеял и реализовал небольшой эксперимент, который вебмастерам и прочим сайтовладельцам может показаться интересным. Оно и правда будет любопытно в выводах, так что устраиваемся поудобнее, и заслушиваем сказителя со вниманием. Откуда есть пошли на Руси разные перцы.