Сегодня он сливает в блог, а завтра Родину продаст.

Настраивая Портатор-пиявку для парсинга «Вебпланеты», и наблюдая список анонсов утянутых оттуда новостей, я зацепился за одну из них взглядом, и через серию нисходящих ссылок очутился на статье с вот такой вот интригующей фразой, по какому-то недоразумению не ставшей хитом сезона, и даже не попавшей в заголовок той статьи (что мы сейчас у себя немедля и исправим). К сожалению, URL в букмарк не занёс, но, думается, заголовок этого поста, будучи вбитым в Гугла, ту партизанскую статью выдаст с головой.

Статья, однако, любопытная, почти иносказательная. Произрастает на почве рассказа «Осмотр на месте» Лема, во времена совсем недавние могущего обрести статус чуть ли не антисоветского за весьма прозрачные ассоциации.

Если кто рассказ Лема не читал, а ходить до Гугла и изыскивать его там хронически лень, то фабула проста: две цивилизации отвергли разумный компромисс, и стали развиваться ортогонально: техногенно и противоестественно.

С приверженцами хайтека всё понятно и тысячекратно обсосано: люди попали в подчинение порождённой ими машинерии, и имеют бледный вид и задрюченную сущность. Про счастье и райскую жизнь, как и про коммунизм, речи не идёт. Вы это можете наблюдать воочию и сами: с развитием прогресса человек не становится счастливее. Его бытиё подчинено всё более жёстким краевым условиям, а Большой Брат становится всё больше и больше.

С оппонентами хайтека всё куда как круче- на технологии им плевать, а лозунг «назад к природе» привёл их к жизни в огромных животных- курдлях, в которых они проникают через задницу. Смешно, ага. Только в этой заднице им суждено регулярно застревать, и спасение застрявших не есть простая процедура. Вини-Пух и кроличья нора, только намного пафоснее.

В принципе, аллегория понятна: есть «вебдванольнутые» сайты, помешанные на синдикации контента (линк «web 2.0 как конкретная катапульта для Вашего проекта» не будет лишним, там про это много сказано, весьма полезно почитать), и сайты, застёгнутые на все пуговицы. Нельзя сказать, чтоб «сайты в мундире» жили в заднице курдля, а «вебдванольнутые» принародно выворачивали душу наизнанку (см. заголовок). Но определённая доля здравого смысла в такой ассоциации есть.

Она в следующем.

Конечно же, любой вебмастер, убоявшись задницы курдля, хватает штаны за галифе, и быстрой рысью (попку в горсть, и скачками) дует в сторону хайтека. Дяденька Гугл, вот мой сайт, проиндексируй его. Что? Теги не такие? Сейчас сделаю, дяденька. Карту сайта надо? Нету проблемов, нарисую. Много входящих ссылок? Буду работать, дяденька Гугл, в поте лица своего, денно и нощно, и не корысти моей ради, а пользы нашей для...

Если вебмастер держит своё слово, и пот выступает на обещанном месте, то сайт этого просветлённого вебмастера рано или поздно встраивается в иерархию ресурсов, начинает получать SE трафик, и всяко-разно «раскручиваться», как бы ни похабно это звучало. Вебмастер радуется не по-детски, и чувствует своё превосходство над теми, кто в курдлях. Кого в поиске не изыскать.

Но, блин, странные вещи начинают твориться.

По прошествии очень короткого времени вебмастер начинает не догонять. Вот счётчик, честный счётчик. Он фиксирует рост трафика. Но небольшой, скажем, на 10% в месяц (ежегодное удвоение трафика- это нормально). А вот статистика хостера- в позапрошлом месяце скушался гиг, в том два, а за неделю этого месяца- уже полтора. Прощай, старый тариф, здравствуй, новый, дорогой?

Получается, так.

А кто виноват и что делать?

А вот тут, друзья мои, очень интересно. Так как чрезмерная ВебДваНольнутость, экспорт контента кому угодно во всех мыслимых форматах, заточенность под искалки, и прочая политика открытых дверей приводят к тому, что по Вашему сайту начинают шарахаться кто ни попадя, причём без оглядки на здравый смысл.

Ну например. Вот Вы читаете блог, строго текстовый ресурс. Спрашивается, что здесь делать боту поисковой системы, специализирующейся на поиске графики (да к примеру хотя бы Googlebot-Image- таких ботов много)? Совершенно нечего. Однако бот так не думает- пока я ему не показал красную карточку и не погрозил мухобойкой, он долбился в каждый документ по три раза на дню. Каждый божий день. Без перерыва на обед, шабад и выходные. Спрашивается, нафига?

Или взять ботов поисковых систем, коих сотни. Лишь очень немногие из них действительно генерируют трафик в нашу сторону (таких искалок не больше дюжины). Однако их боты ходят по нашим сайтам, как у себя дома. Прямо в тапках и пижаме, фактически тут и живут. А мы оплачиваем их проживание, гоняем для них за пивом, и заискивающе заглядываем им в глаза.

И я Вас спрашиваю: какого хрена?

Нет, если бог создал бота, и увидел, что это хорошо, и сказал, нехай да будет так, то тут всё понятно. Но не надо и фанатизма- если боты накручивают впятеро больше трафика, чем серферы, то, может быть, для ботов учредить какой-нибудь фейс-контроль, что ли?

А сейчас Вы будете смеяться. Реальная история про то, как мужик по доброй воле переехал из царства великого хайтека в задницу курдля, как раз и нарисовав такой пост фейс-контроля в виде файла роботса.

Если Вы настоящий вебмастер, то мужика того Вы знать должны. Звать его Бретт Тэбке, сайт с популярным форумом вебмастеров webmasterworld.com – это его ресурс и есть.

А поступил тот мужик креативно. Понимая, что его аудитория приходит на сайт вовсе не рикошетом, а точно зная, куда идёт, он взял да и запретил через robots.txt всем неавторизованным ботам ходить по его сайту. В данный момент доступны три варианта сего чудного файла со всем сопутствующим объясняловом:

http://www.webmasterworld.com/robots.txt
http://www.webmasterworld.com/robots2
http://www.webmasterworld.com/robots3

Понятно, что следом сайт исчез из области видимости искалок, аки его и не было, со всем своим миллионом страниц. Но завсегдатаи форума вместе с хозяином просто нарадоваться не могли- так быстро стал откликаться сайт. Ибо паразитный трафик сдулся до нуля, толпы ботов вымелись вон, и ничто теперь не мешало сайту работать.

Мне так кажется, что и трафик у мужика упал раз в десять, при том же числе посетителей- они-то никуда не делись. И это хорошо- форум для вебмастеров по определению адресован людям, а не ботам.

Просматривая последний из файлов роботса, самый информативный и полезный, можно только поразиться, какая туева куча ботов (а там перечислены далеко не все из них, в моей коллекции их в три раза больше) бродит по нашим сайтам. Без визы и паспорта, регистрации и вида на жительство. Причём ошеломляет ещё и то, что вебмастеру приходится тщательно перечислять тех, кого пущать не велено. Не проще ли сделать наоборот- выписать пропуск на тех ботов, кому мы рады, а всех остальных, в пропуск не вписанных, побрить? Я бы прописал Гугла, да его медиабота, и на том бы ограничился...

Кстати, опыт мужика из вебмастерворлда может пригодиться каждому из нас. Потому как в любой момент может завестись новая искалка типа Webalta, и, оправдывая вложенные в неё бабки, начать долбиться по всем известным другим искалкам сайтам Рунета со страшной силой и таким темпераментом, что бота той же Вебальты иначе как «бешеным ботом» никто и не зовёт. Крупные хостерные конторы, наблюдая спуск половины трафика в унитаз, даже засомневались в душе- а не побрить ли бешеного бота нафиг? В связи с чем попутно выяснилось, что подобная практика местами втихушку имеет место быть. С устроением круглосуточного комендантского часа для особо нахальных ботов.

Естественно, добро, доводящее до греха, так же противоестественно, как и житиё в заднице курдля. Однако если Ваш сайт более-менее популярен, приготовьтесь осознать, что ботовый трафик в разы превышает человеческий. Конечно, если Вы в состоянии отслеживать такие вещи (зачастую наблюдать это просто нечем). Причём учтите и тот момент, что этот ботовый сверхтрафик практически никак не сказывается на позиции сайта в серпе. Просто чересчур усердная работа ботов, только и всего.

Вот такой вот занятный побочный эффект у SEO. С которым, конечно, бороться можно и не только методом Бретта Тэбке- мужик всё-таки оказался кардинально креативен, далеко не все на подобное решатся. А всего лишь правильно юзая метатеги или хеадеры документов, прописывая в этих тегах не никому не нужные глупости, ботам совершенно не интересные, а полезные фичи наподобие Last-Modified, что ли.

Наблюдая в статистике данного блога, позиционируемого как "блог, который любят поисковики", настоящую вакханалию ботового тусняка, давайте поэкспериментируем с ласт модифиедом, и посмотрим, насколько гуру от SEO правы, по нему фанатея.

А то что-то любовь поисковиков к блогу несколько чрезмерная получается...

Я же, спустя некоторое время, расскажу Вам про этого ласт модифиеда всю правду до копейки. То, чему научит проделанный опыт, сын ошибок трудных. Предвосхищая который, Вы можете черкнуть чего-нибудь в комментах- это действительно стоящая и зело интересная тема.