Настраивая Портатор-пиявку для парсинга «Вебпланеты», и наблюдая список анонсов утянутых оттуда новостей, я зацепился за одну из них взглядом, и через серию нисходящих ссылок очутился на статье с вот такой вот интригующей фразой, по какому-то недоразумению не ставшей хитом сезона, и даже не попавшей в заголовок той статьи (что мы сейчас у себя немедля и исправим). К сожалению, URL в букмарк не занёс, но, думается, заголовок этого поста, будучи вбитым в Гугла, ту партизанскую статью выдаст с головой.

Статья, однако, любопытная, почти иносказательная. Произрастает на почве рассказа «Осмотр на месте» Лема, во времена совсем недавние могущего обрести статус чуть ли не антисоветского за весьма прозрачные ассоциации.

Если кто рассказ Лема не читал, а ходить до Гугла и изыскивать его там хронически лень, то фабула проста: две цивилизации отвергли разумный компромисс, и стали развиваться ортогонально: техногенно и противоестественно.

С приверженцами хайтека всё понятно и тысячекратно обсосано: люди попали в подчинение порождённой ими машинерии, и имеют бледный вид и задрюченную сущность. Про счастье и райскую жизнь, как и про коммунизм, речи не идёт. Вы это можете наблюдать воочию и сами: с развитием прогресса человек не становится счастливее. Его бытиё подчинено всё более жёстким краевым условиям, а Большой Брат становится всё больше и больше.

С оппонентами хайтека всё куда как круче- на технологии им плевать, а лозунг «назад к природе» привёл их к жизни в огромных животных- курдлях, в которых они проникают через задницу. Смешно, ага. Только в этой заднице им суждено регулярно застревать, и спасение застрявших не есть простая процедура. Вини-Пух и кроличья нора, только намного пафоснее.

В принципе, аллегория понятна: есть «вебдванольнутые» сайты, помешанные на синдикации контента (линк «web 2.0 как конкретная катапульта для Вашего проекта» не будет лишним, там про это много сказано, весьма полезно почитать), и сайты, застёгнутые на все пуговицы. Нельзя сказать, чтоб «сайты в мундире» жили в заднице курдля, а «вебдванольнутые» принародно выворачивали душу наизнанку (см. заголовок). Но определённая доля здравого смысла в такой ассоциации есть.

Она в следующем.

Конечно же, любой вебмастер, убоявшись задницы курдля, хватает штаны за галифе, и быстрой рысью (попку в горсть, и скачками) дует в сторону хайтека. Дяденька Гугл, вот мой сайт, проиндексируй его. Что? Теги не такие? Сейчас сделаю, дяденька. Карту сайта надо? Нету проблемов, нарисую. Много входящих ссылок? Буду работать, дяденька Гугл, в поте лица своего, денно и нощно, и не корысти моей ради, а пользы нашей для...

Если вебмастер держит своё слово, и пот выступает на обещанном месте, то сайт этого просветлённого вебмастера рано или поздно встраивается в иерархию ресурсов, начинает получать SE трафик, и всяко-разно «раскручиваться», как бы ни похабно это звучало. Вебмастер радуется не по-детски, и чувствует своё превосходство над теми, кто в курдлях. Кого в поиске не изыскать.

Но, блин, странные вещи начинают твориться.

По прошествии очень короткого времени вебмастер начинает не догонять. Вот счётчик, честный счётчик. Он фиксирует рост трафика. Но небольшой, скажем, на 10% в месяц (ежегодное удвоение трафика- это нормально). А вот статистика хостера- в позапрошлом месяце скушался гиг, в том два, а за неделю этого месяца- уже полтора. Прощай, старый тариф, здравствуй, новый, дорогой?

Получается, так.

А кто виноват и что делать?

А вот тут, друзья мои, очень интересно. Так как чрезмерная ВебДваНольнутость, экспорт контента кому угодно во всех мыслимых форматах, заточенность под искалки, и прочая политика открытых дверей приводят к тому, что по Вашему сайту начинают шарахаться кто ни попадя, причём без оглядки на здравый смысл.

Ну например. Вот Вы читаете блог, строго текстовый ресурс. Спрашивается, что здесь делать боту поисковой системы, специализирующейся на поиске графики (да к примеру хотя бы Googlebot-Image- таких ботов много)? Совершенно нечего. Однако бот так не думает- пока я ему не показал красную карточку и не погрозил мухобойкой, он долбился в каждый документ по три раза на дню. Каждый божий день. Без перерыва на обед, шабад и выходные. Спрашивается, нафига?

Или взять ботов поисковых систем, коих сотни. Лишь очень немногие из них действительно генерируют трафик в нашу сторону (таких искалок не больше дюжины). Однако их боты ходят по нашим сайтам, как у себя дома. Прямо в тапках и пижаме, фактически тут и живут. А мы оплачиваем их проживание, гоняем для них за пивом, и заискивающе заглядываем им в глаза.

И я Вас спрашиваю: какого хрена?

Нет, если бог создал бота, и увидел, что это хорошо, и сказал, нехай да будет так, то тут всё понятно. Но не надо и фанатизма- если боты накручивают впятеро больше трафика, чем серферы, то, может быть, для ботов учредить какой-нибудь фейс-контроль, что ли?

А сейчас Вы будете смеяться. Реальная история про то, как мужик по доброй воле переехал из царства великого хайтека в задницу курдля, как раз и нарисовав такой пост фейс-контроля в виде файла роботса.

Если Вы настоящий вебмастер, то мужика того Вы знать должны. Звать его Бретт Тэбке, сайт с популярным форумом вебмастеров webmasterworld.com – это его ресурс и есть.

А поступил тот мужик креативно. Понимая, что его аудитория приходит на сайт вовсе не рикошетом, а точно зная, куда идёт, он взял да и запретил через robots.txt всем неавторизованным ботам ходить по его сайту. В данный момент доступны три варианта сего чудного файла со всем сопутствующим объясняловом:

http://www.webmasterworld.com/robots.txt
http://www.webmasterworld.com/robots2
http://www.webmasterworld.com/robots3

Понятно, что следом сайт исчез из области видимости искалок, аки его и не было, со всем своим миллионом страниц. Но завсегдатаи форума вместе с хозяином просто нарадоваться не могли- так быстро стал откликаться сайт. Ибо паразитный трафик сдулся до нуля, толпы ботов вымелись вон, и ничто теперь не мешало сайту работать.

Мне так кажется, что и трафик у мужика упал раз в десять, при том же числе посетителей- они-то никуда не делись. И это хорошо- форум для вебмастеров по определению адресован людям, а не ботам.

Просматривая последний из файлов роботса, самый информативный и полезный, можно только поразиться, какая туева куча ботов (а там перечислены далеко не все из них, в моей коллекции их в три раза больше) бродит по нашим сайтам. Без визы и паспорта, регистрации и вида на жительство. Причём ошеломляет ещё и то, что вебмастеру приходится тщательно перечислять тех, кого пущать не велено. Не проще ли сделать наоборот- выписать пропуск на тех ботов, кому мы рады, а всех остальных, в пропуск не вписанных, побрить? Я бы прописал Гугла, да его медиабота, и на том бы ограничился...

Кстати, опыт мужика из вебмастерворлда может пригодиться каждому из нас. Потому как в любой момент может завестись новая искалка типа Webalta, и, оправдывая вложенные в неё бабки, начать долбиться по всем известным другим искалкам сайтам Рунета со страшной силой и таким темпераментом, что бота той же Вебальты иначе как «бешеным ботом» никто и не зовёт. Крупные хостерные конторы, наблюдая спуск половины трафика в унитаз, даже засомневались в душе- а не побрить ли бешеного бота нафиг? В связи с чем попутно выяснилось, что подобная практика местами втихушку имеет место быть. С устроением круглосуточного комендантского часа для особо нахальных ботов.

Естественно, добро, доводящее до греха, так же противоестественно, как и житиё в заднице курдля. Однако если Ваш сайт более-менее популярен, приготовьтесь осознать, что ботовый трафик в разы превышает человеческий. Конечно, если Вы в состоянии отслеживать такие вещи (зачастую наблюдать это просто нечем). Причём учтите и тот момент, что этот ботовый сверхтрафик практически никак не сказывается на позиции сайта в серпе. Просто чересчур усердная работа ботов, только и всего.

Вот такой вот занятный побочный эффект у SEO. С которым, конечно, бороться можно и не только методом Бретта Тэбке- мужик всё-таки оказался кардинально креативен, далеко не все на подобное решатся. А всего лишь правильно юзая метатеги или хеадеры документов, прописывая в этих тегах не никому не нужные глупости, ботам совершенно не интересные, а полезные фичи наподобие Last-Modified, что ли.

Наблюдая в статистике данного блога, позиционируемого как "блог, который любят поисковики", настоящую вакханалию ботового тусняка, давайте поэкспериментируем с ласт модифиедом, и посмотрим, насколько гуру от SEO правы, по нему фанатея.

А то что-то любовь поисковиков к блогу несколько чрезмерная получается...

Я же, спустя некоторое время, расскажу Вам про этого ласт модифиеда всю правду до копейки. То, чему научит проделанный опыт, сын ошибок трудных. Предвосхищая который, Вы можете черкнуть чего-нибудь в комментах- это действительно стоящая и зело интересная тема.

При основательной работе с серьёзными искалками любой вебмастер руководствуется принципом эскулапа типа «не навреди». Понятно, почему- путь к вершине серпа долог и тернист, а сыграть в дауна можно легко и просто.

Именно страшась дауна, вебмастер блюдёт самым строгим образом совершеннейше неочевидные правила, такие, как постепенное изменение контента сайта. К примеру говоря. Когда на сайт не выкладывается сразу тысяча страниц, но добавляется по сотне еженедельно.

Понятно, почему- очень немногие ресурсы обзаводятся тысчонкой- другой документов за промежуток времени между двумя визитами поискового бота. Это для сайтов, вообще-то говоря, не типично. И подозрительный поисковик, заслушав доклад своего бота-разведчика, может решить, что тут он сталкивается с генератором дорвеев, или ещё чем-то подобным. С вытекающими- либо сайт на время из серпа исчезнет, либо бот приползёт только через месяц, либо ещё какая закавыка на горизонте нарисуется. А вебмастеру всё это ни к чему.

Точно по той же самой причине никто и никогда не меняет контент всего сайта одним махом. Естественно, имеется ввиду ситуация, когда сайт реально большой, и документов в нём много (тысячи страниц). Соображения ровно те же самые до копейки.

И уж совсем крайнюю осторожность вебмастер проявляет при манипуляциях с документами, интенсивно получающими поисковый трафик. Ибо вполне может так получиться, что, образно говоря, человек своими же руками засунет затыкашку от ванны в то самое место, которым курица, несущая золотые яйца, эти самые яйца ранее усердно и добросовестно производила на свет.

Можете себе представить обалделое недоумение курицы и горечь вебмастера, таки осознавшего свой поступок. Но затычка от ванны страшна своей фатальностью. После её применения иной раз курицу остаётся только в суп- нестись она больше не будет...

Наваристый куриный бульон- слабое тому утешение. Птичку жалко.

Так мы теряем свои сайты...

Прониклись всей крутизной засады, приготовленной искалками на нерадивого вебмастера? Ну и ладненько.

Если до сего момента всё понятно, обозначенная опасность осознана, а затычка от ванны, пробка от термоса, и прочие кукумберы с пупырышками уже соотносятся в Вашей голове с курицей, несущей золотые яйца, как непримиримые антагонисты- антиподы, то Вам должна быть интересна нижеследующая информация про манипуляцию над контентом страниц, получающих нехилый объём поискового трафика.

Я долго воздерживался от такой манипуляции, так как масштабы засады чётко себе представлял. Но иногда и шашкой помахать надо - адреналин штука полезная.

Итак.

Так получилось, что главную ценность всего этого блога искалки уровня Гугла видят в страничке его статистики. Где протоколируются реальные поисковые запросы серферов, и из многих разных слов, стоящих рядом, любой бот любой искалки при желании легко накомбинирует множество других низкочастотников. А то, глядишь, и высокочастотники тут затешутся.

От того факта, что любой поисковый запрос завязан на белый дор, и через него- на реальный контент, мы пока абстрагируемся. Это важно, но разговор пока не про то.

Интерес в другом- а что случится, если вся эта страница статистики с тысячами кейвордов, материализовавшихся в сотнях кило HTML кода страницы, с третьим пиаром и хорошим положением в серпе по многим ключевикам ВДРУГ станет пустой и непривлекательной для ботов. По идее, поисковый трафик должен тут же кончиться, пропасть. А страница- пессимизироваться.

Понятно, что интерес возник не на почве мазохизма. Ресурсы хостера не безграничные, статистика по 50 тысячам хитов и нескольким дюжинам искалок уже еле ворочалась. Поневоле пришлось отчёт о поисковом трафике структурировать и дробить на кучку более мелких страничек.

Наблюдение за реакцией Гугла в ответ на такую реструктуризацию «шпионского досье» дало три наблюдения:

• Несмотря на мгновенное обновление страницы статистики в гугловом кэше, её положение в серпе по традиционным для неё кейвордам несколько дней оставалось без изменений. Несмотря на полное несоответствие страницы этим самым кейвордам, что Гугл не мог не видеть. Удивительно. Похоже, тут мы имеем какую-то инертность- читать про неё не доводилось.
  
  
• Возможно, инертность обусловлена тем, что боты в это время усердно продалбливались по ссылкам, ведущим с обновлённой страницы- все кейворды перекочевали туда. Возможно, документ, напрямую залинкованный на релевантные запросам страницы, не пессимизируется столь уж катастрофично. Ведь серфер таки попадает, куда ему нужно. Пусть и не напрямую.
  
  
• Судя по анализу популярности страниц, поисковые запросы были тупо перенаправлены строго на те новоявленные странички, контента в которых больше (под контентом тут понимаются уникальные кейворды в численном выражении). В шпионском досье видно совершенно отчётливо, что число переходов с поисковика на новорожденные странички хорошо коррелирует с числом ключевиков на них. Зависимость не очень линейная, но однозначная.

Последнее немного озадачивает.

В самом деле, вебмастер, привыкший мыслить традиционными категориями, волен предполагать, что страничка с контентом про покемонов, с линками на документы про покемонов, должна быть более релевантна запросу про покемонов же, чем точно такая же страничка, но с примесью всего того же про пепетунов. И вроде как две разные странички (про покемонов и пепетунов) должны получать каждая свой целевой трафик.

Однако в реальности трафик падает иначе- на страницу, где вперемешку покемоны с пепетунами. По запросам и про покемонов, и про пепетунов. Что несколько противоречит устоявшимся догмам, однако.

Отсюда не очень воодушевляют пожелания оптимизироваться под поиск ручками или с помощью софта, соблюдая на странице плотность ключевых слов. И заверения о необходимости строгать страницы под разные запросы, но по тому же принципу, также не внушают доверия. Очевидно, что все эти кейворды и плотности тех самых кейвордов сегодня играют очень незначительную роль. Настолько незначительную, что о плотности ключевых слов можно даже и не думать. Помнить, конечно, но не доходить до фанатизма.

А в целом разруливание поискового трафика (90% его падало и продолжает падать внутрь «шпионского досье») показало гибкость алгоритмов Гугла- плотность трафика просела процентов на 20-30, да и то не надолго.

Курица избежала ужасов общения с затыкашкой от ванны, и продолжает исправно нести золотые яйца :)

Но вот вывод про плотность ключевиков (вернее, игнорирование Гуглом оной) малость озадачивает.

Не знаю, как Вы, а я получаю истинное удовольствие и впадаю в восторженное удовлетворение от чтения хороших литературных текстов. Кажется, ранее даже был специальный жанр, для этого фактически как раз и предназначенный- эссе.

К сожалению, сегодняшний юзер в массе своей зажат и скован, из-под его клавиатуры очень редко выползают достойные в этом отношении тексты, богатство русского языка сведено к разговорнику для лингвистически продвинутых иностранцев, а сам язык стал каким-то быдлообразным. Хороший русский сохранился разве что в эмигрантской среде.

Я утрирую, конечно.

Но немного.

Ещё хуже, когда неумение последовательно и логично, и в то же время ясно и чётко излагать мысль во всём богатстве возможных интонаций, приводит к испугу перед листом бумаги. Наблюдая чилдрена, откровенно страдающего при написании сочинения, никак не могу взять в толк- ну что тут такого сложного-то?

Если б я был учителем в современной школе, непременно озадачивал бы своих учеников еженедельными сочинениями на абстрактные темы: о ржавом гвозде, трёх копейках, понюшке табаку. И толку б от того было куда как больше, чем от изучения фактологического материала. Хотя и это важно.

Думаете, про сочинение о ржавом гвозде на шести страницах я сморозил?

Ничуть не бывало- человек, потенциально способный на такое, никогда не пойдёт работать винтиком в контору. Ему там будет противно до одурения. Конечно же, он найдёт достойное себя место в жизни, даже проделав это на подсознательном уровне.

Совершенно не представляю Гришковца мелким клерком.

Посему, друзья мои, я был очень обрадован, когда в такой абстрактной и сугубо математической категории, как цепи Маркова, описанные в статье "Вам по этомy мостy до сеpедины, и сpазy напpаво... " и воплощённые в хулиганской страничке этого блога "Самописка от Lasto" небезызвестный Рунету Виктор Орлов увидел нечто большее, чем генератор контента: "Быстро едет жёлтый смайлик".

Обязательно почитайте его статью, дабы понять, как Ваш чилдрен сможет научиться писать сочинение о чём угодно, и занять со временем тёплое место Гришковца.

Ну а поскольку семена были посеяны, они должны были рано или поздно дать свои всходы. Что и случилось накануне- нашёлся и человек, внявший заветам Консильери: http://jworld4u.info/blog/post_1158742715.html

Таким образом, в Сети уже видны четыре генерилки контента на базе четырёх же различных подборок оригинальных текстов:

• http://lasto.com/blog/selfwriter.html
• http://lasto.com/blog/kastaneda.html
• http://consillieri.com/blogger/selfwriter.html
• http://jworld4u.info/blog/kastaneda.html

Ну и давайте последуем совету Консильери- тыкаясь в первый из этих четырёх урлов, дёргая из нагенеренных там текстов фразы и их куски, и соединяя их каплями клея общего смысла, легко и просто сочиним нетривиальный текст ни о чём, по прочтении которого у Вас возникнет только один вопрос: что курил автор?

Мудро всех архивирующие менты- это уже находка :)