Славные гуру манимейкинга, коих у нас так любят переводить на великий и могучий, выставляя по ходу дела чуть ли не оракулами ранга пророка Мухаммеда, крайне склонны делать упор на прямолинейное и не осмысливаемое действие. Мы абсолютно уверены только в том, чего не понимаем. И придать нам такую уверенность очень просто, директивой: пиши так, говори этак, думай то-то, и никак иначе. Потому что если в человеке засел червь сомнения, может налететь стая, и заклевать его насмерть. Бездумным- проще. Хотя излишняя уверенность обычно ведет к беде...

Самое страшное, что заокеанские гуру, пишущие для масс, в собственно вебмастеринге на самом деле мало что смыслят, хотя иной раз и пытаются взять менторский тон. Поэтому все их рекомендации, хоть сдуру и воспринимаются нами как величайшее откровение, с благоговением и подобострастным выпучиванием глаз, по сути своей являются инструкциями по бросанию гранаты, записанными со слов сержанта запаса. Да, сержант чётко расскажет, за что эту чёртову штуку дёрнуть, чтоб она дьявольски зашипела, и как быстро метнуть вдаль, чтоб самого не порвало на запчасти, но и не более того. Хотя винить сержанта за поверхностность его инструкций не нужно.

Простите меня за не очень прозрачную аналогию, но все сержантско- программерские дела на родине гуру отданы на откуп специально обученным людям, которые никаких солюшенов сочинять точно не будут, ни за что и никогда. Если гуру что-то такое и пишут в своих опусах, то это лишь результат наблюдения со стороны за действиями сержанта. Причём с порядочной дистанции, чтоб не зацепило ненароком. Сопутствующий сочный мат до слуха гуру не долетает, они видят лишь гламурную картинку. И свято верят, что сам процесс вблизи и изнутри столь же гламурен, как видится в бинокль.

Посему в подавляющем большинстве случаев, занимаясь практическим манимейкингом и столкнувшись с какой-то хитрой задачей вебмастеринга, будьте готовы к тому, что почитать на тему Вашей головной боли просто элементарно негде. И остаётся одно из двух- либо махнуть на проблему рукой, либо учинять экспириенс. Вариант с обращением к специально обученным людям отпадает сам собой- Вы не гуру, и живёте не за океаном.

Махать мы, конечно, все мастера. Но как Вы догадываетесь, сия заметка вовсе не про эмулирование ветряной мельницы подручными средствами, а про вещи чуть более серьёзные. Давайте на том предельно сконцентрируемся.

Итак, озадачившись совсем недавно сверхтрафиком ботовой природы, я решил учинить экспириенс, и поиграться в пределах своего блога метатегами, оговоренными спецификацией, но до той поры на блоге не употреблявшимися вовсе. Это очень интересная задачка сама по себе. Как говорится, не соблазняйте пионера- он и так всегда готов...

Надо сказать, что в самой спецификации заложена сильная концепция. Беда в том, что все тонкости всевозможных метатегов и прочих хедеров трудно постижимы вебмастерами, пользуются ими как бог на душу положит, а потому никто не ведает, насколько все эти метатеги на самом деле задействованы ботами SE. Посему любые сведения, добытые эмпирически, ценятся буквально на вес золота.

Итак.

Первое, что было добавлено в шаблон дизайна, это тег:

<meta name="Resource-type" content="document">

Далее все страницы совершили свой выбор в пользу одного из вариантов метатега:

<meta name="Document-state" content="Static">

<meta name="Document-state" content="Dynamic">

Понятно, что хотя абсолютно все страницы виртуальные, творятся движком в статичном расширении .html, они делятся на не обновляемые (собственно посты блога и документы, бегающие на его движке), и таки модифицируемые (оглавление, комментарии к постам, всякая статистика с поиском...). Назначение и смысл этого тега очевиден- мы просто даём понять ботам поисковых систем, какие документы в принципе подвержены модификации, а какие нет.

Дальше интереснее.

Самый проблемный метатег, с которым сайты почему-то всё никак не заведут интимную дружбу, это дата последней модификации документа:

<meta http-equiv="Last-Modified" content="Fri, 30 Jun 2006 16:04:44 GMT">

Обидно, что грамотно употреблять сей хитрый метатег в рамках движковых ресурсов не всегда возможно. Но так как у нас движок блога свой собственный, и есть пара рук, растущих из нужного места нужным концом, то мы легко подшаманим код под корректную генерацию данного тега. И будем формировать тег в зависимости от реальной даты модификации документа, либо самого позднего времени изменения любого из файлов, участвующих в синтезе контента этого документа.

Вроде бы всё просто, логично и понятно. Искалкам больше нет нужды догадываться, когда же контент блога шевелится, и на каких именно страницах. SE просто смотрят дату последней модификации страниц, и переиндексируют их при необходимости. Туда же, где тишь да гладь, толстый слой пыли, и только асимптотически затухающее в ноль эхо, гонять ботов на разведку и смысла никакого нет.

Но это всё голая теория- пусть даже и засунутая в золочёную рамочку, она являет собой желанное зрелище лишь для эстетов и интеллектуалов, плохо совмещающихся с действительностью и реальным миром. Нудистский пляж мало похож на галерею с полотнами великих мастеров, но там уже больше правды жизни, хотя меньше изысканности.

В полном соответствии с законом несовпадения по форме и содержанию голой теории со столь же голой практикой, находящихся в таком же соотношении, как залы Лувра с пляжами Новосибирского Академгородка, славящимися своими безбашенными натуристами, все эти хитрые метатеги, нарисованные в блог совершенно корректным образом, дали совсем не тот результат, которого бы хотелось. Отсюда внемлите со вниманием.

Несмотря на то, что блог по всем понятиям стал более кошерным, поисковый трафик почти сразу просел в полтора-два раза. Это означает, что документы блога в серпе сместились вниз, и не очень катастрофично, но заметно уступили свои позиции. И я связываю этот результат только с употреблением тега ласт модифиеда.

Тут немного не логично получилось.

С одной стороны, мы позаботились об искалках, указав явным образом степень древности всех наших документов, чтобы ботам не нужно было педантично отслеживать факт модификации контента, и догадываться о периодичности обновления каждого из документов.

С другой стороны, ответной любви явно не случилось- весь из себя кошерный блог попал под фильтры искалок, уважающих свеженькие документы, а не замшелые и покрытые плесенью опусы годовалой давности. Каковая давность предельно чётко обозначена нами посредством ласт модифиеда.

В пользу этого предположения красноречиво свидетельствует и факт пропадания страничек постов из списка популярных документов в статистике блога. Если раньше трафик поступал именно на эти документы с отдельными заметками, то сейчас- исключительно на страницы брогскролла. Ибо каждая такая страница несёт в себе по три смежных поста, но, в отличие от постов, имеет датой ласт модифиеда время создания последнего из постов, так как именно в тот момент произошло смещение заметок в блогскролле вниз, и все страницы блогскролла обновили свой контент на грубо говоря 30%

Что поделать- дерьмо случается.

Результаты моего эксперимента свидетельствуют о несомненной вредности тега Last-Modified. Для блогов классической структуры в частности. Да, ботовый трафик несколько снизился, но общая пессимизация документов в SE свела на нет все мнимые выгоды такой вот «оптимизации» ботового трафика.

Это, естественно, промежуточный, хотя и донельзя очевидный результат- эксперимент решено не прерывать, и пока не ворачивать всё, как росло. Возможно, три недели- не срок, и какая-то внутренняя инерционность искалок (интересует и отслеживается в первую очередь Гугл) пока не позволяет SE оценить всю кошерность и несомненную породистость блога, а также воспылать к нему пылкой страстью.

Хотя, справедливости ради стоит заметить, что кой-какая положительная динамика поискового трафика в последнее время наблюдается- возможно, тот же Гугл таки переосмысливает своё поведение, и апеллировать к святой инквизиции столь категорично не стоит. Поживём- увидим.

Я пока не знаю, стоит ли поставить тут точку, и должна ли она быть жирной. Потому пускай их будет три, худых и дистрофичных.

А что бы стоило сделать ?

Да просто проанализировать бесполезность ботового трафика. Скажем, вот есть у меня такая статистика за пару недель:

5321
2678
1432
1002
638
502
468
459
118

Googlebot/2.1 - маскируется под Mozilla/5.0 
larbin_2.6.3 larbin2.6.3@unspecified.mail
msnbot-media/1.0 
Mediapartners-Google/2.1
Yandex/1.01.001 
msnbot/1.0 
Yahoo! Slurp; - маскируется под Mozilla/5.0 
Java/1.5.0_08
NutchCVS/0.7.2

713
-
-
AdSense
4
18
36
?
?

13.4%



 0.6%
 3.6%
 7.7%

Чьи два последних бота, я не знаю. Но про остальных (за вычетом медиаботов) можно порассуждать.

Поделив количество запросов, поступивших с поисковой системы (это живые серферы) на число визитов бота этой искалки на блог, мы легко поимеем эффективность привлечения трафика с различных поисковых систем в относительных процентах.

• Как и следовало ожидать, первенство держат Гугл и Яха. Вы должны хорошо знать эти SE- любой вебмастер сочтёт за счастье с ними работать.
  
  
• Эффективность msn куда как ниже- и это даже без учёта трафика медиабота msn. В принципе, медиабота можно было бы и побрить- вряд ли он найдёт на блоге хоть что-то интересное для себя.
  
  
• Чётко видно, что бота поиска по блогам Яндекса брить не только можно, но и нужно. Четыре несчастных визита, порождённых его сервисом поиска по блогам- это даже не смешно. Баним.
  
  
• А вот архиватора Интеренета, как и его бота larbin_2.6.3 банить нужно всенепременно- трафик этот бот накручивает гигантский, а вот толку от него Вам лично нет никакого совершенно.

Так что прописав пару-тройку ботов в robots.txt, можно сразу сэкономить четверть объёма ботового трафика без всяких потерь для себя. А если ещё и знать назначение и принадлежность прочих ботов, коим несть числа, то и добрую половину, никак не меньше.

Никогда не публикую у себя в блоге перепечатки чужих статей, ибо способен при необходимости породить не хуже, но сегодня решил сделать исключение. Потому как довольно большой аудитории процитированная далее статья окажется весьма полезна, и, более того, крайне необходима. Эту необходимость я прямо сейчас и обосную.

Как известно, все люди делятся на тех, кто себя уважает и ценит своё время, и остальных прочих. Остальные-прочие нам совершенно не интересны, а первых опознать очень легко- они не любят бестолковщины. Если уж человек из разряда первых обустраивает себе сайт, то в пределах этого сайта он не будет заниматься хренью в любом её виде. Только тем, что даёт отдачу и приносит должное удовлетворение.

Да простят меня те, чьи верования я сейчас оскорблю, но к разнообразной хрени относятся и всевозможные баннеры, десятками болтающиеся на сайтах. Серьёзный человек повесит у себя баннер только в одном единственном случае- если этот баннер его личный, продвигающий собственное же предложение или услугу. И никак иначе.

Однако отчётливо понятно, что не весь трафик сайта целевой, и 90 процентам посетителей на сайте делать совершенно нечего. Всякие цветастые баннеры с голыми тётками как раз и играют роль точек выхода. Без них серфинг прервётся- окно браузера просто закроется без всякого толка и смысла. Что удручает.

Потому владельцу сайта, конечно же, про точки выхода следует подумать. Ничуть не сложно сваять какую-нибудь колоночку ссылок «посетите, интересно», но одновременно это и не очень разумно- и ПиАр утекает, и за ссылками нужно присматривать, чтоб они не были побитыми (за битые исходящие ссылки искалки тот сайт маленько наказывают), да и в плане последних апдейтов SE уровня Гугла нужно сто раз подумать головой, прежде чем позволить рукам прицепить к своему сайту линк. Вдруг ресурс на том конце линка имеет статус ненадёжного, и с такой ссылки один только убыток?

Задачка, прямо скажем, для приверженцев ТРИЗ- и точки выхода надо предусмотреть, и чтоб это были не физические линки (а на JavaScript, надо полагать), и чтоб этим себя не озадачить невероятно, да и чтоб с того был какой-то толк. А если точки выхода ещё и с темой сайта немножко перекликаться будут, то это было бы вообще замечательно.

Ну так не удивляйтесь, что миллионы здравомыслящих людей повыкидывали со своих сайтов всю рекламу, и повесили себе скриптовые ифреймы от AdSense, удовлетворяющие всем вышеперечисленным требованиям. Это система контекстной рекламы такая. У которой есть куча аналогов и подражателей, кстати говоря.

Попутно выяснилось, что тот АдСенс вебмастеров не обижает- средненький сайтик (наподобие этого блога) даёт минимально от бакса с каждой тысячи хитов в сутки, причём на русскоязычном трафике. В буржуинстве это должно быть умножено на десять, так что смысла держать на своём сайте что-либо, кроме АдСенса, и вовсе нет.

Учитывая, что тот же Гугл лоббирует интересы блоггеров, как наиболее перспективной ниши (они творят контент), не стоит удивляться, что каждый блог всенепременно несёт в себе код от AdSense. Ну прямо «русский и братья- китайцы навек».

И это здорово. Творческий человек, ведущий свой блог, получая неслабый кайф от сотворяемого им креатива, окупает при этом все затраты на домен и хостинг, да ещё и имеет что-то сверх того. Успешные блоггеры, подсев на пряники от АдСенса, вообще зарабатывают по 5-10 тысяч уёв в месяц, и несказанно дивятся своей прежней жизни, когда приходилось батрачить на дядю (каким красивым словом это не называйте, суть-то та же).

Прониклись?

Тогда читайте статью для новообращённых. Эпизод первый, так сказать.

Ахтунг, пост непомерной длины. Просто страшной.

У каждого человека есть свой ритуал. Кто-то блюдёт шабад, кто-то по субботам ходит в баню, кто-то цепляет на уши плейер и несется скачками в ближайшую лесополосу оздаравливать своё тело и дух. Кто-то ни фига не делает, и бездарно убивает время перед экраном ящика. Пусть апостолы будут к нему благосклонны, когда настанет час икс, и свыше прозвучит сакральное- game over.

Что касается Мастера Ласто, то день субботний обычно проводится им в размышлениях. Очень полезное, знаете ли, занятие. Почитать старика Лао Цзы, или новый опус Виктора Орлова, или хотя бы пяток дюжин страниц из последней книжки Мураками. И то, и другое, и третье одинаково полезно – на подсознательном уровне происходит абстрагирование от сиюминутных сущностей, совершенно не важных в глобальном плане. Без такого абстрагирования фокусировка на вещах действительно значимых, наверное, невозможна. Спасибо всем упомянутым всуе за то, что они были/есть/будут.

Понятно, что сочетание приятного с полезным случается не на ровном месте. Продавцы ближайшего супермаркета точно знают, что накануне субботнего дня к ним заглянет мэн с прикольной стрижкой «противотанковый проволочный ёжик», и добьется освобождения под залог бутылки хорошего коньяку с клятвенными заверениями позаботиться об её дальнейшей судьбе. Продавцы, конечно, знают, что смерть бутельмента будет скорой и неотвратимой, но отчего-то их это не колышет.

Ну а уж когда приятное с полезным таки совокупятся, на свет породятся некоторые мысли, ради которых, собственно, всё и затевалось. Иногда это бывает записано посредством нажимания клавиш кейборда, предусмотрительно способного удаляться от ноутбука посредством юзания блютуза, иногда и вовсе пропадает втуне. Но всё то, что Вы читаете в рассылке, на страницах блога и в интерфейсе RSS ридера, материализуется строго в рамках Субботнего Ритуала оказания уважения Коньячному Бутельменту. В другое время этим просто некогда заниматься.

Интуитивно понятно также и то, что приобщение к великим не проходит бесследно- это вам не тридцатитомник Ленина прочесть. Как-то начинаешь ценить мгновения оставшейся жизни, и скорбеть по времени, потраченном впустую. Ибо только во времена сопливой юности кажется, что вся жизнь впереди, и можно, скажем, пару годиков в армии послужить. Или позаниматься ещё какой-нибудь хренью того же толка. Люди чуть более взрослые на такие предложения без лишних раздумий изображают руками конкретный болт, и со словами «здесь вам не тут, ступайте лесом чутким шагом партизана, некогда мне» идут заниматься своими взрослыми делами. Где карты, деньги, два ствола, и вообще полный легалайз.

Оно и правильно.

Потому и мы не будем рассусоливать, ибо в браузер уже ушло четыре сотни слов, а Вы так и не поняли, про что опус, и какого хрена Вы его вообще имеете пред взором.

Я, конечно, извиняюсь за подобный расклад, проистекающий из любви к многочасовым разговорам о ржавом гвозде, но блог этот понятно про что- про SEO, и байки мы тут дружно травим исключительно про поисковую оптимизацию. Вот и сегодня давайте не выпадать из колеи и не выходить за рамки. Тем паче, что это очень просто.

К примеру.

Если бы это Вы пошли в пятницу вечером в супермаркет, и, внеся денежный залог, освободили коньячный бутельмент из-под бдительной стражи, а потом пожаловали ко мне на гости с освобожденцем и заготовленным коварным вопросом «Ласто, что делать, чтоб мой сайт любили поисковики?», я бы Вам ответил, как на духу: «Забудьте про всё, чему Вас учили гуру. Просто имейте на сайте много тематического и желательно оригинального контента».

В этом и прикол. Не очень важно, какие хитрые метатеги венчают сверху Ваш документ, как много на него стоит внешних ссылок. Вы можете потратить кучу времени и денег на раскрутку, добиться попадания в серп по какому-то кажущемуся Вам важным кейворду, но так и не поиметь с того же Гугла никакого навара. Сайт есть, в серпе виден, толку с того чуть.

Тысячи вебмастеров имеют несчастье это наблюдать воочию. В чём они ошибаются?

В своём убеждении, что их страничка кому-то нужна и интересна. Да, они напряглись и породили текст на семь экранов про какого-нибудь пепетуна. В стиле мультика про колобков: «Россия- родина пепетунов. Наши пепетуны лучшие в мире. Покупайте наших пепетунов». И свято верят в то, что всякий искатель пепетуна да обретет сию страницу на морду своего браузера под звучный «аминь, мне это как раз и надо».

Не тут-то было. Гипотетически не исключено, что при поиске по запросу «пепетун» страница на морду браузера таки обретется. Вся засада в том, что потенциальный клиент понятия не имеет, что искомого им покемона зовут пепетун. И получает на морду браузера совсем другие страницы, так как спрашивает не про то.

Могу даже аналогию провести. Уж не первый год наблюдаю, как пара-тройка вебмастеров Рунета (ничего против них не имею) с поразительным упорством творит ресурсы под флагом «как заработать лентяю». Вы когда-нибудь делали такой запрос? А почему не «как заработать лежебоке»? Пофигисту, тунеядцу, захребетнику, бездельнику, шалопаю, сачку, повесе, шалопуту. Зачем себя ограничивать выдуманными кейвордами? Пока они станут брендом, и искать будут именно их, сколько ж воды утечёт?

Вот и получается, что шибко сфокусированные на теме сайты никак не пересекутся со своей целевой аудиторией. Конкретность непростительна. Подборка статей про заработок привлечёт гораздо больший трафик, чем сайт про заработок для конкретного лентяя. Вот даже эта статья, в окружении трёх таких же постов этого блога с употреблением в них слова «заработать», и та примет на себя кусочек поискового трафика про заработок для лентяя, пофигиста, тунеядца, захребетника, бездельника, шалопая, сачка, повесы и шалопута. А также умницы, лежебоки, умника, глупца, дурака, болвана, дурня, дуралея, дурачины, балды, балбеса, идиота, имбицила, и так далее.

Чувствуете, куда клоню?

Именно. Если Гугл, да живёт он вечно, ведает про то, что этот блог фанатеет по заработку (к примеру говоря), и имеет множество страниц про всякий гешефт и прочую консумацию, причём страниц про всё про это самоё в нём много, то на любой запрос типа «заработок для...» блогу будет отведено подобающее место в серпе.

И Мастер Ласто будет трескать сладкую морковку, на которую положен глаз совсем другого человека, казалось бы, более того достойного. Но ответом достойному человеку будет только сочный хруст- морковка одна на всех, свойством аддитивности не обладает.

А теперь подведём черту и нарисуем практическую плоскость. И уже в этой практической плоскости и будем вести дальнейший разговор, так как в браузер ушла тысяча слов, а Вы всё так же ни в одном глазу, и терпежа больше нету.

Граждане начальники, друзья соратники и товарищи из Тамбова. Если уж Вы обладаете нишевым ресурсом, то потрудитесь обзавестись богатым тематическим контентом. Нет своего? А мудрёное слово «синдикация» на что? Если синдицируемый контент адекватен занимаемой Вами нише, и ссылочку на автора Вы таки ставите, то никакие фильтры поисковика Вас не коснутся, и бояться этого не надо.

Вы думаете, Ваши зарубежные коллеги просто так платят десять уёв за небольшую статейку по теме сайта (вот эта уже тянет на двадцатку)? Ради непонятной придури заводят сервис «свободных артиклей», где любой товарищ может тиснуть свою статейку в рамках генеральной темы сайта, с любыми партнёрскими ссылками внутри текста? Думаете, сервис предоставления бесплатных решений для блоггинга на различных сайтах (строго под тематические блоги, отметим в скобочках) возник и развивается из-за любви к юзеру и от широты души админа?

Да нет, конечно же. Движущая сила всех этих поступков та же самая, что заставляет вебмастера творить архив тематических статей. Просто для того, чтобы сконцентрировать под крышей одного сайта максимум информации по одной теме, залинковать всё это друг с другом, и стать очень уважаемым искалками ресурсом.

Но.

Если наш вебмастер делает это чуть ли не ручками, то продвинутый человек давно осознал, по ком плачет web 2.0. И обретает тематический контент фактически нахаляву, занимаясь не поиском по Инету подходящих ему статей, а выискивая родственные ресурсы. Сайты то бишь. А дальше дело техники- синдикация она и есть синдикация, пускай сервер пашет, он железный.

Сложно для понимания? Простейший пример.

Допустим, я вижу в Сети два очень симпатичных мне блога, повествующих примерно про то же, что и этот. В рамках концепции web, я бы должен поставить на них ссылки. Искалки, проанализировав сайты на том конце ссылок, и видя полное тематическое совпадение с моим сайтом, очень бы возрадовались, и повысили степень доверия к моему сайту, как линкующемуся как надо и с кем надо. Это сказывается при позиционировании сайта в серпе.

Но. Концепция web 2.0 предписывает не ограничиваться этим, а приказать RSS агрегатору блога посещать дружественные ресурсы, и синдицировать их контент в себя. Порождая вот примерно такие страницы, и соблюдая все авторские права на контент (дизайн будет серебристым вместо синеватого, чтоб Вы отличали хрестоматийный блог от синдикатора):

http://lasto.com/blog/blogs_sposob-info_0.html

http://lasto.com/blog/blogs_masterseo-org_0.html

Когда RSS агрегатор блога будет озадачен нанесением визитов на десятки таких вот замечательных сайтов, а у индексирующих ботов устанут ножки от бегания по ссылкам между ресурсами (и внутри них, естественно), поисковикам не останется ничего другого, как провозгласить все эти ВебДваНольнутые портальчики достойными сладкой морковки поискового трафика.

Понятно, что и Вы при этом не должны жадничать- экспорт контента Ваших статей через тот же RSS обязательно должен быть доступен всем и каждому. Иначе всеобщее счастье будет неполным, а за хитрозадость морковка не полагается.

Итак, что же у нас осталось на дне бутылки, в сухом остатке?

Технологии развиваются стремительно. Сайт нужно ежегодно переделывать под свежие веяния. То, что прекрасно работало вчера, сегодня уже не канает, а завтра за это будут пристреливать на месте. Это должно быть проголосовано и принято единогласно.

Мысль вторая: на коне в этой жизни не тот, кто работает папой Карло, строгая по дюжине буратин в день в поте лица своего. В выигрыше тот, кто способен подумать головой, и перейти на перспективные технологии (не строгая буратин, а отливая их в форме, или вовсе прессуя из опилок). Любое действие, производимое Вашим сайтом (или над сайтом) должно быть максимально рациональным, и выполняться автоматически.

Засим ставлю точку, но комменты в полном Вашем распоряжении.

За назидательный тон извиняюсь, Остапа сегодня понесло...