http://lasto.com/blog/ Lasto Blogging Engine ru Lasto master.lasto@gmail.com master.lasto@gmail.com http://lasto.com/blog/i/lastoblog.png http://lasto.com/blog/ http://lasto.com/blog/post_1161924793.html <p>Славные гуру манимейкинга, коих у нас так любят переводить на великий и могучий, выставляя по ходу дела чуть ли не оракулами ранга пророка Мухаммеда, крайне склонны делать упор на прямолинейное и не осмысливаемое действие. Мы абсолютно уверены только в том, чего не понимаем. И придать нам такую уверенность очень просто, директивой: пиши так, говори этак, думай то-то, и никак иначе. Потому что если в человеке засел червь сомнения, может налететь стая, и заклевать его насмерть. Бездумным- проще. Хотя излишняя уверенность обычно ведет к беде...</p> <br> <p>Самое страшное, что заокеанские гуру, пишущие для масс, в собственно вебмастеринге на самом деле мало что смыслят, хотя иной раз и пытаются взять менторский тон. Поэтому все их рекомендации, хоть сдуру и воспринимаются нами как величайшее откровение, с благоговением и подобострастным выпучиванием глаз, по сути своей являются инструкциями по бросанию гранаты, записанными со слов сержанта запаса. Да, сержант чётко расскажет, за что эту чёртову штуку дёрнуть, чтоб она дьявольски зашипела, и как быстро метнуть вдаль, чтоб самого не порвало на запчасти, но и не более того. Хотя винить сержанта за поверхностность его инструкций не нужно.</p> <br> <p>Простите меня за не очень прозрачную аналогию, но все сержантско- программерские дела на родине гуру отданы на откуп специально обученным людям, которые никаких солюшенов сочинять точно не будут, ни за что и никогда. Если гуру что-то такое и пишут в своих опусах, то это лишь результат наблюдения со стороны за действиями сержанта. Причём с порядочной дистанции, чтоб не зацепило ненароком. Сопутствующий сочный мат до слуха гуру не долетает, они видят лишь гламурную картинку. И свято верят, что сам процесс вблизи и изнутри столь же гламурен, как видится в бинокль.</p> <br> <p>Посему в подавляющем большинстве случаев, занимаясь практическим манимейкингом и столкнувшись с какой-то хитрой задачей вебмастеринга, будьте готовы к тому, что почитать на тему Вашей головной боли просто элементарно негде. И остаётся одно из двух- либо махнуть на проблему рукой, либо учинять экспириенс. Вариант с обращением к специально обученным людям отпадает сам собой- Вы не гуру, и живёте не за океаном.</p> <br> <p>Махать мы, конечно, все мастера. Но как Вы догадываетесь, сия заметка вовсе не про эмулирование ветряной мельницы подручными средствами, а про вещи чуть более серьёзные. Давайте на том предельно сконцентрируемся.</p> <br> <p>Итак, <a href="http://lasto.com/blog/post_1160284455.html" target="_blank">озадачившись</a> совсем недавно сверхтрафиком ботовой природы, я решил учинить экспириенс, и поиграться в пределах своего блога метатегами, оговоренными спецификацией, но до той поры на блоге не употреблявшимися вовсе. Это очень интересная задачка сама по себе. Как говорится, не соблазняйте пионера- он и так всегда готов...</p> <br> <p>Надо сказать, что в самой спецификации заложена сильная концепция. Беда в том, что все тонкости всевозможных метатегов и прочих хедеров трудно постижимы вебмастерами, пользуются ими как бог на душу положит, а потому никто не ведает, насколько все эти метатеги на самом деле задействованы ботами SE. Посему любые сведения, добытые эмпирически, ценятся буквально на вес золота.</p> <br> <p>Итак.</p> <br> <p>Первое, что было добавлено в шаблон дизайна, это тег:</p> <br> <p><font color=red>&lt;meta name="Resource-type" content="document"&gt;</font></p> <br> <p>Далее все страницы совершили свой выбор в пользу одного из вариантов метатега:</p> <br> <p><font color=red>&lt;meta name="Document-state" content="Static"&gt;</font></p> <p><font color=red>&lt;meta name="Document-state" content="Dynamic"&gt;</font></p> <br> <p>Понятно, что хотя абсолютно все страницы виртуальные, творятся движком в статичном расширении .html, они делятся на не обновляемые (собственно посты блога и документы, бегающие на его движке), и таки модифицируемые (оглавление, комментарии к постам, всякая статистика с поиском...). Назначение и смысл этого тега очевиден- мы просто даём понять ботам поисковых систем, какие документы в принципе подвержены модификации, а какие нет.</p> <br> <p>Дальше интереснее.</p> <br> <p> Самый проблемный метатег, с которым сайты почему-то всё никак не заведут интимную дружбу, это дата последней модификации документа:</p> <br> <p><font color=red>&lt;meta http-equiv="Last-Modified" content="Fri, 30 Jun 2006 16:04:44 GMT"&gt;</font></p> <br> <p>Обидно, что грамотно употреблять сей хитрый метатег в рамках движковых ресурсов не всегда возможно. Но так как у нас движок блога свой собственный, и есть пара рук, растущих из нужного места нужным концом, то мы легко подшаманим код под корректную генерацию данного тега. И будем формировать тег в зависимости от реальной даты модификации документа, либо самого позднего времени изменения любого из файлов, участвующих в синтезе контента этого документа.</p> <br> <p>Вроде бы всё просто, логично и понятно. Искалкам больше нет нужды догадываться, когда же контент блога шевелится, и на каких именно страницах. SE просто смотрят дату последней модификации страниц, и переиндексируют их при необходимости. Туда же, где тишь да гладь, толстый слой пыли, и только асимптотически затухающее в ноль эхо, гонять ботов на разведку и смысла никакого нет.</p> <br> <p>Но это всё голая теория- пусть даже и засунутая в золочёную рамочку, она являет собой желанное зрелище лишь для эстетов и интеллектуалов, плохо совмещающихся с действительностью и реальным миром. Нудистский пляж мало похож на галерею с полотнами великих мастеров, но там уже больше правды жизни, хотя меньше изысканности.</p> <br> <p>В полном соответствии с законом несовпадения по форме и содержанию голой теории со столь же голой практикой, находящихся в таком же соотношении, как залы Лувра с пляжами Новосибирского Академгородка, славящимися своими безбашенными натуристами, все эти хитрые метатеги, нарисованные в блог совершенно корректным образом, дали совсем не тот результат, которого бы хотелось. Отсюда внемлите со вниманием.</p> <br> <p>Несмотря на то, что блог по всем понятиям стал более кошерным, поисковый трафик почти сразу просел в полтора-два раза. Это означает, что документы блога в серпе сместились вниз, и не очень катастрофично, но заметно уступили свои позиции. И я связываю этот результат только с употреблением тега ласт модифиеда.</p> <br> <p>Тут немного не логично получилось.</p> <br> <p>С одной стороны, мы позаботились об искалках, указав явным образом степень древности всех наших документов, чтобы ботам не нужно было педантично отслеживать факт модификации контента, и догадываться о периодичности обновления каждого из документов. </p> <br> <p>С другой стороны, ответной любви явно не случилось- весь из себя кошерный блог попал под фильтры искалок, уважающих свеженькие документы, а не замшелые и покрытые плесенью опусы годовалой давности. Каковая давность предельно чётко обозначена нами посредством ласт модифиеда.</p> <br> <p>В пользу этого предположения красноречиво свидетельствует и факт пропадания страничек постов из списка популярных документов в статистике блога. Если раньше трафик поступал именно на эти документы с отдельными заметками, то сейчас- исключительно на страницы брогскролла. Ибо каждая такая страница несёт в себе по три смежных поста, но, в отличие от постов, имеет датой ласт модифиеда время создания последнего из постов, так как именно в тот момент произошло смещение заметок в блогскролле вниз, и все страницы блогскролла обновили свой контент на грубо говоря 30%</p> <br> <p>Что поделать- дерьмо случается.</p> <br> <p>Результаты моего эксперимента свидетельствуют о несомненной вредности тега Last-Modified. Для блогов классической структуры в частности. Да, ботовый трафик несколько снизился, но общая пессимизация документов в SE свела на нет все мнимые выгоды такой вот «оптимизации» ботового трафика.</p> <br> <p>Это, естественно, промежуточный, хотя и донельзя очевидный результат- эксперимент решено не прерывать, и пока не ворачивать всё, как росло. Возможно, три недели- не срок, и какая-то внутренняя инерционность искалок (интересует и отслеживается в первую очередь Гугл) пока не позволяет SE оценить всю кошерность и несомненную породистость блога, а также воспылать к нему пылкой страстью.</p> <br> <p>Хотя, справедливости ради стоит заметить, что кой-какая положительная динамика поискового трафика в последнее время наблюдается- возможно, тот же Гугл таки переосмысливает своё поведение, и апеллировать к святой инквизиции столь категорично не стоит. Поживём- увидим.</p> <br> <p>Я пока не знаю, стоит ли поставить тут точку, и должна ли она быть жирной. Потому пускай их будет три, худых и дистрофичных.</p> <br><h1 class=panel><b>А что бы стоило сделать ?</b></h1><br> <p>Да просто проанализировать бесполезность ботового трафика. Скажем, вот есть у меня такая статистика за пару недель:</p><br> <table class=bborder width=500> <tr><td colspan=4><p class=lasto style='padding:1px;'>Качество SE: ботовый трафик-SE-запросов с этой SE-эффективность:</p></td></tr> <tr><td align=right width=35><pre>5321 2678 1432 1002 638 502 468 459 118 </pre></td><td><pre>Googlebot/2.1 - маскируется под Mozilla/5.0 larbin_2.6.3 larbin2.6.3@unspecified.mail msnbot-media/1.0 Mediapartners-Google/2.1 Yandex/1.01.001 msnbot/1.0 Yahoo! Slurp; - маскируется под Mozilla/5.0 Java/1.5.0_08 NutchCVS/0.7.2 </pre></td> <td width=55><pre> 713 - - AdSense 4 18 36 ? ? </pre></td><td width=35><pre> 13.4% 0.6% 3.6% 7.7% </pre></td></tr></table><br> <p>Чьи два последних бота, я не знаю. Но про остальных (за вычетом медиаботов) можно порассуждать.<br> <p>Поделив количество запросов, поступивших с поисковой системы (это живые серферы) на число визитов бота этой искалки на блог, мы легко поимеем эффективность привлечения трафика с различных поисковых систем в относительных процентах.<br> <ul type=disc> <li>Как и следовало ожидать, первенство держат Гугл и Яха. Вы должны хорошо знать эти SE- любой вебмастер сочтёт за счастье с ними работать.<br><br> <li>Эффективность msn куда как ниже- и это даже без учёта трафика медиабота msn. В принципе, медиабота можно было бы и побрить- вряд ли он найдёт на блоге хоть что-то интересное для себя.<br><br> <li>Чётко видно, что бота поиска по блогам Яндекса брить не только можно, но и нужно. Четыре несчастных визита, порождённых его сервисом поиска по блогам- это даже не смешно. Баним.<br><br> <li>А вот архиватора Интеренета, как и его бота larbin_2.6.3 банить нужно всенепременно- трафик этот бот накручивает гигантский, а вот толку от него Вам лично нет никакого совершенно. </ul> <p>Так что прописав пару-тройку ботов в robots.txt, можно сразу сэкономить четверть объёма ботового трафика без всяких потерь для себя. А если ещё и знать назначение и принадлежность прочих ботов, коим несть числа, то и добрую половину, никак не меньше.</p><br> <div style="margin-left:10px;color:#575;font-weight:bold;"><a href="http://lasto.com/blog/post_1161924793.html">Оставить комментарий</a></div> <div style="margin-left:10px;color:#575;font-weight:bold;"><a href="http://lasto.com/blog/post_1161924793.html">All Comments</a></div><br> <div style="float:right;margin-right:25px;color:#797;">Fri, 27 Oct 2006 12:35:44 GMT</div> <div style="clear:both;"></div> <div style="margin-left:10px;color:#575;font-weight:bold;">Смотрет твой robots.txt</div> <div style="clear:both;"></div> <div style="margin:10px;color:#333;"> Все верно, так и надо. <br> Особо кардинально с Яндексом :) <br> Для полноты картины: <br> <a target="_blank" href="http://www.sejournal.ru/news/80/">http://www.sejournal.ru/news/80/</a> </div> <div style="clear:both;"></div> <div style="margin:10px;color:blue;text-decoration:underline;">Anonymous</div> <div style="clear:both;"></div><br> <div style="float:right;margin-right:25px;color:#797;">Fri, 27 Oct 2006 17:53:07 GMT</div> <div style="clear:both;"></div> <div style="margin-left:10px;color:#575;font-weight:bold;">А если дата не выдается?</div> <div style="clear:both;"></div> <div style="margin:10px;color:#333;"> Мой сервер не выдает дату вообще. Значит ли это, что я теряю позиции в SE?</div> <div style="clear:both;"></div> <div style="margin:10px;color:blue;text-decoration:underline;"><a href="http://lasto.com/blog/connect_63AFE6bIA40E6e626fN2eHK.html">Сергей Довбня</a></div> <div style="clear:both;"></div><br> <div style="float:right;margin-right:25px;color:#797;">Sat, 28 Oct 2006 12:45:58 GMT</div> <div style="clear:both;"></div> <div style="margin-left:10px;color:#575;font-weight:bold;">Без темы</div> <div style="clear:both;"></div> <div style="margin:10px;color:#333;">Спасибо за подарок на день рождения. Не ожидал от Яндекса этакой прыти. А насчет архива не совсем согласен. В случае потрясений Интернета, когда нарушается связность с российским сегментом, archive.org - единственное место где можно посмотреть свежую копию морды твоего сайта. </div> <div style="clear:both;"></div> <div style="margin:10px;color:blue;text-decoration:underline;"><a href="http://lasto.com/blog/connect_DA6cF40E6e6461JANJ2e636f6d.html">Евгений Чернихович</a></div> <div style="clear:both;"></div><br> <div style="float:right;margin-right:25px;color:#797;">Sat, 28 Oct 2006 13:47:00 GMT</div> <div style="clear:both;"></div> <div style="margin-left:10px;color:#575;font-weight:bold;">Google кажется еще в одном месте привирает</div> <div style="clear:both;"></div> <div style="margin:10px;color:#333;">Заметил такую штуку сегодня. Покупаю для клиента AdWords. У клиента мало обратных ссылок. Прошла неделя. Смотрю по запросу links: URL пошли обратные ссылки с Google с текстами купленных AdWords. Получается, что Google засчитывает текстовую рекламу как обратные ссылки, хотя бы частично это верно, могу скриншот прислать. <br> Какие мысли по этому поводу?</div> <div style="clear:both;"></div> <div style="margin:10px;color:blue;text-decoration:underline;"><a href="http://lasto.com/blog/connect_6aALCA6e40C6d61E6c2e636f6d.html">jevgen</a></div> <div style="clear:both;"></div><br> <div style="margin-left:10px;color:#575;font-weight:bold;"><a href="http://lasto.com/blog/post_1161924793.html">Оставить комментарий</a></div> <div style="margin-left:10px;color:#575;font-weight:bold;"><a href="http://lasto.com/blog/post_1161924793.html">All Comments</a></div> Fri, 27 Oct 2006 11:53:13 GMT