http://lasto.com/blog/ Lasto Blogging Engine ru Lasto master.lasto@gmail.com master.lasto@gmail.com http://lasto.com/blog/i/lastoblog.png http://lasto.com/blog/ http://lasto.com/blog/post_1160284455.html <p>Настраивая Портатор-пиявку для парсинга «Вебпланеты», и наблюдая список анонсов утянутых оттуда новостей, я зацепился за одну из них взглядом, и через серию нисходящих ссылок очутился на статье с вот такой вот интригующей фразой, по какому-то недоразумению не ставшей хитом сезона, и даже не попавшей в заголовок той статьи (что мы сейчас у себя немедля и исправим). К сожалению, URL в букмарк не занёс, но, думается, заголовок этого поста, будучи вбитым в Гугла, ту партизанскую статью выдаст с головой.</p> <br> <p>Статья, однако, любопытная, почти иносказательная. Произрастает на почве рассказа «Осмотр на месте» Лема, во времена совсем недавние могущего обрести статус чуть ли не антисоветского за весьма прозрачные ассоциации. </p> <br> <p>Если кто рассказ Лема не читал, а ходить до Гугла и изыскивать его там хронически лень, то фабула проста: две цивилизации отвергли разумный компромисс, и стали развиваться ортогонально: техногенно и противоестественно. </p> <br> <p>С приверженцами хайтека всё понятно и тысячекратно обсосано: люди попали в подчинение порождённой ими машинерии, и имеют бледный вид и задрюченную сущность. Про счастье и райскую жизнь, как и про коммунизм, речи не идёт. Вы это можете наблюдать воочию и сами: с развитием прогресса человек не становится счастливее. Его бытиё подчинено всё более жёстким краевым условиям, а Большой Брат становится всё больше и больше.</p> <br> <p>С оппонентами хайтека всё куда как круче- на технологии им плевать, а лозунг «назад к природе» привёл их к жизни в огромных животных- курдлях, в которых они проникают через задницу. Смешно, ага. Только в этой заднице им суждено регулярно застревать, и спасение застрявших не есть простая процедура. Вини-Пух и кроличья нора, только намного пафоснее.</p> <br> <p>В принципе, аллегория понятна: есть «вебдванольнутые» сайты, помешанные на синдикации контента (линк <a href=http://lasto.com/update/20060814.php target=_blank>«web 2.0 как конкретная катапульта для Вашего проекта»</a> не будет лишним, там про это много сказано, весьма полезно почитать), и сайты, застёгнутые на все пуговицы. Нельзя сказать, чтоб «сайты в мундире» жили в заднице курдля, а «вебдванольнутые» принародно выворачивали душу наизнанку (см. заголовок). Но определённая доля здравого смысла в такой ассоциации есть. </p> <br> <p>Она в следующем.</p> <br> <p>Конечно же, любой вебмастер, убоявшись задницы курдля, хватает штаны за галифе, и быстрой рысью (попку в горсть, и скачками) дует в сторону хайтека. Дяденька Гугл, вот мой сайт, проиндексируй его. Что? Теги не такие? Сейчас сделаю, дяденька. Карту сайта надо? Нету проблемов, нарисую. Много входящих ссылок? Буду работать, дяденька Гугл, в поте лица своего, денно и нощно, и не корысти моей ради, а пользы нашей для...</p> <br> <p>Если вебмастер держит своё слово, и пот выступает на обещанном месте, то сайт этого просветлённого вебмастера рано или поздно встраивается в иерархию ресурсов, начинает получать SE трафик, и всяко-разно «раскручиваться», как бы ни похабно это звучало. Вебмастер радуется не по-детски, и чувствует своё превосходство над теми, кто в курдлях. Кого в поиске не изыскать.</p> <br> <p>Но, блин, странные вещи начинают твориться.</p> <br> <p>По прошествии очень короткого времени вебмастер начинает не догонять. Вот счётчик, честный счётчик. Он фиксирует рост трафика. Но небольшой, скажем, на 10% в месяц (ежегодное удвоение трафика- это нормально). А вот статистика хостера- в позапрошлом месяце скушался гиг, в том два, а за неделю этого месяца- уже полтора. Прощай, старый тариф, здравствуй, новый, дорогой?</p> <br> <p>Получается, так. </p> <br> <p>А кто виноват и что делать? </p> <br> <p>А вот тут, друзья мои, очень интересно. Так как чрезмерная ВебДваНольнутость, экспорт контента кому угодно во всех мыслимых форматах, заточенность под искалки, и прочая политика открытых дверей приводят к тому, что по Вашему сайту начинают шарахаться кто ни попадя, причём без оглядки на здравый смысл.</p> <br> <p>Ну например. Вот Вы читаете блог, строго текстовый ресурс. Спрашивается, что здесь делать боту поисковой системы, специализирующейся на поиске графики (да к примеру хотя бы Googlebot-Image- таких ботов много)? Совершенно нечего. Однако бот так не думает- пока я ему не показал красную карточку и не погрозил мухобойкой, он долбился в каждый документ по три раза на дню. Каждый божий день. Без перерыва на обед, шабад и выходные. Спрашивается, нафига?</p> <br> <p>Или взять ботов поисковых систем, коих сотни. Лишь очень немногие из них действительно генерируют трафик в нашу сторону (таких искалок не больше дюжины). Однако их боты ходят по нашим сайтам, как у себя дома. Прямо в тапках и пижаме, фактически тут и живут. А мы оплачиваем их проживание, гоняем для них за пивом, и заискивающе заглядываем им в глаза.</p> <br> <p>И я Вас спрашиваю: какого хрена?</p> <br> <p>Нет, если бог создал бота, и увидел, что это хорошо, и сказал, нехай да будет так, то тут всё понятно. Но не надо и фанатизма- если боты накручивают впятеро больше трафика, чем серферы, то, может быть, для ботов учредить какой-нибудь фейс-контроль, что ли?</p> <br> <p>А сейчас Вы будете смеяться. Реальная история про то, как мужик по доброй воле переехал из царства великого хайтека в задницу курдля, как раз и нарисовав такой пост фейс-контроля в виде файла роботса.</p> <br> <p>Если Вы настоящий вебмастер, то мужика того Вы знать должны. Звать его Бретт Тэбке, сайт с популярным форумом вебмастеров webmasterworld.com – это его ресурс и есть.</p> <br> <p>А поступил тот мужик креативно. Понимая, что его аудитория приходит на сайт вовсе не рикошетом, а точно зная, куда идёт, он взял да и запретил через robots.txt всем неавторизованным ботам ходить по его сайту. В данный момент доступны три варианта сего чудного файла со всем сопутствующим объясняловом:</p> <p> <br><a href=http://www.webmasterworld.com/robots.txt target=_blank>http://www.webmasterworld.com/robots.txt</a> <br><a href=http://www.webmasterworld.com/robots2 target=_blank>http://www.webmasterworld.com/robots2</a> <br><a href=http://www.webmasterworld.com/robots3 target=_blank>http://www.webmasterworld.com/robots3</a> </p><br> <p>Понятно, что следом сайт исчез из области видимости искалок, аки его и не было, со всем своим миллионом страниц. Но завсегдатаи форума вместе с хозяином просто нарадоваться не могли- так быстро стал откликаться сайт. Ибо паразитный трафик сдулся до нуля, толпы ботов вымелись вон, и ничто теперь не мешало сайту работать.</p> <br> <p>Мне так кажется, что и трафик у мужика упал раз в десять, при том же числе посетителей- они-то никуда не делись. И это хорошо- форум для вебмастеров по определению адресован людям, а не ботам.</p> <br> <p>Просматривая последний из файлов роботса, самый информативный и полезный, можно только поразиться, какая туева куча ботов (а там перечислены далеко не все из них, в моей коллекции их в три раза больше) бродит по нашим сайтам. Без визы и паспорта, регистрации и вида на жительство. Причём ошеломляет ещё и то, что вебмастеру приходится тщательно перечислять тех, кого пущать не велено. Не проще ли сделать наоборот- выписать пропуск на тех ботов, кому мы рады, а всех остальных, в пропуск не вписанных, побрить? Я бы прописал Гугла, да его медиабота, и на том бы ограничился...</p> <br> <p>Кстати, опыт мужика из вебмастерворлда может пригодиться каждому из нас. Потому как в любой момент может завестись новая искалка типа Webalta, и, оправдывая вложенные в неё бабки, начать долбиться по всем известным другим искалкам сайтам Рунета со страшной силой и таким темпераментом, что бота той же Вебальты иначе как «бешеным ботом» никто и не зовёт. Крупные хостерные конторы, наблюдая спуск половины трафика в унитаз, даже засомневались в душе- а не побрить ли бешеного бота нафиг? В связи с чем попутно выяснилось, что подобная практика местами втихушку имеет место быть. С устроением круглосуточного комендантского часа для особо нахальных ботов.</p> <br> <p>Естественно, добро, доводящее до греха, так же противоестественно, как и житиё в заднице курдля. Однако если Ваш сайт более-менее популярен, приготовьтесь осознать, что ботовый трафик в разы превышает человеческий. Конечно, если Вы в состоянии отслеживать такие вещи (зачастую наблюдать это просто нечем). Причём учтите и тот момент, что этот ботовый сверхтрафик практически <span class=note title="по ощущениям, естественно.">никак</span> не сказывается на позиции сайта в серпе. Просто чересчур усердная работа ботов, только и всего.</p> <br> <p>Вот такой вот занятный побочный эффект у SEO. С которым, конечно, бороться можно и не только методом Бретта Тэбке- мужик всё-таки оказался кардинально креативен, далеко не все на подобное решатся. А всего лишь правильно юзая метатеги или хеадеры документов, прописывая в этих тегах не никому не нужные глупости, ботам совершенно не интересные, а полезные фичи наподобие Last-Modified, что ли.</p> <br> <p>Наблюдая в статистике данного блога, позиционируемого как "блог, который любят поисковики", настоящую вакханалию ботового тусняка, давайте поэкспериментируем с ласт модифиедом, и посмотрим, насколько гуру от SEO правы, по нему фанатея.</p><br> <p>А то что-то любовь поисковиков к блогу несколько чрезмерная получается...</p><br> <p>Я же, спустя некоторое время, расскажу Вам про этого ласт модифиеда всю правду до копейки. То, чему научит проделанный опыт, сын ошибок трудных. Предвосхищая который, Вы можете черкнуть чего-нибудь в комментах- это действительно стоящая и зело интересная тема.</p><br><br> <div style="margin-left:10px;color:#575;font-weight:bold;"><a href="http://lasto.com/blog/post_1160284455.html">Оставить комментарий</a></div> <div style="margin-left:10px;color:#575;font-weight:bold;"><a href="http://lasto.com/blog/post_1160284455.html">All Comments</a></div><br> <div style="float:right;margin-right:25px;color:#797;">Sun, 08 Oct 2006 20:10:10 GMT</div> <div style="clear:both;"></div> <div style="margin-left:10px;color:#575;font-weight:bold;">ждем-с</div> <div style="clear:both;"></div> <div style="margin:10px;color:#333;"> Если результаты исследования получатся действительно интересные - их можно опубликовать на той же Вебпланете, где было и про курдлей, и про борьбу с пауками методом Брета Табке, а вскоре будет еще и про борьбу с RSS-сканнерами. <br> Короче, считайте это приглашением к публикации. Связаться с нами можно по адресу info @ webplanet.ru</div> <div style="clear:both;"></div> <div style="margin:10px;color:blue;text-decoration:underline;">L e x a</div> <div style="clear:both;"></div><br> <div style="float:right;margin-right:25px;color:#797;">Mon, 09 Oct 2006 14:54:01 GMT</div> <div style="clear:both;"></div> <div style="margin-left:10px;color:#575;font-weight:bold;">Про курдлей- осторожно, трафик !</div> <div style="clear:both;"></div> <div style="margin:10px;color:#333;">  <a target="_blank" href="http://artema.fopf.mipt.ru/lib/lem/lem3.html">http://artema.fopf.mipt.ru/lib/lem/lem3.html</a> </div> <div style="clear:both;"></div> <div style="margin:10px;color:blue;text-decoration:underline;">Anonymous</div> <div style="clear:both;"></div><br> <div style="float:right;margin-right:25px;color:#797;">Wed, 11 Oct 2006 00:30:43 GMT</div> <div style="clear:both;"></div> <div style="margin-left:10px;color:#575;font-weight:bold;">Если не трогать Лема и курдлей…</div> <div style="clear:both;"></div> <div style="margin:10px;color:#333;">Тема на самом деле – достаточна актуальна. <br> Если помните, Вадим, я задавал Вам вопрос о растранжиривании трафика ботами еще полгода назад, когда тестил Ваш эмулятор сайта. Новых проиндексированных страниц в базе поисковых систем еще не наблюдалось и количество посетителей сайта не слишком-то увеличилось, а вот трафиковый лимит на хостинге был практически исчерпан. Избавляться от таких неприятностей весьма полезно… <br> Тысячу раз прав Бретт Тэбке, запретив доступ на сайт многим бесполезным для него ботам. Нечего просто так трафик накручивать! Ресурс-то создается для серферов, а не для поисковых систем. На SEO обращать внимание конечно стоит, но зацикливаться на этом – совсем не обязательно. <br> А вот что до мухобойки и красной карточки в сторону ботов, это уже интересно. Было бы неплохо в одном из последующих постов, увидеть парочку практических советов как это можно замутить, не тираня файл ROBOTS.TXT <br> Автор сайта: <a target="_blank" href="http://biznesdoka.com">http://biznesdoka.com</a> </div> <div style="clear:both;"></div> <div style="margin:10px;color:blue;text-decoration:underline;">Михаил Борусенко</div> <div style="clear:both;"></div><br> <div style="float:right;margin-right:25px;color:#797;">Mon, 23 Oct 2006 07:25:39 GMT</div> <div style="clear:both;"></div> <div style="margin-left:10px;color:#575;font-weight:bold;">Last-Modified</div> <div style="clear:both;"></div> <div style="margin:10px;color:#333;"> поэксперементировать, возможно, скорее стоит с If-Modified-Since</div> <div style="clear:both;"></div> <div style="margin:10px;color:blue;text-decoration:underline;">Андрей</div> <div style="clear:both;"></div><br> <div style="margin-left:10px;color:#575;font-weight:bold;"><a href="http://lasto.com/blog/post_1160284455.html">Оставить комментарий</a></div> <div style="margin-left:10px;color:#575;font-weight:bold;"><a href="http://lasto.com/blog/post_1160284455.html">All Comments</a></div> Sun, 08 Oct 2006 12:14:15 GMT