Не в смысле "затяните ремень потуже", как могло бы подуматься в связи с платностью попадания в туда, а в более прозаическом смысле: чтобы те штаны не развернули ширинкою назад, или вообще не спустили до колен, поимев на ровном месте и без повода. О чём в красках ниже, сразу же после традиционной вводной хайки, без которой пост в этом блоге неполноценен и ущербен:
Не люблю я трогать эту искалку, а также любые темы, с ней связанные. Ибо и сам Яндекс, и егойный
суппорт- это сплошное нагромождение недоразумений, изначально лишённых всяческого смысла, кто бы
что там не говорил и как бы его (Яндекса) не лоббировал. А требовать вменяемых поступков и трезвых
суждений от субъекта, по состоянию здоровья на них неспособного, по меньшей мере наивно.
Но есть вещи, которые даже в рамках концепции общего безумства вызывают некоторую оторопь. И любому вебмастерствующему юзеру про них надо непременно знать, раз он доверяет судьбы своих сайтов всяким там яндексам. Будьте далее внимательны.
Принято считать, что попадание сайта в некие "элитные" каталоги, типа Дмоза или Яндекс-каталога (ЯК), принесут сайту какие-то преференции в дальнейшем. Например, когда он встанет под дойку в Хитрой Конторе- оная проверяет сайт на "элитность", и позволяет выдаивать с коровки лишнее ведёрко молочка по деньгам, примерно в районе плюс двадцати процентов к средним по бирже ценам. Вы это прекрасно знаете.
Естественно, когда Вам что-то нужно от "элитных" каталогов, в этом месте непременно возникнет коррупция. Русскоязычный редактор Дмоза как пить дать укажет на то, что Ваш сайт не очень удовлетворяет требованиям сервиса, пункт такой-то, но готов замолвить словечко перед Ужасным Верховным Редактором раздела в обмен на сквозную ссылку с Вашего сайта на свой (обычно) говносайт (как столкнетесь с таким, непременно пишите в суппорт Дмоза абузу на этого так называемого модератора- нехай его гонят оттуда к чертям собачьим метлой поганой под репперский речитатив на латыни), а ЯК так вообще не мудрствуя тыкает в нос прайсом на внеочередное рассмотрение Вашей заявки на размещение (само размещение бесплатное, выкидывание из каталога может случиться в любой момент, так что платите Вы вовсе не за факт попадания в каталог, и это типичный откат в чистом виде).
Но вот сбылась мечта идиота- допустим, Вы в ЯК. Платно, бесплатно (если сайт на "народе.ру", то вероятность бесплатного размещения максимальна)- дальше чего?
Дальше интересно. Перечтите хайку в эпиграфе, и проникнитесь ситуацией. Потому как, надеюсь, не секрет, что в Яндексе попадание куда бы то ни было вообще ничего не гарантирует- придёт робот-зеркальщик с юзерагентом Yandex/1.01.001 (compatible; Win16; H) и запросто порушит все Ваши надежды на трастовость своего сайта. Причём очень простым способом.
Например, есть у Вас сайт на пресловутом "народе.ру", в домене третьего уровня. Пусть для определённости он представлен и в серпе, и в ЯК. Всё вроде бы хорошо, но ровно до тех пор, пока кто-нибудь сайт не скопирует, и не проиндексирует в Яндексе.
Естественно, одним из первых туда приползёт робот-зеркальщик, увидит, что это копия уже известного ему сайта, и отдаст ему приоритет. Потому как копипащенные сайты, естественно, ставятся на домены второго уровня, в зону .ru, включаются в ссылочное ранжирование, и трастовость копипаста, само собой, оказывается выше.
Самое смешное, что Ваш оригинальный сайт не только сгинет из серпа, но и в ЯК урл переклеится. Вот не смейтесь только- на серче приводятся реальные случаи, и это регулярно случается по крайней мере пять последних лет. Вы добавляете в ЯК сайт, его копипастят, копипаст становится основным зеркалом, и ссылка с ЯК уже ведёт не на Ваш сайт, а в сторону клона.
В последнее время, в связи с фанатением Рунета по Хитрым Конторам, такие процедуры проделываются в промышленных масштабах, и копание в сторону сим занимающихся сходу выводит на сотни сайтов-клонов, уже успешно переклеивших на себя ссылки с ЯК, либо готовящихся это сделать. Что говорит о размахе явления.
Теперь представьте, что это случилось конкретно с Вами.
Естественно, Вы сходу броситесь писать в суппорт ЯК, откуда через пару суток получите первую отписку- "да, опубликование в каталоге Яндекса [клон] вместо [Ваш сайт] вызвано недавним пересчётом зеркал сайтов. По версии робота-зеркальщика Яндекса [клон] является главным адресом, а [Ваш сайт] его неосновным зеркалом. Пересчёт распространяется не только на каталог, но также и на поисковую машину- [Ваш сайт] снят с индексации в пользу главного адреса".
Понятно, что отписка про уже давно понятые Вами вещи Вас не удовлетворит, и, после недельной переписки, это наконец дойдёт и до суппорта ЯК, который порекомендует прекратить дублирование одного ресурса другим, умалчивая между тем, что склейка зеркал обычно необратима, и намекая, что никакого редактирования основного зеркала в ЯК не делается в принципе, потому как это просто не предусмотрено, и целиком отдано на откуп роботу-зеркальщику. Что дословно выглядит вот так: "Мы понимаем серьезность проблемы, но простого решения нет. Процесс миграции сайтов с бесплатных хостингов на платные домены- естественный процесс. Но у нас есть идеи, как защитить домены от перехвата. Зеркальщик непрерывно совершенствуется".
Вам от их гениальных идей ничуть не легче, так как восстановить статус-кво Вы можете только физическим убиением сайта-клона, что само по себе есть не очень простая задача- убить-то этот клон с помощью кучи абуз в приципе можно (сам этим как-то занимался), но он спустя неделю возрождается на новом хосте, и всё надо начинать сначала. Да и после убийства клона нет никакой гарантии, что всё вернётся на круги своя- с гораздо большей вероятностью не вернётся, и Ваш сайт слетит и из серпа, и из ЯК окончательно и бесповоротно.
В общем, весёлые дела- это как раз тот случай, когда в ЯК лучше вообще не попадать. Как и в серп этой трахнутой головой об угол искалки.
Другой вопрос, как избежать переклейки респекта с Вашего оригинального сайта на заркало (клона). Казалось бы, решение есть, и простое- ну существует же директива Host: в файле роботса. Она очень помогает в деле склейки зеркал, когда Ваш сайт торчит в серпе как в написании домена с www, так и без этих трёх весёлых букв. А Вам нужно что-то одно- или так, или эдак. Сам же движок не умеет бороться с двуличностью домена, либо Вы не в курсе, как активизировать эту функцию.
Но.
На самом деле это совершенно не поможет в борьбе с клонированием, так как директива хоста в роботсе даёт возможность указать любой другой домен в качестве основного для этого сайта, но никак не позволяет дать понять роботу-зеркальщику, что данный сайт является основным зеркалом для любого его клона. И на самом-то деле Вы не имеете никакого оружия для эффективной борьбы с клонами, и победить в этой войне клонов можно лишь традиционно. Найти засранца в реале и оказать на него действенное воздействие, как умеете, и как у Вас лучше всего получается. Типа самураи пленных не берут, и всё такое.
А если говорить совсем уж прямым текстом, как на духу, то абсолютно никто не защищён он фактической потери трастового ресурса и его позиций в серпе и каталоге Яндекса в пользу клона, через обычный копипаст контента.
Добро пожаловать во взрослую жизнь, сынок. С его волчьим законом джунглей.
Крепко держись обеими руками за штаны.
Будет весело.
Как всем более или менее хорошо известно, люди-человеки делятся на три неравных категории: тех, кто заботится о своей карме, других, задумывающихся об этичности собственных поступков только тогда, когда столь же нехорошо поступают с ними, и третьих, совершенно сознательно творящих гадости. С неописуемой радостью на лице.
Такова человеческая природа, и с этим ничего не поделаешь: при любом общественном строе, режиме, культуре, стране проживания, религии и так далее, процентное соотношение этих трёх категорий примерно одинаково.
Я не собираюсь здесь морализировать или брюзжать, ибо горбатого только могила исправит, и другого пути излечения просто нет. Речь не про пустое сотрясание воздуха и прочие утопии, а совсем про другое.
Когда вся разномастная толпа ангелов и бесов приходит в какую-то нишу, каждый естественным образом начинает заниматься тем, к чему склонен. Кто-то дело делает, кто-то без раздумий сразу пускается срать по всем углам, а основная масса скитается где-то между образами и насранным. На всякий случай оглянитесь вокруг, втяните ноздрями воздух, и посмотрите под ноги, дабы постичь своё место.
В SEO всё совершенно так же.
Одни люди адекватно понимают своё предназначение, без проблем вписываются в концепцию SE, встают в серп, получают целевой трафик на нужные им ресурсы, где легальным образом проистекает монетизация и всяческий там гешефт с консумацией. Всё чинно- пристойно, и Бог на них не в обиде.
Однако ж не все доросли до взрослого зрелого состояния. И в сорок лет можно оставаться дураком, занимаясь тем, что и пятнадцатилетнему пацану уже не интересно. Примеры тому есть (имею, знаете ли, годами выработанную привычку на всякий случай пробивать данные особо мне досаждающих обалдуев: Земля-то круглая. Бываю просто поражён циферками в графе даты рождения, иной раз просто не верится, что такое вообще возможно. Но поди ж ты).
И поскольку таким недорослям просто не дано вкусить прелести взрослой консумации с прочими гешефтами, о чём выше, начинается сраньё по углам, уж простите меня за мой французский. Это для образности и доходчивости.
Ибо ничем более нельзя объяснить такой хрени, как всевозможный спам по нашим блогам, к примеру говоря. Не поверите, но я просто счастлив, что в моём блоге нет даже намёка на загаживание комментов, хотя ссылки с них открытые. Спасибо моим немногочисленным читателям за возникающее у них желание высказаться по делу, а не тупо и очевидно пролинковаться на себя тривиальнейшей фразой.
Однако хренью можно заниматься и иначе, нежели хитро ставить ключевики с говнокомментов, или ссылки со смайликов в них. Есть люди, которым недоступно даже и это, и они заказывают у чёрных сеошников прогон по статсам.
Опять таки, я ничего не имею против детских хитростей с плагинами под файерфокса типа RefControl и тому подобных фич. Ну нравится этим заниматься- на здоровье. Но вот если кто-то начинает гнать паразитный трафик на наши сайты с поддельными рефами, и реально напрягать хостера, тут уж извините, детские игры на том кончились, и пора вспомнить, что написано в эпиграфе. Прочли?
Для тех, кто не очень сообразил про рефспам, советую подумать, нет ли где у Вас на ресурсе какого-нибудь списочка друзей сайта типа «кто на нас ссылается», «топ активных комментаторов», и прочего. И чего случится, если кто-то вдруг захочет получить бэк оттуда.
В Lasto-продуктах такое добро обязательно есть в виде статмодуля. И хотя юзеру даны все права на размещение или не размещение тех или иных блоков на морде странички статистики, что определяется настройками файла stat_settings.ini и его секции
[table_length_seffer]
; Глубина таблиц статистики для серфера
; Если элемент обратить в ноль, блок выводиться не будет:
pages=20; Популярные страницы
source=20; Друзья сайта
agent=20; web-юзерагенты
rss_agent=20; RSS-юзерагенты
se_requests=50; Количество отображаемых поисковых запросов
однако прогонщики по статсам даже и не смотрят, отображаете Вы нужный им блок, или нет. Вам могут тупо слить 10 бессмысленных килохитов за час, так как сиё уже оплачено. А будет нужный результат или нет, прогонщику безразлично.
Давайте я Вас научу, как детектировать факт накрутки реферов на Вашем сайте, если он оборудован моим статмодулем. Если не оборудован, или Вами используется какой-то другой движок, тут помочь не могу.
Прежде всего, уложите в папку:
под любым именем (пусть для определённости это будет spy.php) такой вот файлик с очень простеньким и совершенно понятным даже нубу кодом:
<?php
$file="./data/logs/hits.http.db";
$n=5;
$tmp=(file_exists($file) and is_readable($file)) ? file($file): array();
$arr=array();
for ($i=0; $i < count($tmp); $i++) {
$tmp[$i]=array_slice(explode("¦¦",$tmp[$i]),0,$n);
if (count($tmp[$i])==$n and $tmp[$i][3]!="---") $arr[$tmp[$i][1]][]=$tmp[$i][3];
}
$tmp=array_keys($arr);
for ($i=0; $i < count($tmp); $i++) {
$arr[$tmp[$i]]=array_count_values($arr[$tmp[$i]]);
arsort($arr[$tmp[$i]],SORT_NUMERIC);
}
echo "<pre>";
die (print_r($arr));
?>
Если буфер лога http трафика в данный момент не пуст, и содержит записи о переходах с внешних ресурсов, то при обращении соответственно к урлам:
Вы увидите экранное изображение массива, в котором ключами являются айпишники сайтов, генерирующих трафик, а элементами- урлы сайтов, с которых поступает (или якобы поступает) трафик, а также его интенсивность, выраженная цифрой.
К примеру, вот что реально я увидел у себя на одном из ресурсов, специально «подставленных» под рефспам (там я не борюсь с попингуями, ибо хочется наблюдать ситуацию):
Array(
[195.242.161.30] => Array(
[http://www.uport.biz] => 129
[http://www.medic-today.ru/] => 74
[http://www.webfermer.info] => 145
[http://www.mototrubka.com] => 141
[http://4win.ru/] => 122
[http://www.best-fx.ru/] => 66
)
[84.50.200.146] => Array(
[http://nova.rambler.ru/search?btnG=укорочено] => 2
)
[212.75.192.219] => Array(
[http://nova.rambler.ru/srch?btnG=укорочено] => 1
)
)Очень наглядно видно, как пришли два запроса с поиска рамблера, с указанием айпишников юзеров, один из которых проживает в Талине, Эстония, а второй вообще загадочен- находится прямо посреди океана у западных берегов Африки :)
Но.
Тот айпишник, что прописан в Украине, и в котором якобы живут аж шесть сайтов, поставляющих серьёзный трафик, должен привлечь к себе наше внимание. Потому как, ежели смотреть айпишники этих сайтов, получится несуразица:
А если проанализировать, какого юзерагента весь этот трафик показывает, то оказывается, что это вообще индексирующий бот Яндекса.
Как видите, айпишник 195.242.161.30 не имеет ни малейшего отношения к указанным сайтам, и в реальности принадлежит никакому не Яндексу, а сети FORTUNE-UA-NET украинской компании Fortune Science and Production Company, расположенной по адресу Lenina 78, 62503 Volchanks, Ukraine.
Я бы на месте руководства этой конторы пнул юзера указанного айпишника нахрен, без выходного отверстия пособия. Чтобы фигнёй не страдал. Кто там недалече, звякните в приёмную, дайте почитать урл этого поста. Авось случится чудо.
Теперь, когда Вы немного в курсе, что из себя представляет рефспам, и чем это грозит, давайте научаться с ним бороться. Ибо программно попингуйство в рамках рефспама делается за пять минут на РНР скрипте из 20 строк, с подделкой реферов, юзерагентов и тому подобного. А значит, попингуйство будет крепнуть и шириться, так как людей, любящих срать по углам, меньше не становится.
Если уж в сьянс енд продакшенс компани такой хренью занимаются, то что можно ждать от обычных обалдуев, образованием и интеллектом вообще не отягощённых?
Поэтому смотрим в папочку ./data/ Вашего движка, ищем там файлик http_rss_blocking.ini и заносим айпишник попингуя в секцию [ban_ips] в принятом там формате.
Если такого файлика «жёстких банов» в движке нет, пишем айпишник в секцию [noshowhostsip] файла stat_blocking.ini, а домены сайтов, желающих пробиться в «друзья», в секцию [noshowhosts]
Весь трафик с «жёстко» забаненных айпишников вообще не будет приниматься движком блога или портатора. На экран при трафике с этого айпишника просто нарисуется фигушка, сам сайт даже и не подумает открываться. Бесполезной нагрузки на хостера не случится, все счастливы. Особенно тот, кто заплатил за прогон своих говносайтов по статсам.
Кстати, про попингуев- вот прямо сейчас вижу таких, помимо указанного:
... и т. д. Баньте эти айпишники нахрен. Как и указанные домены.
Естественно, это очень наивный метод рефспама, прозрачный, как гнев вебмастера, впервые прочитавшего про рефспам. Настоящий засранец, конечно же, рефспам делает не так, а силами реальных серферов, шарашащихся по его сайтам, и от имени айпишников тех самых серферов. Поэтому детектор рефспама выдаст по одному и тому же набору продвигаемых сайтов для множества айпишников, но вот айпишники те будут совсем-совсем разные.
Например, мой подопытный ресурс зафиксировал стабильно высокий трафик, исходящий с разных айпишников, продвигающий рефспамом такие ресурсы:
Поскольку по айпишнику Вам это всё дело не забанить, и никакого способа прекратить паразитный входящий трафик на Ваш сайт не существует, нужно просто сделать бессмысленным дальнейшее существование таких сайтов.
Вам ничего не остаётся, как инициировать их бан, апеллируя к фактам рефспама с их стороны, и паразитной накрутке трафика Вашего сайта (что создало проблемы во взаимоотношениях с хостером), сославшись на сюда как на объяснялку, и правильно поняв, для чего существуют вот такие урлы:
Думается, это будет более действенно, чем написать абузу хостеру засранца. Хотя и хостер тоже не особо любит, когда его айпишники банят.
Ну и в заключение опуса, перенасыщенного сегодня кодом и разными непривычными техническими штуками, хочется заметить, что всякие вопли по форумам о борьбе искалок с оптимизаторами надо понимать правильно. Если человек занимается полной хренью, его тоже надо кому-то остановить. Почему бы этим кем-то не быть Платону?
Другое дело, что от искалки иногда достаётся не тому человеку. Например, ни в чём не повинному владельцу сайта, просто не понимающему всей этой кухни, и расплодившему на сайте много углов, в которых ему устроили самый настоящий нужник.
Ну так следите за своим хозяйством, ок? Не Пушкин же это будет делать.
Обретая емайлы, сочиняемые читателями этого блога, постоянно ловлю себя на мысли, что их авторы сильно хорошо думают о местном авторе. Мол, сидит Мастер Ласто, и строгает в поте лица своего денно и нощно всякие разные Интернет- фиговины на потребу уважаемой публики, помогающие общественности зарабатывать презренные грины и рубели. Раз уж обещанного коммунизма не случилось.
Будете разочарованы- нифига не так даже в мыслях. Объясняю, почему.
Как всем хорошо известно, на самом деле деньги приносят очень простые вещи. Чем вычурнее и сложнее деньгозарабатывающий прибамбас или процесс, тем больше вероятность того, что он в итоге не сработает. И наоборот, алгоритм, в котором нечему ломаться, даст сбой только у полного дауна.
Но человек, звучащий гордо, имеет патологическую склонность к усложнению сущностей. Вместо того, чтобы взять и сделать по уму и до конца те самые «очень простые вещи», предварительно хорошо подумавши, он начинает метаться и наводить тень на плетень. А как же- быстрее, выше, сильнее...
И это ошибка.
Нет, психологически всё понятно- повертев в руках «очень простую вещь», юзер не очень понимает, как с помощью такого примитива можно добиться большего. Ну невозможно придумать червяку какое-то особое применение. Разве что заставить его размножаться нетрадиционным способом. И лишь особо пытливые личности догадываются завязать червяка гордиевым узлом, получая колобка, функционирующего по каким-то своим законам...
Совершенно та же ситуация и в манимейкинге или там SEO. Ну всё тут давно известно и тысячу раз обсосано со всех сторон разными гуру, да не по одному разу, и взасос. Казалось бы, дать выхлоп может лишь что-то кардинально новое. И вся толпа находится в состоянии перманентной охоты на этот философский камень. Убивая попутно друг дружку, чтобы себе, любимому, больше досталось.
А напрасно.
Давайте в порядке разнообразия прочистим наши мозги от накипи очевидных истин, не дающих извилинам эффективно мозговать. Ибо именно тут проблема. На примере чего-то совсем простого. Пусть это будут MFA сайты.
Казалось бы, эка невидаль- сайты, заточенные под АдСенс. У каждого их по кучке, и что-то не видно неудержимого потока сверкающих лещом уёв...
Так потому и не видно, что на этапе создания этой незатейливости мозги даже и не включались. Зарегистрировать домен с ключевиком в имени? Выбрать «дорогие» кейворды и сгенерировать под них контент? Построить шаблон сайта особым образом, представив содержимое АдСенсовых блоков куском навигации сайта? Лить потом туда трафик?
Ну так все так делают, и покажите мне кусочек толка с того? Размером хотя бы с порося.
Давайте лучше я Вам сегодня расскажу, как делать ХитроКонторные MFA сайты, презрев весь приведённый выше перечень «правильных» действий, и не изобретая ничего нового. А просто задумавшись, что и с какой целью предпринимается.
Удивляюсь, почему ХитроКонторными MFA сайтами ещё не наводнён весь Рунет...
Но по порядку.
Замечали ли Вы, как, поставив под Хитрую Контору свой очередной сайт, и прикола ради не активировав фильтры адалта и мата, через некоторое время Вы гарантированно получаете с Яндекса жирный трафик по запросам про порнуху, а также, чуть погодя, абузу от Гугла о несоответствии рекламной площадки Гугловым ToS?
Наверное, замечали. Любая продажная ссылка является частью контента, и замечательно влияет на ссылочное ранжирование, иногда пересиливая остальной контент страницы. И это важно.
Добре, продолжаем наши фенологические наблюдения.
Видели ли Вы, как на морде сайта с достаточным ПиАром (от тройки, причём ПиАр должен быть честный) ссылки через Хитрую Контору продаются несмотря на то, что Вы задираете их цену вдвое- втрое против средней в системе?
Наверное, видели. Жирные морды всегда в цене у тех, кому они нужны для дела. И это тоже важно.
А теперь скажите, что мешает реализоваться вот такой схеме, исходя из этой парочки наблюдений с двумя важными моментами, отмеченными выше:
Очень простая мысль, реализованная всего в пяти пунктах, верно? И, самое смешное, работающая- скажем, ну где Вы видели в Рунете более чем двухбаксовые АдСенсовые клики, которые для этого сайта являются полной заурядностью? Да вряд ли где- такое возможно только на ХитроКонторном MFA сайте :)
В котором может быть всего-то пять страниц (ибо на хрена ж больше?).
Ну и какая коза мешает детектировать ключевики с продажных ссылок, и усилить их многократно каким-нибудь Гугловым Референтом, или ещё какой тулзой с иным принципом работы? Никакая коза не мешает- надо только подумать.
Вот и думайте, впереди целый ап- очередной только что случился.
| январь, 2009 | ||||||
| пн | вт | ср | чт | пт | сб | вс |
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 | |
Катехизис Манимейкерствующего Вебмастера [ Библия Ктулху ]