Как всем более или менее хорошо известно, люди-человеки делятся на три неравных категории: тех, кто заботится о своей карме, других, задумывающихся об этичности собственных поступков только тогда, когда столь же нехорошо поступают с ними, и третьих, совершенно сознательно творящих гадости. С неописуемой радостью на лице.
Такова человеческая природа, и с этим ничего не поделаешь: при любом общественном строе, режиме, культуре, стране проживания, религии и так далее, процентное соотношение этих трёх категорий примерно одинаково.
Я не собираюсь здесь морализировать или брюзжать, ибо горбатого только могила исправит, и другого пути излечения просто нет. Речь не про пустое сотрясание воздуха и прочие утопии, а совсем про другое.
Когда вся разномастная толпа ангелов и бесов приходит в какую-то нишу, каждый естественным образом начинает заниматься тем, к чему склонен. Кто-то дело делает, кто-то без раздумий сразу пускается срать по всем углам, а основная масса скитается где-то между образами и насранным. На всякий случай оглянитесь вокруг, втяните ноздрями воздух, и посмотрите под ноги, дабы постичь своё место.
В SEO всё совершенно так же.
Одни люди адекватно понимают своё предназначение, без проблем вписываются в концепцию SE, встают в серп, получают целевой трафик на нужные им ресурсы, где легальным образом проистекает монетизация и всяческий там гешефт с консумацией. Всё чинно- пристойно, и Бог на них не в обиде.
Однако ж не все доросли до взрослого зрелого состояния. И в сорок лет можно оставаться дураком, занимаясь тем, что и пятнадцатилетнему пацану уже не интересно. Примеры тому есть (имею, знаете ли, годами выработанную привычку на всякий случай пробивать данные особо мне досаждающих обалдуев: Земля-то круглая. Бываю просто поражён циферками в графе даты рождения, иной раз просто не верится, что такое вообще возможно. Но поди ж ты).
И поскольку таким недорослям просто не дано вкусить прелести взрослой консумации с прочими гешефтами, о чём выше, начинается сраньё по углам, уж простите меня за мой французский. Это для образности и доходчивости.
Ибо ничем более нельзя объяснить такой хрени, как всевозможный спам по нашим блогам, к примеру говоря. Не поверите, но я просто счастлив, что в моём блоге нет даже намёка на загаживание комментов, хотя ссылки с них открытые. Спасибо моим немногочисленным читателям за возникающее у них желание высказаться по делу, а не тупо и очевидно пролинковаться на себя тривиальнейшей фразой.
Однако хренью можно заниматься и иначе, нежели хитро ставить ключевики с говнокомментов, или ссылки со смайликов в них. Есть люди, которым недоступно даже и это, и они заказывают у чёрных сеошников прогон по статсам.
Опять таки, я ничего не имею против детских хитростей с плагинами под файерфокса типа RefControl и тому подобных фич. Ну нравится этим заниматься- на здоровье. Но вот если кто-то начинает гнать паразитный трафик на наши сайты с поддельными рефами, и реально напрягать хостера, тут уж извините, детские игры на том кончились, и пора вспомнить, что написано в эпиграфе. Прочли?
Для тех, кто не очень сообразил про рефспам, советую подумать, нет ли где у Вас на ресурсе какого-нибудь списочка друзей сайта типа «кто на нас ссылается», «топ активных комментаторов», и прочего. И чего случится, если кто-то вдруг захочет получить бэк оттуда.
В Lasto-продуктах такое добро обязательно есть в виде статмодуля. И хотя юзеру даны все права на размещение или не размещение тех или иных блоков на морде странички статистики, что определяется настройками файла stat_settings.ini и его секции
[table_length_seffer]
; Глубина таблиц статистики для серфера
; Если элемент обратить в ноль, блок выводиться не будет:
pages=20; Популярные страницы
source=20; Друзья сайта
agent=20; web-юзерагенты
rss_agent=20; RSS-юзерагенты
se_requests=50; Количество отображаемых поисковых запросов
однако прогонщики по статсам даже и не смотрят, отображаете Вы нужный им блок, или нет. Вам могут тупо слить 10 бессмысленных килохитов за час, так как сиё уже оплачено. А будет нужный результат или нет, прогонщику безразлично.
Давайте я Вас научу, как детектировать факт накрутки реферов на Вашем сайте, если он оборудован моим статмодулем. Если не оборудован, или Вами используется какой-то другой движок, тут помочь не могу.
Прежде всего, уложите в папку:
под любым именем (пусть для определённости это будет spy.php) такой вот файлик с очень простеньким и совершенно понятным даже нубу кодом:
<?php
$file="./data/logs/hits.http.db";
$n=5;
$tmp=(file_exists($file) and is_readable($file)) ? file($file): array();
$arr=array();
for ($i=0; $i < count($tmp); $i++) {
$tmp[$i]=array_slice(explode("¦¦",$tmp[$i]),0,$n);
if (count($tmp[$i])==$n and $tmp[$i][3]!="---") $arr[$tmp[$i][1]][]=$tmp[$i][3];
}
$tmp=array_keys($arr);
for ($i=0; $i < count($tmp); $i++) {
$arr[$tmp[$i]]=array_count_values($arr[$tmp[$i]]);
arsort($arr[$tmp[$i]],SORT_NUMERIC);
}
echo "<pre>";
die (print_r($arr));
?>
Если буфер лога http трафика в данный момент не пуст, и содержит записи о переходах с внешних ресурсов, то при обращении соответственно к урлам:
Вы увидите экранное изображение массива, в котором ключами являются айпишники сайтов, генерирующих трафик, а элементами- урлы сайтов, с которых поступает (или якобы поступает) трафик, а также его интенсивность, выраженная цифрой.
К примеру, вот что реально я увидел у себя на одном из ресурсов, специально «подставленных» под рефспам (там я не борюсь с попингуями, ибо хочется наблюдать ситуацию):
Array(
[195.242.161.30] => Array(
[http://www.uport.biz] => 129
[http://www.medic-today.ru/] => 74
[http://www.webfermer.info] => 145
[http://www.mototrubka.com] => 141
[http://4win.ru/] => 122
[http://www.best-fx.ru/] => 66
)
[84.50.200.146] => Array(
[http://nova.rambler.ru/search?btnG=укорочено] => 2
)
[212.75.192.219] => Array(
[http://nova.rambler.ru/srch?btnG=укорочено] => 1
)
)Очень наглядно видно, как пришли два запроса с поиска рамблера, с указанием айпишников юзеров, один из которых проживает в Талине, Эстония, а второй вообще загадочен- находится прямо посреди океана у западных берегов Африки :)
Но.
Тот айпишник, что прописан в Украине, и в котором якобы живут аж шесть сайтов, поставляющих серьёзный трафик, должен привлечь к себе наше внимание. Потому как, ежели смотреть айпишники этих сайтов, получится несуразица:
А если проанализировать, какого юзерагента весь этот трафик показывает, то оказывается, что это вообще индексирующий бот Яндекса.
Как видите, айпишник 195.242.161.30 не имеет ни малейшего отношения к указанным сайтам, и в реальности принадлежит никакому не Яндексу, а сети FORTUNE-UA-NET украинской компании Fortune Science and Production Company, расположенной по адресу Lenina 78, 62503 Volchanks, Ukraine.
Я бы на месте руководства этой конторы пнул юзера указанного айпишника нахрен, без выходного отверстия пособия. Чтобы фигнёй не страдал. Кто там недалече, звякните в приёмную, дайте почитать урл этого поста. Авось случится чудо.
Теперь, когда Вы немного в курсе, что из себя представляет рефспам, и чем это грозит, давайте научаться с ним бороться. Ибо программно попингуйство в рамках рефспама делается за пять минут на РНР скрипте из 20 строк, с подделкой реферов, юзерагентов и тому подобного. А значит, попингуйство будет крепнуть и шириться, так как людей, любящих срать по углам, меньше не становится.
Если уж в сьянс енд продакшенс компани такой хренью занимаются, то что можно ждать от обычных обалдуев, образованием и интеллектом вообще не отягощённых?
Поэтому смотрим в папочку ./data/ Вашего движка, ищем там файлик http_rss_blocking.ini и заносим айпишник попингуя в секцию [ban_ips] в принятом там формате.
Если такого файлика «жёстких банов» в движке нет, пишем айпишник в секцию [noshowhostsip] файла stat_blocking.ini, а домены сайтов, желающих пробиться в «друзья», в секцию [noshowhosts]
Весь трафик с «жёстко» забаненных айпишников вообще не будет приниматься движком блога или портатора. На экран при трафике с этого айпишника просто нарисуется фигушка, сам сайт даже и не подумает открываться. Бесполезной нагрузки на хостера не случится, все счастливы. Особенно тот, кто заплатил за прогон своих говносайтов по статсам.
Кстати, про попингуев- вот прямо сейчас вижу таких, помимо указанного:
... и т. д. Баньте эти айпишники нахрен. Как и указанные домены.
Естественно, это очень наивный метод рефспама, прозрачный, как гнев вебмастера, впервые прочитавшего про рефспам. Настоящий засранец, конечно же, рефспам делает не так, а силами реальных серферов, шарашащихся по его сайтам, и от имени айпишников тех самых серферов. Поэтому детектор рефспама выдаст по одному и тому же набору продвигаемых сайтов для множества айпишников, но вот айпишники те будут совсем-совсем разные.
Например, мой подопытный ресурс зафиксировал стабильно высокий трафик, исходящий с разных айпишников, продвигающий рефспамом такие ресурсы:
Поскольку по айпишнику Вам это всё дело не забанить, и никакого способа прекратить паразитный входящий трафик на Ваш сайт не существует, нужно просто сделать бессмысленным дальнейшее существование таких сайтов.
Вам ничего не остаётся, как инициировать их бан, апеллируя к фактам рефспама с их стороны, и паразитной накрутке трафика Вашего сайта (что создало проблемы во взаимоотношениях с хостером), сославшись на сюда как на объяснялку, и правильно поняв, для чего существуют вот такие урлы:
Думается, это будет более действенно, чем написать абузу хостеру засранца. Хотя и хостер тоже не особо любит, когда его айпишники банят.
Ну и в заключение опуса, перенасыщенного сегодня кодом и разными непривычными техническими штуками, хочется заметить, что всякие вопли по форумам о борьбе искалок с оптимизаторами надо понимать правильно. Если человек занимается полной хренью, его тоже надо кому-то остановить. Почему бы этим кем-то не быть Платону?
Другое дело, что от искалки иногда достаётся не тому человеку. Например, ни в чём не повинному владельцу сайта, просто не понимающему всей этой кухни, и расплодившему на сайте много углов, в которых ему устроили самый настоящий нужник.
Ну так следите за своим хозяйством, ок? Не Пушкин же это будет делать.
Будем пробовать итожить говоренное...
Для начала представляется целесообразным открыть файл мягких банов stat_blocking.ini и в его секцию [noshowhosts] прописать домены второго уровня всех бесплатников, какие Вам только известны:
Это, конечно, далеко не полный список, так как составлялся он эмпирически, и вовсе не факт, что каждая строчка списка- именно домен бесплатника, но личный опыт показывает, что ничего сколь-нибудь полезное для Вашего блога в таких доменах не живёт, и ловить линки оттуда совсем не интересно.
На своих сайтах я поступаю ещё кардинальнее- баню зоны .ua .cn и некоторые другие целиком, ибо субъективно ничего толкового в там не наблюдаю. Всё напрочь засрано пионерами. Вот пускай они в собственном дерьме радостно и копошатся.
Далее переходим к собственно наполнению секций файлов жёстких и мягких банов. Я буду приводить с помощью кликабельных ссылок содержимое соответствующих секций своего блога- видимо, постепенно там будет всё больше записей, так что заходите раз в месяц, и копируйте это к себе в одноимённые секции. Если случатся повторы, ничего страшного- блог автоматически повторы отсеивает.
Пожалуйста, помните, что домены и айпишники можно писать в секции файлов жестких и мягких банов не целиком, а фрагментарно. Например, если попингуй долбится с айпишников 195.242.161.116 и 195.242.161.30 одного и того же сервера, в секции [ban_ips] файла жёстких банов достаточно указать запись
195.242.161.=
для блокировки всего младшего октета АйПишника (то есть на деле как раз всего этого сервера).
То же самое справедливо и для доменов, а также УРЛов- например, если некто вознамерился прокачать за Ваш счёт кучу профилей разных социалок, и в урлах всех этих прокачиваемых профилей есть логин korall, то засовывание в списочек доменов записи korall= подвергнет игнорированию и все УРЛы с вхождением такого кейворда.
| октябрь, 2008 | ||||||
| пн | вт | ср | чт | пт | сб | вс |
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 | ||