Страшная сказка на ночь про чёрное-чёрное СЕО.

Самые популярные товары с Али по лучшей цене:

12-битный SDR, 5 диапазонов 4000 руб.
Цифровой тестер качества воды 590 руб.
Аккумулятор HR06 (АА) 2700 mAh 480 руб.

08 октября 2008, 20:00

Страшная сказка на ночь про чёрное-чёрное СЕО.

Страшная сказка на ночь про чёрное-чёрное СЕО.

Вот предков изыски:
Гадов сраками на кол -
Тут нам и праздник.

Как всем более или менее хорошо известно, люди-человеки делятся на три неравных категории: тех, кто заботится о своей карме, других, задумывающихся об этичности собственных поступков только тогда, когда столь же нехорошо поступают с ними, и третьих, совершенно сознательно творящих гадости. С неописуемой радостью на лице.

Такова человеческая природа, и с этим ничего не поделаешь: при любом общественном строе, режиме, культуре, стране проживания, религии и так далее, процентное соотношение этих трёх категорий примерно одинаково.

Местный автор не собирается здесь морализировать или брюзжать, ибо горбатого только могила исправит, а другого пути излечения просто нет. Речь не про пустое сотрясание воздуха и прочие утопии, а совсем про другое.

Когда вся разномастная толпа ангелов и бесов приходит в какую-то нишу, каждый естественным образом начинает заниматься тем, к чему склонен. Кто-то дело делает, кто-то без раздумий сразу пускается срать по всем углам, а основная масса скитается где-то между образами и насранным.

На всякий случай оглянитесь вокруг, втяните ноздрями воздух, и посмотрите под ноги, дабы постичь своё место.

В SEO всё совершенно так же.

Одни люди адекватно понимают своё предназначение, без проблем вписываются в концепцию SE, встают в серп, получают целевой трафик на нужные им ресурсы, где легальным образом проистекает монетизация и всяческий там гешефт с консумацией. Всё чинно- пристойно, и Бог на них не в обиде.

Однако же не все доросли до взрослого зрелого состояния. И в сорок лет можно оставаться дураком, занимаясь тем, что и пятнадцатилетнему пацану уже не интересно. Примеры тому есть (имеется, знаете ли, годами выработанная привычка на всякий случай пробивать данные особо досаждающих обалдуев: Земля-то круглая. Бываю просто поражён циферками в графе даты рождения, иной раз просто не верится, что такое вообще возможно. Но поди ж ты).

И поскольку таким недорослям просто не дано вкусить прелести взрослой консумации с прочими гешефтами, о чём выше, начинается сраньё по углам, уж простите местного автора за его французский. Это исключительно для образности и доходчивости.

Ибо ничем более нельзя объяснить такой хрени, как всевозможный спам по нашим блогам, к примеру говоря. Про то поговорим отдельно.

Маленько о рефспаме.

Тем, кто не очень сообразил про рефспам, есть совет подумать, нет ли где у Вас на ресурсе какого-нибудь списочка друзей сайта типа «кто на нас ссылается», «топ активных комментаторов», и прочего. И чего случится, если кто-то вдруг захочет получить бэк оттуда.

В Lasto-продуктах такое добро обязательно есть в виде статмодуля. Который вовсе не обязателен, и с некоторых пор вообще скрыт от посторонних. Однако прогонщики по статсам даже и не смотрят, отображаете Вы нужный им блок, или нет. Вам могут тупо слить 10 бессмысленных килохитов за час, так как сиё уже оплачено. А будет нужный результат или нет, прогонщику безразлично.

Давайте местный автор Вас научит, как детектировать факт накрутки реферов на Вашем сайте, если он оборудован статмодулем (давайте на примере «Наны»). Если не оборудован, или Вами используется какой-то другой движок, то помощи ждать неоткуда.

Прежде всего, уложите в папку с контентом и под любым именем (пусть для определённости это будет spy.php) такой вот файлик, понимающий логи Статмодуля «Наны»:

<?php

   $dir=$_s['loc']['modul'].$_s['stat']['base'].'logs/';

   $d=dir($dir);
   $log=$null;
   while (false!==($f=$d->read())) {
      if (preg_match_all('~^log\.(\d{4})-(\d{2})-(\d{2})\.txt$~',$f,$n) and is_file($dir.$f) and is_writeable($dir.$f)) {
         foreach (file($dir.'log.'.$n[1][0].'-'.$n[2][0].'-'.$n[3][0].'.txt') as $f) {
            if (is_array($arr=@unserialize($f)) and isset($arr['host']) and isset($arr['source'])) {
               $from=array_keys($arr['source']);
               $host=array_keys($arr['host']);
               $from=explode('¦¦',$from[0]);
               $host=explode('¦¦',$host[0]);
               $log[$host[0]][$from[0]]=empty($log[$host[0]][$from[0]]) ? 1: $log[$host[0]][$from[0]]+1;
            }
         }
      }
   }
   echo '<pre>';
   die(print_r($log));

?>

Если буфер лога http трафика в данный момент не пуст, и содержит записи о переходах с внешних ресурсов, то при обращении к только что созданному документу Вы увидите экранное изображение массива, в котором ключами являются айпишники сайтов, генерирующих трафик, а элементами - урлы сайтов, с которых поступает (или якобы поступает) трафик, а также его интенсивность, выраженная цифрой (сколько хитов поступило).

К примеру, вот что реально увидел у себя местный автор на одном из ресурсов, специально «подставленных» под рефспам:

Array(
   [195.242.161.30] => Array(
      [http://www.uport.biz] => 129
      [http://www.medic-today.ru/] => 74
      [http://www.webfermer.info] => 145
      [http://www.mototrubka.com] => 141
      [http://4win.ru/] => 122
      [http://www.best-fx.ru/] => 66
   )
 
   [84.50.200.146] => Array(
      [http://nova.rambler.ru/search?btnG=укорочено] => 2
   )
 
   [212.75.192.219] => Array(
      [http://nova.rambler.ru/srch?btnG=укорочено] => 1
   )
)

Очень наглядно видно, как пришли два запроса с поиска рамблера, с указанием айпишников юзеров, один из которых проживает в Талине, Эстония, а второй вообще загадочен - находится прямо посреди океана у западных берегов Африки :)

Но.

Тот айпишник, что прописан в Украине, и в котором якобы живут аж шесть сайтов, поставляющих серьёзный трафик, должен привлечь к себе наше внимание. Потому как, ежели смотреть айпишники этих сайтов, получится несуразица:

  1. uport.biz = 89.149.254.174
  2. medic-today.ru = 77.222.142.54
  3. webfermer.info = 194.54.90.68
  4. mototrubka.com = 89.149.238.113
  5. 4win.ru = 77.222.142.61
  6. best-fx.ru = 80.93.48.86

А если проанализировать, какого юзерагента весь этот трафик показывает, то оказывается, что это вообще индексирующий бот Яндекса.

Как видите, айпишник 195.242.161.30 не имеет ни малейшего отношения к указанным сайтам, и в реальности принадлежит никакому не Яндексу, а сети FORTUNE-UA-NET украинской компании Fortune Science and Production Company, расположенной по адресу Lenina 78, 62503 Volchanks, Ukraine.

Местный автор на месте руководства этой конторы пнул бы юзера указанного айпишника нахрен, без выходного отверстия пособия. Чтобы фигнёй не страдал. Кто там недалече, звякните в приёмную, дайте почитать урл этого поста. Авось случится чудо.

Как бороться с рефспамом?

Теперь, когда Вы немного в курсе, что из себя представляет рефспам, и чем это грозит, давайте научаться с ним бороться. Ибо программно попингуйство в рамках рефспама делается за пять минут на РНР скрипте из 20 строк, с подделкой реферов, юзерагентов и тому подобного. А значит, попингуйство будет крепнуть и шириться, так как людей, любящих срать по углам, меньше не становится.

Если уж в сьянс енд продакшенс компани такой хренью занимаются, то что можно ждать от обычных обалдуев, образованием и интеллектом вообще не отягощённых?

Поэтому заносим айпишник попингуя в «Жёсткие баны» админки, и тем смым избавляемся от него - весь трафик с «жёстко» забаненных айпишников вообще не будет приниматься движком. На экран при трафике с этого айпишника просто нарисуется фигушка, сам сайт даже и не подумает открываться. Бесполезной нагрузки на хостера не случится, все счастливы. Особенно тот, кто заплатил за прогон своих говносайтов по статсам.

Рефспам второго рода.

Естественно, это очень наивный метод рефспама, прозрачный, как гнев вебмастера, впервые прочитавшего про рефспам. Настоящий засранец, конечно же, рефспам делает не так, а силами реальных серферов, шарашащихся по его сайтам, и от имени айпишников тех самых серферов. Поэтому детектор рефспама выдаст по одному и тому же набору продвигаемых сайтов для множества айпишников, но вот айпишники те будут совсем-совсем разные. Фактически, именно так работает ботнет.

Поскольку по айпишнику Вам это всё дело не забанить, и никакого способа прекратить паразитный входящий трафик на Ваш сайт не существует, нужно просто сделать бессмысленным дальнейшее существование таких сайтов.

Вам ничего не остаётся, как инициировать их бан, апеллируя к фактам рефспама с их стороны, и паразитной накрутке трафика Вашего сайта (что создало проблемы во взаимоотношениях с хостером), сославшись на сюда как на объяснялку, и правильно поняв, для чего существуют вот такие урлы:

  1. Google – google.com/webmasters/tools/spamreport?hl=en
  2. Яндекс – yandex.ru/support/abuse/troubleshooting/index.html
  3. Рамблер – help.rambler.ru/feedback/rambler-help/

Думается, это будет более действенно, чем написать абузу хостеру засранца. Хотя и хостер тоже не особо любит, когда его айпишники банят.

Ну и в заключение опуса, перенасыщенного сегодня кодом и разными непривычными техническими штуками, хочется заметить, что всякие вопли по форумам о борьбе искалок с оптимизаторами надо понимать правильно. Если человек занимается полной хренью, его тоже надо кому-то остановить. Почему бы этим кем-то не быть Платону?

Другое дело, что от искалки иногда достаётся не тому человеку. Например, ни в чём не повинному владельцу сайта, просто не понимающему всей этой кухни, и расплодившему на сайте много углов, в которых ему устроили самый настоящий нужник.

Ну так следите за своим хозяйством, ок?
Не Пушкин же это будет делать.

Другие статьи категории «Вебмастеру на заметку»

Великий тормозной путь. Кросспостинг.

Великий тормозной путь. Кросспостинг. Ну вот и наступило любимое время года бывалого камикадзе - листочки всяких местных сакур приобрели истинно японский цвет, и, взяв мастер-класс у крикливых птах, день-деньской устраивают воздушные налёты с воплями «Банзай!» на несчастную лысину облезлой хризантемы. Детёныши, вздыхая из последних сил, обречённо побрели под своды храма знаний внимать хайкам Пушкина про обдолбанного кота и прочие глюки великого поэта.

Как не лопухнуться при издании бесплатного ебука.

Как не лопухнуться при издании бесплатного ебука. Веб полон парадоксов. Казалось бы, это среда, по определению идеальная для линкования одних сущностей на другие. Чем многие с увлечением и занимаются. Поначалу. Но потом ньюбы вдруг с удивлением узнают от гуру, что до сих пор они всё делали «неправильно» - оказывается, по их ссылкам, неосмотрительно рассыпанным щедрою рукой, утекает драгоценный ПиАр.

Незаконнорожденный детёныш Хитрой Конторы.

Незаконнорожденный детёныш Хитрой Конторы. Ну, вроде как зиму пережили. И вот уже расцветает белоснежная сакура, вызывающе яркими красками нескромно пестреют наряды гейш, и всё такое. Созерцает ситуёвину старый самурай, и сердце его радуется. Ну это образно говоря. Любой манимейкерствующий юзер также склонен к некоторой созерцательности. Когда, к примеру, в конце рабочей недели он открывает свой кипер, и делает выплаты себе, любимому.
Навигатор: 01 02 03
08 октября 2008, 21:03

№ 1Спасибо!

Спасибо, Вадим.
Достали конкретно :)
Уже обращался за помощью, временно помогло.
Теперь и скрипт сразу залил - надо и другие ресурсы также оборудовать :)
gordi
08 октября 2008, 21:04

№ 2А как насчет призумпции невиновности

Насчет бана. Так внешние факторы ПС вроде как не учитываются?А то я, например, закажу прогон ластоблога по рефспаму, и что, банить Мастера?
Олег Трехчасовой
09 октября 2008, 02:38

№ 4А если htaccess?

Я на днях пытался этого козлину со стройсайтами выловить, увидел в статистике хостера в контрольной панели кучу айпишников, подумал что через проксики спамит. Оказывается это сёрферы.
Бан таки нужно по имени хоста реализовывать, в то что засранца можно абузами завалить верится слабо.
Если в .htaccess написать типа:
Order Allow,Deny
Allow from All
Deny from gurustroitel.ru
Deny from uberstroyka.ru
должно же сработать?
Cомнительно.
Ибо трафик реально поступает не оттуда.
Самурай Чамплу
09 октября 2008, 05:07

№ 5Вадим - как в воду глядел !

Вадим ! ДА!!! - что можно еще добавить - сел практически писать вам письмо о помощи по теме раскрытой в Вашей статье, ибо, анализируя данные статсов, надоело видеть одни и же *** морды в друзьях -поэтому поначалу поотключал показатели source=0; в Друзьях сайта в юзер режиме.

Однако, Вадиму вопросик, поскольку на каверзы - для рефспамеров - Мастер уже созрел.

Нельзя ли организовать рефспамерам какое-нить наказание в виде скриптика, помещенного на сайте у себя. И который бы, детектируя таких вот рефспамов, не просто перекрывал им кислород в виде доступа к своему сайту, а отправлял бы такие сайты совершать разные действия и движения, от которых таким рефспамерским сайтам становилось бы очень худо.

Почему об этом завел речь? Некоторые из рефспамеров спамят сайты построенные на ваших движках...
wwr2
09 октября 2008, 16:20

№ 7Спасибо, всех гадов увидел

Спасибо, всех гадов увидел. А то вылавливать удавалось только самых наглых. Могу добавить свою коллекцию спамеров для всеобщего обозрения, только не вижу в этом смысла - у всех одни и те же гадят, как посмотрю.
Андрей
09 октября 2008, 16:48

№ 8Счастье само в руки идёт.

Немного отстранённой философии.
 
Вообще-то в среде вебмастеров имеется один древний ритуал.
Видимо, пора о нём вспомнить.
Смысл таинства прост:
 
Когда некий обалдуй изо всех сил начинает спамиться по Вашим сайтам любым доступным ему способом, можете воспринимать сей факт как любезное приглашение взять контент этого свежеиспечённого говносайта, и безболезненно его использовать в любых своих целях.

Всё едино оригинал потом будет побанен, из индексов повылетает, ибо бог не фраер, и всё видит (бог написан с мелкой буковки, а потому под сим термином можете и имеете полное право понимать кого угодно, начиная от Платона). Так зачем же чьим-то стараниям пропадать втуне?

Начинаем массово делать так, и попингуи скоро кончатся.
 
Можно, конечно, возразить на древний ритуал всякими разными правильными словами, но жизнь в этой стране меня лично научила только одному: если тебе явно делают гадости, надо подойти и дать в морду.

Обычно помогает.
Lasto
09 октября 2008, 21:25

№ 9Решить можно.

Все что делается руками на компе по определению не оптимум. Нужна автоматизация. Решить можно так.
1) Если подозреваемый продвигаемый домен имеет большой траф с одного айпишника - то точно бот. В автобан и бек не выдаем. Дебилов много и таким макаром уже поцентов 70 будет потушено. Или 90 даже.
2) Если юзерагент не меняется - тоже в автобан и бек не выдаем.
3) Тех кто поумнее можно тушить по параметрам сайта. Если траф с сайта большой а у него ни пиара ни тИца значит тоже в автобан.
Ну и все.
Александр Хмелев
09 октября 2008, 21:25

№ 10Бить по больному


Ежели совсем кого достало, то есть совсем уж иезуитский способ. Это чтоб совсем желание гадить пропало.
Ежели открыть спамосайт в лисе с включенным сеоквакой, то появится окошко такое хитрое, где можно выявить все сайты с данным Адсенс АйДи.
Ну а далее, как фантазия прикажет.
vg
09 октября 2008, 23:05

№ 11Привратник

Проблема топика замечена давно, да все руки не доходили взяться за ее решение. Но все же нашел пол-часа в своем забитом графике и наваял скрипт "Привратник", который сейчась работает на Lasto-blog'е

До сих пор он стоял в пассивном режиме (просто сообщал мне кого и за что он бы с радостью спустил в унитаз). Результаты показал весьма удовлетворительные и четыре дня назад я перевел его в активный режим - теперь он сам отлавливает попингуев и сам же их блокирует. Результат работы отлично виден по графику посещаемости на странице статистики.
fit-media.com
10 октября 2008, 00:22

№ 12Я опять с htaccess

Дано: особо злостный попингуй спамит используя айпишники сёрферов. Соответственно по айпишнику забанить его нельзя, только по реферу.
Вот такие правила в файле .htaccess блокируют доступ к сайту с любого айпишника, имеющего рефером один из перечисленных сайтов:SetEnvIfNoCase referer "uberstroyka.ru" ban_ref=1
SetEnvIfNoCase referer "gurustroitel.ru" ban_ref=1
SetEnvIfNoCase referer "dzenstroy.ru" ban_ref=1
SetEnvIfNoCase referer "stroy-kak-master.ru" ban_ref=1
SetEnvIfNoCase referer "pro-stroitel.ru" ban_ref=1
Order Deny,Allow
Deny from env=ban_refНаблюдаю чуть меньше суток, разных уберстроек в статистике больше нет. Попробовал подменить свой рефер, при заходе на сайт получил ожидаемый Forbidden.

Это как вариант борьбы с особо злостными попингуями.

Почитал коменты. Коллеги, отключение блока "друзей сайта" бесполезно, дёргать ваши сайты будут по прежнему. Они по ходу уже попали в базы для попингуйства. Базы скорее всего собираются с выдачи искалок, так что статистику нужно закрыть от индексации. Для новых сайтов это обязательно.
Самурай Чамплу
Навигатор: 01 02 03
Оставить комментарий
Все заметки категории «Вебмастеру на заметку»
Навигация:
Разделы блога:
RSS ленты:
Контакт с нами:
Документы:

| lasto.com © 2004-2025 | Programming Master Lasto | Memory consumption: 4 Mb |