Ночной Бдун.


Мысль самурая
О доспехе надежном,
Острой катане.


В кои-то веки Мастер Ласто удосужился эпиграфом к посту забацать хайку, сложенную по всем правилам самурайского искусства. И это знаковый момент. По всему видать, сегодня речь пойдёт про что-то существенное, достойное того, чтобы слагатель виршей в лице местного автора потратил часть субботнего дня не на вкушение водки под жаренного порося с последующим распеванием песен хором про шумный камыш и гнутые деревья, а на составление строчек и абзацев из разных буковок, повествующих про некие важные сущности.


Напомню, кстати, что после чуть не случившейся на новогодних праздниках белочки, было местному автору видение: аккумулировать предложения читателей блога про интересующие их темки, и творить сами посты по мотивам этих писем.


Что было уже несколько раз проделано- мы заслушали лекцию про карму сайта, надругавшись попутно над всякими пузомерками типа ТИЦ’а и PageRank’а, что, конечно, не встретило никакого понимания, познали, как можно сделать сайт за 600 секунд с помощью чудесатой тулзы WordPress Translator, а также удивились, насколько решительно думающие головой люди забили на это государство и подготовились чуть ли не к автономке.


К последнему добавлю, что по итогам текущего года эксперты ожидают стотысячной эмиграции из Раши, против обычных 4-5 тысяч. Это нехорошо- из процветающих стран великого драпа обычно не случается...


Я благодарен моим читателям за их активность в предложении тем постов, и, со своей стороны монитора, буду делать всё от меня зависящее для написания побасёнок про разные нужные штуки, либо не менее необходимые мыслишки, которые должны вызвать цепную реакцию в Вашем мозгу. Жизнь коротка, проходит быстро, времени на хрень не остаётся- так будем же максимально полезны друг другу.


Посему без лишних китайских церемоний перейдём к рассмотрению ещё одной нужной штуки, которая и дала тайтл данному посту- «Ночной Бдун».


Вообще-то автор этой штуки, являясь серьёзным профессиональным программистом, владельцем полезных для манимейкера онлайн-сервисов, и действующим преподом по жизни, назвал её иначе- «Ночной Дозор». Видимо, тут сказалось отсутствие практики по вбиванию этих слов в Гугла, наблюдения серпа, и понимания, что так его творение никто никогда не найдёт. Посему волевым решением нарекаю эту штуку альтернативным именем «Ночной Бдун», стопудово отражающим сущность софтины, и далее на протяжении всей её жизни буду именовать именно так. Нравится ей это или нет.


Без долгих раздумий ставим эту ссылку на закачку, а пока качается, читаем дальше:


Дистрибутив Ночного Бдуна [ 1.22 Mb ]


Несмотря на столь малый объём, сия программа под Винду представляет собой самодостаточную тулзу, которая позволяет (после некоторой настройки, естественно) автоматически проверять поступление нового контента в определённые разделы произвольного сайта, драть с них новые артикли вместе с графикой, и запоминать локально. Потом это можно смотреть, читать, а также автоматически публиковать на своих сайтах произвольной структуры- никакой привязки к конкретному движку вообще нет.


Ночной Бдун- программа достаточно симпатичная, и наделена недетскими возможностями. Даже в халявном варианте использования (в качестве HTTP ридера, по аналогии с RSS ридером) запросто может поселиться на Вашем компьютере весьма надолго. Автор изначально прописал в Ночного Бдуна несколько популярных сайтов Рунета, новости которых через программулину обновлять и смотреть оказалось гораздо удобнее, нежели идти на те же сайты через бродилку :)


Для особо невнимательных замечу, что тут не идёт речь про какие-то там RSS каналы и прочие стандартные потоки для синдикации контента- они не требуются. На сайте всё это может отсутствовать, но он не уйдёт огородами от Ночного Бдуна – всё равно будет пойман и распарсен.


Автор любезно отснял видео того, как происходит прописка нового сайта в софтинке, а точнее, создания правил для его парсинга. Названо настройкой канала, выполняется посредством макросов, но в реализации довольно просто:


Настройка канала Ночного Бдуна [ 9.99 Mb ]


Я тоже посмотрел на это видео, и методом тыка, под мудрым руководством автора программы, породил для примера парсилку ленты новостей от Finam.fm – Вы без проблем можете взять вот этот архив:


http://lasto.com/blog/tmp/Channel_Finam.fm.zip [ мелкий ]


извлечь из него файлик, и, ткнув в него мышом, импортировать сей канал в своего Ночного Бдуна.


Тем, кто немного знает РНР, тут же станет очевидно, что сама концепция макросов софтины несколько напоминает работу регекспа.


В самом деле, программер при написании сигнатуры для того же Портатора просто взял бы URL морды ленты новостей, и одним махом получил бы все урлы артиклей по признаку определённой структуры ссылок, а потом бы пробежался по полученным урлам, и по формальным признакам шаблона артикля (актуальном на момент написания поста) засунул бы титл и контент новостей в соответствующие массивчики:

   $id=$title=$content=array();
   if (
preg_match_all(
      
"/<td>.*<a href=\"\/news\/(\d{5,})\/\".*>.+<\/a>.*<\/td>/Uis",
      
file_get_contents("http://finam.fm/allnews/"),
      
$n)
   ) {
      for (
$i=0$j=count($n[1]); $i &lt$j$i++) {
         if (
preg_match_all(
            
"/<div class=\"title\">.*<div>\d{1,2}\:\d(1,2}<\/div>.*".
            
"<h3>(.+)<\/h3>.*<\/div>.*".
            
"<div style=\"text\-align\:justify\">(.*)".
            
"<div id=\"smi2votes5\" style=.+>/Uis",
            
file_get_contents("http://finam.fm/news/".$n[1][$i]."/"),
            
$m)
         ) list (
$title[],$content[])=array($m[1][0],$m[2][0]);
      }
   }

Далее делаем элементарную зачистку элементов массивчиков регулярками от всякой ереси типа скриптов и прочих ненужных элементов форматирования, и освобождённый от всего от этого контент кидаем в файлы, в базу, или что там у нас имеется. Не забывая переконвертировать UTF в кодировку сайта.


Естественно, всё это выглядит элементарно для РНР’шника, но ужасающе для простого юзера. Который при виде вот этих операторов на птичьем языке испытал острое чувство тревоги и волнения. И уже засобирался драпать отсюда чуть ли не галопом.


Это зря.


Потому как, чтобы пользователь чувствовал себя спокойно и уверенно, папа Ночного Бдуна и выдумал концепцию макросов, которыми оперировать намного проще. Более того, сформированные макросами каналы можно экспортировать, как это делаю я предыдущей ссылкой, импортировать, как, возможно, поступите с этой ссылкой Вы, или вообще продавать- покупать- меняться.


Зачем?


А вот тут мы подходим ко второй ипостаси Ночного Бдуна. Который, оказывается, может работать не только прикольным избирательным браузером для отсмотра новых публикаций определённых сайтов (и архивом старых материалов), но и тулзой для публикации награбленного (на собственных сайтах, выполненных на произвольном движке).


Смотрим, как это делается:


Ночной Бдун в качестве Публикатора. [ 10.8 Mb ]


Посмотрев на такое видео, мы начинаем понимать, как люди в зарубеже способны владеть десятками сайтов, наполнять их контентом, огребаться десятками килоуёв дохода от всяких там офферов и прочей онлайновой рекламы, и при этом ещё и иметь время на какую-то жизнь.


Всё верно. Потому как человеку положено жить, а софту работать. Не наоборот.


Также Вам должно стать ясно, отчего софтина наречена Мастером Ласто Ночным Бдуном. Да, всё правильно- для работы ей нужен только коннект, прога может запускаться на ночь, и работать хоть до утра. Времени от заката до рассвета много, толщина канала поэтому не особо важна. Вы спите, прога бдит- качает в себя контент, выкладывает его на Ваши сайты определёнными порциями, играется в синонимы, развлекается картиночками, и вообще старается сделать Ваш сон сладким и спокойным изо всех сил.


В общем, зверушка очень полезная.


Осознав полезность зверушки, и понимая, что пост вот-вот кончится, Вы должны по исконной привычке русского человека начать искать подвох. Ибо ж не может быть, чтобы столь выдающийся софт раздавался буквально каждому желающему?


Само собой, не может.


Ночной Бдун категорически откажется работать публикатором, если Вы ему не покажите аусвайс. В виде пин-кода, коих имею сотню штук, и за которыми посылаю известно в какое место:


http://lasto.com/shop/dozor_2.html


Кстати, наблюдаю довольно интересную картину.


В который уже раз убеждаюсь, что русский человек ну очень изобретательный. Неправ тот, кто пытается на основе каких-то западных чуть ли не «научных школ» организовать инфобизнес в Стране по образу и подобию. И невдомёк ему, что у истинно русского человека мозги иначе устроены- житель Раши сам легко находит свою нишу, без всяких подсказок и долгих обучений уму-разуму, а также откровений всемогущих гуру.


Вот смотрите.


Казалось бы, сколько прошло времени с момента опубликования в моём блоге информации про клепатель сайтов на ВордПрессе WordPress Translator?


Да чуток совсем.


Но уже организовались конторки, которые приобретают эту софтину, и с её помощью конвертят доковские файлы юзеров в готовый образ базы. Вот такой у конторок сервис- времени на то надо немного, брать за это можно совсем небольшие деньги, в силу чего клиент идёт толпой, позволяя WordPress Translator’у окупиться за несколько дней. Дальше идёт чистая прибыль и образуются мечты о Мерседесе.


А вот если посмотреть на Ночного Бдуна, то всё ещё смешнее.


Даже в режиме импорта контента, который бесплатен, сия софтинка позволяет предоставлять услуги граббинга текстов с определённых сайтов, причём не надо писать никаких серверных скриптов и чего-то ещё столь же сложного. Только лишь в совершенстве овладеть макросами, набить на них руку, да иметь ночь впереди и канал любой ширины сквозь эту ночь :)


И таких вариантов построения бизнеса на ровном месте пруд пруди- достаточно внимательно посмотреть по сторонам, сфокусировать свой взгляд на чём угодно, и подумать, как оно может приносить деньги.


Я не шучу.


Судя по фразеологии, этому посту релевантны статьи:

  1. Хадж бродячих самураев к подножию Белухи.

    Хадж бродячих самураев к подножию Белухи. Умные люди давно заметили — размеренная жизнь в стиле «хомяк в колесе» утомляет. Если есть возможность, настоятельно рекомендуется периодически помещать организм в непривычные для него условия.

  2. Интересная радиостанция - выбор и обзор BaoFeng UV-5R.

    Интересная радиостанция - выбор и обзор BaoFeng UV-5R. Периодически у всего мужского населения планеты возникает остро выраженная потребность сбежать из дома. Хотя бы ненадолго. Ибо мужики постоянно страдают — то от недостатка общения с женским полом, то от избытка.

  3. Выбираем и покупаем гуглофон.

    Выбираем и покупаем гуглофон. Раз в несколько лет местный автор, обнаружив признаки издыхания у своего текущего телефона, озадачивается выбором нового. Прошлый раз такое случилось в эпоху царствования платформы Windows Mobile и устройств на жёсткой логике (так называемых «звонилок»).

Хомячковый рай. Уйти и потеряться:

Адрес заметки: http://lasto.com/blog/post_1234661222.html

Прыг: 01 02 03 04 05 06 07 08
15 февраля 2009, 23:08
Скажите, а синонимизация на основе своего словаря возможна? У меня есть под собственную тематику, хочу его использовать.
max
16 февраля 2009, 03:05
Синонимизация на основе своего словаря сейчас не возможна, но приделать её можно за час максимум - если еще кому-то нужно, черкните - сделаю в следующем релизе без малейших проблем. Единственное но - это склонения. Их не будет. Приделывать морфологический анализ задача не из простейших. Поэтому в словаре те слова что могут склоняться должны быть склоненными заранее в необходимом числе вариантов.
Александр
16 февраля 2009, 04:16
Вот, это, Вадим, Вы молодца.
Какой нафиг кризис. Надо жить и делать дальше то, что умеем, и то что пока приносит деньги.
vg
16 февраля 2009, 06:05
Очень послушная и юзабельная зверушка, быстро разобрался в макросах. Спасибо!
Dimox
16 февраля 2009, 21:26
Не помню, когда появилась у меня данная софтина, видимо по рассылке софта на который был подписан когда-то :)
Игрался, но без видеороликов многое было не понятно, отсмотрев их сейчас, проникся, так сказать, за что большой респект автору программы и Мастеру, продвигающему ее в массы.
Если провести аналогии с продуктами Вадима (portator, spol) и даже с софтом из "Сделать сайт за 600 секунд." на порядок все круче и как отмечено, нет привязки к определенному движку.
Отсюда вопросы:
1. Будет ли работать с nano-CMS?
2. Если просто отредактировать файлик из архива на канал "Finam.fm.zip" представленный Мастером Lasto, на иной ресурс и сохранить с тем же расширением под другим именем, будет ли работоспособен такой вариант?
3. Синонимизация - "rus" end "eng" пойдет отдельнным плагином или будет встроен в единый файл программы, без возможности саморедактирования?
4. И самое главное. Процесс автоматизации сбора и публикования контента в производственных масштабах. Не приведет ли это к санкциям поисковиков за появление множества клонов? Будет ли это стихийное бедствие регулироваться автором с помощью ценовой политики, на мой взгляд, сегодня, цена на предлагаемый софт, явно занижена?
gordi
17 февраля 2009, 00:58
На задаваемые тут вопросы автор зверушки обязался периодически отвечать. Я окажу в этом плане посильную помощь, опуская то, что решать не вправе. Но по остальным квесченам думаю, что так:
1. В Нанке нет админки.
Формально это всего лишь движок для более сложных- типа данного блога.
Но только выложенный в паблик в чистом виде.
2. Каждый сайт требует написания своего комплекта макросов.
Я недаром проводил аналогию между Ночным Бдуном и Портатором.
В первом- макросы, во втором- они же, но в виде регулярок под РНР.
То и другое индивидуально для каждого донора.
4. За ценовую политику пинать надо только Мастера Ласто.
Возможно, даже с разбега, и обувшись в говнодавы поувесистее.
Само собой, зверушка недооценена, причём как минимум вдвое.
Ну и надо понимать, что функции сосания контента в неоплаченной версии тоже не должно быть- по идее, весь функционал должен быть наглухо закрыт пин-кодом.
Вся эта халявность и подвижка по цене- только для изучения спроса, и понимания, в какую сторону надо грести при развитии функционала. Рекогносцировка на местности.
Что касается SE, то всякий владелец ГС, как угодно синонимизированных и отрерайченных, изучив весьма несложный синтаксис запросов Гугла в плане копошения в его основном и вспомогательном индексах, легко убедится, что критерием является вовсе не какая-то там уникальность контента, или наличие\отсутствие кучки жирных ссылок на морду. Про всякие там шинглы вообще молчу- теория шинглов это вообще отвлекающий маневр.
Впору говорить о таком параметре, как ценность контента- это, блин, хоть кому-то надо, или таки третьестепенная хрень?
Понятно, что для Яндекса всё намного проще- именно поэтому у нас есть куча разных "специалистов" и "экспертов" по Яндексу, и ни одного по Гуглу.
Потому как Гугл давно оперирует ДРУГИМИ категориями. И ему плевать на ваш копипаст, синонимизацию, рандомизацию, рерайтинг и копирайтинг в совокупности и поотдельности. Если Ваш сайт про хрень всякую, конкретно с Гугла будет ноль трафика.
По аналогии.
Можете как угодно облагородить придурка- нарядить его солидным господином, нацепить на нос модные очки, помыть-причесать, возить на дорогой машине, красивую девку в сопровождение приставить. Придурок он и есть придурок- после первой же беседы это станет явно видно. Если в голове пусто, а жопе детство, то такой человек никому не интересен.
Чтобы это установить, Гуглу достаточно пару недель времени и от 5 до 10 килохитов SE трафика.
Код АдСенса на сайте очень помогает процессу :)
Lasto
17 февраля 2009, 05:12
>> Будет ли работать с nano-CMS?
Если будет форма отправки поста - то будет. По ftp -не будет.
>> Если просто отредактировать файлик из архива на канал "Finam.fm.zip" представленный Мастером Lasto, на иной ресурс и сохранить с тем же расширением под другим именем, будет ли работоспособен такой вариант?
Маловероятно. Гарантировано придется меня команды FindUrlNews, FindNameNews и EditHtmlNews - а это равносильно созданию новго канала с нуля, ибо остальные команды почти не меняются от сайта к сайту.
>> Синонимизация - "rus" end "eng" пойдет отдельнным плагином или будет встроен в единый файл программы, без возможности саморедактирования?
Я в синонимизацию и перелинковку не верю, но я не спец в сео, поэтому могу сделать как скажете - на десктоповом софте это делается очень легко (но без морфологии). Сейчас имею пяток пожеланий дабы была совместимость с произвольным текстовым словарем (видимо нужен такой же подход как у Вадима в сплогах). Работаю. Будет. Скоро.
>> И самое главное. Процесс автоматизации сбора и публикования контента в производственных масштабах...
Глядя на Рунет мне его не жаль. Нельзя засрАть зАсраное ;-) и уж подавно Платону не перебрать голыми руками ту массу бесполезных сущностей которыми завален Рунет. А вот правообладатели могут наехать. И закон уже имеется почти. Поэтому бэки "по материалам" - обязательно нужны.
Цена на софт будет конечно прогрессирующей, если продукт будет востребован. Ну скажем так: увеличение на 5% после каждого десятка продаж. Ну или около того. Кто раньше встал того и тапки.
Anonymous
17 февраля 2009, 11:22
Пока не щупал, сонно мне. Но напоминает это связку portator+сигнатура на rss+yahoo pipes. Скажите мне, что я не прав - как проснусь, приду с баблом :)
rtyom
17 февраля 2009, 17:08
Можно ли перед публикацией пропустить статью через свой скрипт. Очень бы хотелось.
forest
17 февраля 2009, 17:23
К №9 - да на здоровье.
Все файлики отстортированы по папочкам, и лежат в
C:\Documents and Settings\Тут_Ваш_Юзер\Application Data\Dozor\
все такие из себя беззащитные...
Делайте с ними что хотите.
Lasto
Прыг: 01 02 03 04 05 06 07 08

Комментарии к этой заметке больше не принимаются.



  • февраль, 2009
  • пн вт ср чт пт сб вс
    1
    2 3 4 5 6 7 8
    9 10 11 12 13 14 15
    16 17 18 19 20 21 22
    23 24 25 26 27 28