15 февраля 2009, 08:27

Ночной Бдун.

Ночной Бдун.

Самураева мысль
О доспехе надежном,
Острой катане.

В кои-то веки местный автор удосужился эпиграфом к посту забацать хайку, сложенную по всем правилам самурайского искусства. И это знаковый момент. По всему видать, сегодня речь пойдёт про что-то существенное, достойное того, чтобы слагатель виршей в лице местного автора потратил часть субботнего дня не на вкушение водки под жаренного порося с последующим распеванием песен хором про шумный камыш и гнутые деревья, а на составление строчек и абзацев из разных буковок, повествующих про некие важные сущности.

Посему без лишних китайских церемоний перейдём к рассмотрению нужной штуки, которая и дала тайтл данному посту - «Ночной Бдун».

Вообще-то автор этой штуки, являясь серьёзным профессиональным программистом, владельцем полезных для манимейкера онлайн-сервисов, и действующим преподом по жизни, назвал её иначе - «Ночной Дозор». Видимо, тут сказалось отсутствие практики по вбиванию этих слов в Гугла, наблюдения серпа, и понимания, что так его творение никто никогда не найдёт. Посему волевым решением наречём эту штуку альтернативным именем «Ночной Бдун», стопудово отражающим сущность софтины, и далее на протяжении всей её жизни станем именовать именно так. Нравится ей это или нет.

Без долгих раздумий ставим эту ссылку на закачку, а пока качается, читаем дальше:

Дистрибутив Ночного Бдуна [ 1.22 Mb ]

Несмотря на столь малый объём, сия программа под Винду представляет собой самодостаточную тулзу, которая позволяет (после некоторой настройки, естественно) автоматически проверять поступление нового контента в определённые разделы произвольного сайта, драть с них новые артикли вместе с графикой, и запоминать локально.

Потом это можно смотреть, читать, а также автоматически публиковать на своих сайтах произвольной структуры - никакой привязки к конкретному движку вообще нет.

Ночной Бдун - программа достаточно симпатичная, и наделена недетскими возможностями. Даже в халявном варианте использования (в качестве HTTP ридера, по аналогии с RSS ридером) запросто может поселиться на Вашем компьютере весьма надолго. Автор изначально прописал в Ночного Бдуна несколько популярных сайтов Рунета, новости которых через программулину обновлять и смотреть оказалось гораздо удобнее, нежели идти на те же сайты через бродилку :)

Для особо невнимательных замечу, что тут не идёт речь про какие-то там RSS каналы и прочие стандартные потоки для синдикации контента - они не требуются. На сайте всё это может отсутствовать, но он не уйдёт огородами от Ночного Бдуна – всё равно будет пойман и распарсен.

Автор любезно отснял видео того, как происходит прописка нового сайта в софтинке, а точнее, создания правил для его парсинга. Названо настройкой канала, выполняется посредством макросов, но в реализации довольно просто:

Настройка канала Ночного Бдуна [ 9.99 Mb ]

Тем, кто немного знает РНР, тут же станет очевидно, что сама концепция макросов софтины несколько напоминает работу регекспа.

В самом деле, программер просто взял бы URL морды ленты новостей, и одним махом получил бы все урлы артиклей по признаку определённой структуры ссылок, а потом бы пробежался по полученным урлам, и по формальным признакам шаблона артикля (актуальном на момент написания поста) засунул бы титл и контент новостей в соответствующие массивчики:

   $id=$title=$content=array();
   if (
preg_match_all(
      
"/<td>.*<a href=\"\/news\/(\d{5,})\/\".* >.+<\/a>.*<\/td>/Uis",
 
file_get_contents("http://finam.fm/allnews/"),
 
$n)
 ) {
 for (
$i=0$j=count($n[1]); $i $j$i++) {
 if (
preg_match_all(
 
"/<div class=\"title\">.*<div>\d{1,2}\:\d(1,2}<\/div>.*".
 
"<h3>(.+)<\/h3>.*<\/div>.*".
 
"<div style=\"text\-align\:justify\">(.*)".
 
"<div id=\"smi2votes5\" style=.+>/Uis",
 
file_get_contents("http://finam.fm/news/".$n[1][$i]."/"),
 
$m)
 ) list (
$title[],$content[])=array($m[1][0],$m[2][0]);
 }
 }

Далее делаем элементарную зачистку элементов массивчиков регулярками от всякой ереси типа скриптов и прочих ненужных элементов форматирования, и освобождённый от всего от этого контент кидаем в файлы, в базу, или что там у нас имеется. Не забывая переконвертировать UTF в кодировку сайта.

Естественно, всё это выглядит элементарно для РНР’шника, но ужасающе для простого юзера. Который при виде вот этих операторов на птичьем языке испытал острое чувство тревоги и волнения. И уже засобирался драпать отсюда чуть ли не галопом.

Это зря.

Потому как, чтобы пользователь чувствовал себя спокойно и уверенно, папа Ночного Бдуна и выдумал концепцию макросов, которыми оперировать намного проще. Более того, сформированные макросами каналы можно экспортировать, как это делаю я предыдущей ссылкой, импортировать, как, возможно, поступите с этой ссылкой Вы, или вообще продавать- покупать- меняться.

Зачем?

А вот тут мы подходим ко второй ипостаси Ночного Бдуна. Который, оказывается, может работать не только прикольным избирательным браузером для отсмотра новых публикаций определённых сайтов (и архивом старых материалов), но и тулзой для публикации награбленного (на собственных сайтах, выполненных на произвольном движке).

Смотрим, как это делается:

Ночной Бдун в качестве Публикатора. [ 10.8 Mb ]

Посмотрев на такое видео, мы начинаем понимать, как люди в зарубеже способны владеть десятками сайтов, наполнять их контентом, огребаться десятками килоуёв дохода от всяких там офферов и прочей онлайновой рекламы, и при этом ещё и иметь время на какую-то жизнь.

Всё верно.
Потому как человеку положено жить, а софту работать.
Не наоборот.

Также Вам должно стать ясно, отчего софтина наречена местным автором «Ночным Бдуном». Да, всё правильно - для работы ей нужен только коннект, прога может запускаться на ночь, и работать хоть до утра. Времени от заката до рассвета много, толщина канала поэтому не особо важна. Вы спите, прога бдит - качает в себя контент, выкладывает его на Ваши сайты определёнными порциями, играется в синонимы, развлекается картиночками, и вообще старается сделать Ваш сон сладким и спокойным изо всех сил.

В общем, зверушка очень полезная.

Осознав полезность зверушки, и понимая, что пост вот-вот кончится, Вы должны по исконной привычке русского человека начать искать подвох. Ибо ж не может быть, чтобы столь выдающийся софт раздавался буквально каждому желающему?

Само собой, не может.

Ночной Бдун категорически откажется работать публикатором, если Вы ему не покажите аусвайс. В виде пин-кода, коих местный автор имеет сотню штук, и за которыми посылает известно в какое место:

http://lasto.com/shop/dozor_2.html

Другие статьи категории «Софт от Мастера Ласто»

Секретарь-референт имени Гугла.

Секретарь-референт имени Гугла. Как Вы могли уже заметить, авторствующий тут Мастер Ласто немного неравнодушен к ВебДваНольнутым технологиям. Но в отличие от коллег, усвоивших только одну довольно простую процедуру - найти подходящую RSS ленту и тупо красть с неё всё подряд на свой сайт, настоящий Мастер должен сразу наложить вето на такой незамысловатый подход.

Маленькая пуля способна смертельно огорчить большого слона.

Маленькая пуля способна смертельно огорчить большого слона. Чем прикалывает Сеть и увенчанного нимбом гуру, и полного ньюбера без всякой родословной, так это величайшей демократией. Абсолютно безразлично, смыслит ли что человек в веб-технологиях или нет, владеет ли супер-пупер навороченным сайтом a la портал с кучей всевозможных хренек различной степени крутизны и вебдванольнутости, либо нет у него нифига подобного.

Отдам крокодила в хорошие, вкусные руки.

Отдам крокодила в хорошие, вкусные руки. Посетители этого куска сайта с блогом давно заметили, что через раз тут публикуются материалы про какие-то невразумительные вебмастерские заморочки. Смысл оных обычно понятен немногим, все же остальные пребывают в перманентной тоске. Собственно, это нормально. Так, если раньше каждый водила знал, какую гайку требуется подкрутить…
Навигатор: 01 02 03 04 05 06
15 февраля 2009, 23:08

№ 1Синонимы

Скажите, а синонимизация на основе своего словаря возможна? У меня есть под собственную тематику, хочу его использовать.
max
16 февраля 2009, 03:05

№ 2Про синонимизацию.

Синонимизация на основе своего словаря сейчас не возможна, но приделать её можно за час максимум - если еще кому-то нужно, черкните - сделаю в следующем релизе без малейших проблем. Единственное но - это склонения. Их не будет. Приделывать морфологический анализ задача не из простейших. Поэтому в словаре те слова что могут склоняться должны быть склоненными заранее в необходимом числе вариантов.
Александр Хмелев
16 февраля 2009, 04:16

№ 3Да будем жить

Вот, это, Вадим, Вы молодца.
Какой нафиг кризис. Надо жить и делать дальше то, что умеем, и то что пока приносит деньги.
vg
16 февраля 2009, 06:05

№ 4Без темы

Очень послушная и юзабельная зверушка, быстро разобрался в макросах. Спасибо!
Dimox
16 февраля 2009, 21:26

№ 5Супер, но. ..

Не помню, когда появилась у меня данная софтина, видимо по рассылке софта на который был подписан когда-то :)

Игрался, но без видеороликов многое было не понятно, отсмотрев их сейчас, проникся, так сказать, за что большой респект автору программы и Мастеру, продвигающему ее в массы.

Если провести аналогии с продуктами Вадима (портатор, сплог) и даже с софтом из "Сделать сайт за 600 секунд." на порядок все круче и как отмечено, нет привязки к определенному движку.

Отсюда вопросы:

1. Будет ли работать с nano-CMS?
2. Если просто отредактировать файлик на канал "Finam.fm.zip" представленный Мастером Lasto, на иной ресурс, будет ли работоспособен такой вариант?
3. Синонимизация - "rus" end "eng" пойдет отдельнным плагином или будет встроен в единый файл программы, без возможности саморедактирования?
4. И самое главное. Процесс автоматизации сбора и публикования контента в производственных масштабах. Не приведет ли это к санкциям поисковиков за появление множества клонов? Будет ли это стихийное бедствие регулироваться автором с помощью ценовой политики, на мой взгляд, сегодня, цена на предлагаемый софт, явно занижена?
На задаваемые тут вопросы автор зверушки обязался периодически отвечать. Я окажу в этом плане посильную помощь, опуская то, что решать не вправе. Но по остальным квесченам думаю, что так:

1. В Нанке нет админки.
Формально это лишь движок для более сложных.
Но только выложенный в паблик в чистом виде.

2. Каждый сайт требует написания своего комплекта макросов.
Недаром указана аналогия между Ночным Бдуном и Портатором.
В первом - макросы, во втором - они же, но в виде регулярок.
То и другое индивидуально для каждого донора.

4. За ценовую политику пинать надо только Мастера Ласто.
Возможно, даже с разбега, и обувшись в говнодавы поувесистее.
Само собой, зверушка недооценена, причём как минимум вдвое.

Ну и надо понимать, что функции сосания контента в неоплаченной версии тоже не должно быть - по идее, весь функционал должен быть наглухо закрыт пин-кодом.

Вся эта халявность и подвижка по цене - только для изучения спроса, и понимания, в какую сторону надо грести при развитии функционала. Рекогносцировка на местности.

Что касается SE, то всякий владелец ГС, как угодно синонимизированных и отрерайченных, изучив весьма несложный синтаксис запросов Гугла в плане копошения в его основном и вспомогательном индексах, легко убедится, что критерием является вовсе не какая-то там уникальность контента, или наличие\отсутствие кучки жирных ссылок на морду. Про всякие там шинглы вообще молчу- теория шинглов это вообще отвлекающий маневр.

Впору говорить о таком параметре, как ценность контента - это, блин, хоть кому-то надо, или таки третьестепенная хрень?

Понятно, что для Яндекса всё намного проще - именно поэтому у нас есть куча разных "специалистов" и "экспертов" по Яндексу, и ни одного по Гуглу.

Потому как Гугл давно оперирует ДРУГИМИ категориями. И ему плевать на ваш копипаст, синонимизацию, рандомизацию, рерайтинг и копирайтинг в совокупности и поотдельности. Если Ваш сайт про хрень всякую, конкретно с Гугла будет ноль трафика.

По аналогии.

Можете как угодно облагородить придурка - нарядить его солидным господином, нацепить на нос модные очки, помыть-причесать, возить на дорогой машине, красивую девку в сопровождение приставить. Придурок он и есть придурок - после первой же беседы это станет явно видно. Если в голове пусто, а жопе детство, то такой человек никому не интересен.

Чтобы это установить, Гуглу достаточно пару недель времени и от 5 до 10 килохитов SE трафика.
gordi
17 февраля 2009, 05:12

№ 7Ответы на вопросы.

>> Синонимизация - "rus" end "eng" пойдет отдельнным плагином или будет встроен в единый файл программы, без возможности саморедактирования?

Я в синонимизацию и перелинковку не верю, но я не спец в сео, поэтому могу сделать как скажете - на десктоповом софте это делается очень легко (но без морфологии). Сейчас имею пяток пожеланий дабы была совместимость с произвольным текстовым словарем (видимо нужен такой же подход как у Вадима в сплогах). Работаю. Будет. Скоро.

>> И самое главное. Процесс автоматизации сбора и публикования контента в производственных масштабах...

Глядя на Рунет мне его не жаль. Нельзя засрАть зАсраное ;-) и уж подавно Платону не перебрать голыми руками ту массу бесполезных сущностей которыми завален Рунет. А вот правообладатели могут наехать. И закон уже имеется почти. Поэтому бэки "по материалам" - обязательно нужны.

Цена на софт будет конечно прогрессирующей, если продукт будет востребован. Ну скажем так: увеличение на 5% после каждого десятка продаж. Ну или около того. Кто раньше встал того и тапки.
Александр Хмелев
17 февраля 2009, 11:22

№ 8Без темы

Пока не щупал, сонно мне. Но напоминает это связку portator+сигнатура на rss+yahoo pipes. Скажите мне, что я не прав - как проснусь, приду с баблом :)
rtyom
17 февраля 2009, 17:08

№ 9Без темы

Можно ли перед публикацией пропустить статью через свой скрипт. Очень бы хотелось.
Да на здоровье.
Все файлики отстортированы по папочкам, и лежат в

C:\Documents and Settings\Тут_Ваш_Юзер\Application Data\Dozor\

все такие из себя беззащитные...
Делайте с ними что хотите.
forest
17 февраля 2009, 19:15

№ 11Для 9

Коль возникают такие вопросы нужно внести некоторую ясность.
Ночной Дозор (ну или Бдун) предназначен для облегчения будней людей, которые массово занимаются сайтостроением. После настройки он может разбрасывать новости так же спокойно как он их собирает. Прямо как в афоризме про камни. При этом веб мастер между сбором и раскидыванием может:
1) Отрерайтить нужные статьи руками.
2) Добавить свои статьи.
Далее в момент сабмита:
3) Ничего не рерайтить а выложить зазеркаленную копию на говоносайт (когда их сотни - это тоже работает)
4) Сининимизировать Wordом
5) Синонимизировать своим словарем (тестирование уже завершается)
6) Добавить свою рекламу и ссылки
7) Использовать автоматическую перелинковку.
8) Ничего вообще не делать, а просто изучать возможности и перспективы (такое тоже возможно).
Короче, софт предназначен, чтобы мастер не отвлекался на технические нюансы, а просто делал (или не делал) контент уникальным. Система для МАССОВОГО применения. В изучении довольно проста. Спецзнаний не нужно (хватит общего понимания HTML).
Простейший вариант. Покупаете сотню доменов. Регистрируете 100 сайтов на том же юкозе в разных зонах (чтобы не покупать хостинг). Привинчиваете 100 доменов в этим сайтам. Создаете рубрики. Настраиваете постинг. Первый сайт настроете часа за 3-4 остальные по аналогии гораздо быстрее. На все уйдет дня два-три. У вас фактически сетка из 100 белых сайтов.
Далее, все что хотите. Каталоги, сапа, реклама и пр. Уменьшенный пример такой сетки виден в видеоролике про публикацию - я сам эту сетку не оживляю никак. Не раскручиваю и вообще ничего не делаю. Но денежку она приносит, что очень меня удивляет и забавляет.
Можно и НЕ покупать домены, а просто наклепать юкозных сайтов миллион. Риск угона сайтов в этом случае полностью Ваш.
Есть Друпалы Ждумлы Вордпрессы и пр. Их тоже можно использовать. В общем понятно, что смущает цена. Она слишком низкая. Но это просто потому что я уважаю этот блог, его автора и его читателей.
Сейчас софт неизвестен массам (его платная часть - точно). Если пойти туда где "палят темы", то софт разорвут на мелкие части, сделают миллиард сайтов и сапостроению конец. Кто знает, может зарядить такое для "войти в историю Рунета" будет прикольно ;-). Посмотрим... А пока как говорится спешите успеть.
Александр Хмелев
17 февраля 2009, 20:04

№ 12Вопрос автору Бдуна

Программа эта, судя по тому, что отображается в окне "Ход загрузки", для получения ссылок обращается к своему сайту alensoft.com. Например,
можно ввести в баузере такую строку (из лога программы):
alensoft.com
- и получим список ссылок этой ленты.
Таким образом:
Во-первых, автор знает обо всех телодвижениях пользователей Бдуна (Большой Брат, тсть),
Во-вторых, можно бесплатно получать список ссылок по любому URL
А вопрос такой: получается, что если к сайту автора нет доступа, то и Бдун оказывается неработоспособным ?
Sasha
Навигатор: 01 02 03 04 05 06
Комментарии к этой заметке больше не принимаются.
Все заметки категории «Софт от Мастера Ласто»