Эффект сотой обезьяны, или вновь об импорте контента.

Как Вы могли уже заметить, авторствующий тут Мастер Ласто немного неравнодушен к ВебДваНольнутым технологиям. Но в отличие от коллег, усвоивших только одну довольно простую процедуру- найти подходящую RSS ленту и тупо красть с неё всё подряд на свой сайт, настоящий Мастер должен сразу наложить вето на такой незамысловатый подход.


По идее.


Причину вето можно и не называть- и так понятно, что многократно и всеми подряд растиражированные новости держать ещё и на своём сайте не имеет никакого смысла. Контент должен быть по возможности эксклюзивным, и уж если что-то откуда-то и тащить, то статьи целиком и прямо с сайта. Процедура парсинга сайта не всем покоряется, и пока не является массовой. А потому на этом поле ещё можно успешно играть довольно длительное время.


Баловство же с новостями и RSS лентами приводит к тому, что все ВебДваНольнутые сайты тематически повторяют друг друга. Ткните пальцем в любую так называемую социальную сеть, и там будет примерно то же самое, что и на соседней социалке.


Но. Иногда сайту ну никак не обойтись без новостийной ленты. Причин может быть много, от надуманных до совершенно объективных, не о них разговор. Просто воспримем как данность- вебмастер должен породить некую новостийную ленту (построить дом, посадить дерево, ага). А как?


Мы уже высказали хулу сграбленными с RSS новостям. Мы прекрасно понимаем, что и куча сервисов класса «наши новости на вашем сайте» тоже непригодны к использованию, так как, во-первых, базируются главным образом на JavaScript, который абсолютно не индексируется искалкой и далеко не всегда поддерживается браузером серфера, а во-вторых, Вы никак не можете влиять на импортируемый в ленту новостей контент. Всё, что делают эти дармовые ленты новостей, так это тянут Ваших посетителей на сайт поставщика услуги. Ну так такая у них работа, такая уж в них идея изначально и закладывалась.


Возможно, читая эти строки, Вы уже готовы задать себе вопрос- а КАК тогда формировать ленту новостей?


Задайте лучше этот вопрос мне. А я сформулирую ряд постулатов:


    1. Из соображений SEO Ваша лента новостей должна присутствовать на странице сайта в виде статичного HTML кода. Никакого Джава Скрипта, никакого Аякса и прочих высоких технологий- это, как указывалось выше, не индексируется в поиске вообще никак, и не обязано поддерживаться браузером посетителя. А старый дедовский HTML – то, что доктор прописал.

    2. Вы должны легко и просто определять вид любого элемента ленты новостей, сохраняя стиль своей страницы. Это очень важно. Иначе нарисуется картина маслом про корову и седло. И кто из них будет сверху, даже не понятно- возможна та ещё порнуха.

    3. В ленте не должно быть левых линков- только текст и ссылка на источник.

    4. Картинки приветствуются- с ними веселее жить.

    5. Как это ни покажется странным, но и тематика ленты новостей на каждой конкретной странице Вашего сайта должна регулироваться отдельно. В соответствии с темой этого раздельчика сайта. И регулироваться в широчайших пределах- от материалов про Дану Борисову до рассказа про спортзалы для нудистов. А ну-ка попробуйте сходу найти что-то готовое про то и другое.

    6. Количество таких эксклюзивных лент новостей в пределах сайта не должно ограничиваться ничем.

    7. Язык и подборка источников информации Вам тоже должны покоряться. Как минимум на русском и английском, с выдачей контента в соответствующей кодировке, в том числе и UTF-8. С подстройкой под сайт.

    8. Всё это должно как-то сопрягаться с движками. Например, Блога, Портатора и CMS от Мастера Ласто. Чисто для примера и пользы дела.

Теперь, когда важнейшие постулаты сформулированы, пусть и утомительным казённым языком, жить сразу стало как-то легче. Потому что мы, глядя на то или иное решение или предложение, сразу можем вынести вердикт, не пойти ли ему тотчас нафиг.


Только вот не удивляйтесь, что нафиг пойдёт абсолютно всё. Ну да сами прикиньте, какая шняжечка с ярлычком «наши новости у вас на сайте» удовлетворяет всем пунктам постулатов. А особенно пятому пункту. Который пресловутый и самый хитрый.


Мне известно только одно место, способное порадовать вебмастера ВебДваНольнутого сайта сбычей всех его мечт- понятно, что это сам Гугл. Коль уж он дерет контент с 400 онлайновых русскоязычных изданий и хрен его знает скольких англоязычных, то пускай сам же и пишет рефераты на заданную тему. С картинками.


Ну а поскольку мы тоже истинные фанаты ВебДваНольнутости, то сами изобретать почти ничего и не будем. Ну так, совсем небольшой разве что парсер. Можно и без него, но тогда не удовлетворятся первые три пункта постулатов. А их лучше держать удовлетворёнными.


Итак.


Вы можете вслед за мной сходить в Гугл, и порыться в нём- много чего сыщется. А можете сразу уйти на рекомендуемый мною сайт simplepie.org и позаимствовать там ихний «A PHP-Based RSS and Atom Feed Framework». Любой путь хорош, а наличие небольшого знания РНР в области регулярных выражений позволит Вам легко сконструировать тулзу по выемке дайджестов новостей прямо с news-серверов Гугла и в почти готовом виде. Так, немножко посолить-поперчить, сбрызнуть соусом, и готово.


Для тех, кому простой путь представляется трудным, спешу облегчить жизнь. В шопе Мастера Ласто в разделе импорта контента имеется лот «Гугловый Референт», прибегать к которому ведающим PHP малость зазорно. Ибо это классическая задача, порешав которую самостоятельно, вебмастеру положено быть счастливым целую неделю. Не лишайте себя вполне заслуженного счастья.


Я тоже веселился минут двадцать, скармливая «Гугловому Референту» различные темы. В том числе про Дану Борисову и нудистов, буде уж они всуе упомянуты в Постулатах. А ежели юзать английский язык, то и вообще шикарно- совершенно реально засунуть в ту же нано-CMS полста страничек с родственными тематиками, и породить шикарнейший многостраничный тематический дор, который, блин, ещё и будет сам обновляться. Всего-то для этого надо измыслить полста кейвордов.


Сходите по ссылочкам, поприкалывайтесь. Потому что вебмастеринг на самом деле- это вовсе не та нудятина, от которой уши сначала вянут, а потом и вовсе в трубочку сворачиваются. Вебмастеринг- это очень весело и полезно. Ежели по науке и под чутким руководством :)


Оборудуйте свой сайт правильной новостийной лентой, порадуйте своих посетителей не тем, что где-то вспыхнуло- упало- разбилось, а тем, что полезно знать, приятно видеть, и в струю. А уж серфер не забудет к Вам дорогу :)


Ну а я укажу на партизанскую тропу: офис Гуглового Референта


25 марта 2007, 10:02
№ 1Всходы
Вот такое получается, когда идейные семена попадают на плодородную почву, появляются всходы в Ластодоткомовской обёртке. Теперь нужно взрастить их, а затем снимать урожай.
Повеселило, когда по ключевому слову, имеющему много значений, подбираются и нетематические новости. Для коньяка 'Хеннеси' подобрались люди с такими же фамилиями. Русский язык ещё хитрее.
25 марта 2007, 10:32
№ 2Шайтан...:
Вы новое делаете быстрее, чем я успеваю освоить. Спасибо, Вадим, дождаться не мог, пока вы эту полезность сделаете. Купил, прикрутил, работает...
26 марта 2007, 01:01
№ 3Без темы
А почему показываются только последние новости? Старые не сохраняются? Гугл же не радуется исчезающему контенту.
И можно ещё улучшить релевантность новостийника, пихнув к нему туда поиск из этого блога. Получим самые релевантные запросу новости из всех релевантных :)
26 марта 2007, 04:40
№ 4re: Без темы
Угу, сохранение - это гут. И побольше слов в анонсе - тоже гут. Или количество слов настраивается, как в портаторе?
Но в остальном - крайне полезная вещь.
27 марта 2007, 07:04
№ 5re: Всходы
Редко чего комментирую, в этом блоге ажж второй разз, но все ухищрения Вадима на "Banzai" приветствую...
Даже лишь по той причине, что я технократ (со всеми вытекающими последствиями). :)
И приветствую Zend. Не всем дано, не всем и дают...
Хотя с изучением PHP вышла маленькая заминка. Похоже, лучший учебник по сей премудрости есть от Lasto/ (??comment?) т.е. придется еще сразу и с Зендом побороться. Буде чем убить время. Причем, убить ПРИЯТНО... Для тех, кто понимает...(?):)
http://atiin.net.ru/
vladimir
28 марта 2007, 14:35
№ 6Без темы
Вадим, хорошо пишите, постоянно вас читаю. А что касается описываемой идеи - все правильно. Вот только для таких целей есть куда более продвинутый софт. Если интересно, могу поделиться в частном порядке и софтом и опытом использования.
http://gutorov.ru
bitaly
29 марта 2007, 09:35
№ 7Чревато. ..
Однако огорчили правила пользования службой новостей Гугла на
Link
Условия пользования Службой. Вы можете использовать содержание Службы в личных (т.е. некоммерческих) целях и не должны копировать, воспроизводить, изменять, вносить поправки, публиковать какие-либо материалы или создавать производные продукты на их основе. Например, запрещается пользоваться Службой для продажи продукта или услуги, увеличения трафика веб-сайта в коммерческих целях, таких как показ рекламы; запрещается изменять формат результатов Службы и отображать их или использовать программы-роботы, "пауки" или другие средства или вручную отслеживать или копировать какие-либо материалы, предоставляемые в рамках Службы. Если Вы не уверены в законности предполагаемого использования Службы, обратитесь к нам. Также компания Google имеет право приостановить или прекратить существование Службы или Ваш доступ к ней по своему усмотрению.
Вот и выходит, что читать гуглоновости можно, а использовать на сайте низзззя...
Быть может, Мастер Ласто "договориться" с Гуглом и всем объявит результат :)
klin
30 марта 2007, 14:14
№ 8re: Чревато
>Вот и выходит, что читать гуглоновости можно, а использовать на сайте >низзззя...
Хм, логично вы говорите, немедленно охватился я тревогой...
Вадим, а действительно - как быть с правилами?
30 марта 2007, 23:24
№ 9без темы
Это соглашение последний раз редактировалось в 2005. Да и вообще, кто их читает. Надоело. Доры нельзя, использовать новостную ленту в коммерческих целях нельзя, то нельзя. А что можно то? Главное дружить с клиентом и умными веб-мастерами, а с остальными(гуглом например)- стратегия кардинала Ришелье самое оно. Раньше поначитавшись сказок про доры боялся их как огня. Сейчас юзаю и жизнь стала веселее.
denis
30 марта 2007, 23:51
№ 10re2: Чревато...
Немного не логично получается.
Скажем, есть 400 онлайн-изданий. Наших, рашевых.
Гугл их парсит, облагая тем самым налогом на новости в свою пользу и совершенно безд-возд-мезд-но. Всё по Вини-Пуху.
Кстати, на этой почве регулярно огребается судебными исками.
А потом- бац, и это встало под копирайты Гугла.
Ну и кто получился хозяин контента?
Как-то со здравым смыслом тут плохо.
Контент сначала был Гуглом присвоен, а потом узурпирован.
Лихо?
Ну а чтоб уважаемые пользователи Гуглового Референта не охватывались особой тревогой, я обязуюсь каждому покупателю этой тулзы бесплатно предоставить надстройку к Стахановскому Портатору, позволяющую таскать инфу с любой RSS ленты, (да хоть с сотни лент сразу), и поступать далее с инфой так, как Стахановец обучен. Прототип родился только вчера, временно лежит в lasto.com/exp/d/ и условно присосан к нескольким первым попавшимся под руку Ласто-блогам (ссылки отключены- это всего лишь тест).
Ласто
31 марта 2007, 01:31
№ 11re3: Чревато
Вы удивительно сдержанный человек, Вадим. Нелогично получается не немного, на мой взгляд, а вовсе даже весьма. И большая наглость со стороны Гугля. Дескать, что твое - то наше, а что мое - то не твое.
Вот только разумные люди уступают дорогу трамваю не только из вежливости.
Поэтому да, референта, как это ни жалко, придется кирдыкнуть, а жаль - он мне очень глянулся. Поэтому прекратив охватываться тревогой пойду охватываться печалью по невинно убиенному.
31 марта 2007, 16:46
№ 12Косвенно по теме
На этой неделе в рассылке Фёста опубликованы "замечательные" новости:
"Google поменяет систему контекстной рекламы
Компания Google тестирует новую систему контекстной рекламы. По новым правилам, рекламодатель платит только в том случае, если после перехода по рекламной ссылке пользователь зарегистрировался в рекламируемом сервисе, заполнил анкету или приобрел продукцию фирмы, сообщает The New York Times.
Нынешние системы онлайн-рекламы подразумевают оплату каждого показа баннера или перехода по ссылке на сайт рекламодателя, независимо от того, получил ли тот прибыль от такой рекламы.
Рекламодатели с энтузиазмом восприняли идею Google. Во-первых, такая система позволит сэкономить на онлайн-рекламе, поскольку компаниям не придется платить за объявления, не дающие финансовой прибыли. А во-вторых, новая система уменьшает риск генерации фальшивых показов рекламы с подставных адресов.
lenta.ru"
В связи с этим возникают резонные опасения, насколько выгодно после таких изменений размещать у себя контекстную рекламу. Мало ли насколько хорош рекламный текст у рекламодателя.
Да и непонятно, как адсенс будет определять, что произошла продажа или регистрация? Не будет же рекламодатель сам вручную подтверждать это.
Похоже, нужно будет притаиться на время и понаблюдать, что произойдет. Потому как последствия малопредсказуемы.
Хотя я новичок в этих делах. Может, у кого есть более компетентное мнение?
01 апреля 2007, 00:30
№ 13Это не косвенно по теме, это конкретная тема.
Вряд ли адсенс будет убит с заменой на эту систему- вебмастера тупо уйдут к Яхе, практически в полном составе. Там есть аналог АдСенса.
И кому будет хуже?
Следовательно, возникнет параллельная система.
Понятно, что рекламодатели переметнутся туда.
Некоторая часть их.
Но не забываем, что есть такая штука, как конверсия сайта по трафу.
Скажем, если конверсия сайта равна проценту, то есть каждый сотый целевой посетитель приносит прямой доход, то рекламодатель просто обязан платить "в действие" вебмастеру столько же, сколько в сто кликов через АдСенс.
Иначе никому рекламирование этого сайта будет не интересно- снижение доходности для вебмастера автоматически уводит его к конкуренту (Яхе).
Ну а если владельцу сайта все равно, через какую систему выплачивать те же самые деньги, то, честно говоря, совершенно не вижу тут повода для энтузиазма рекламодателей.
Ну и не забываем, что адсенс адсенсом, а любой хиленький сайтик, заточенный под фида (с оплатой за то самое действие) приносит в 10 раз больше дохода при в 10 раз меньшем поисковом трафе этого хиленького сайта (оттуда берется целевой посетитель). И никакая прослойка в виде рекламного брокера тут не нужна- учимся вебмастерствовать, как испокон веку повелось.
Ласто
03 апреля 2007, 01:22
№ 14re2: Чревато - о сдержанном слове.
Всем приобретателям Гуглового Референта разосланы приглашения на получение этого: Link в виде дара.
На этом акция по раздаче симпатичной тулзы (имя ей ещё не придумано) прекращается.
Буду просто счастлив, если дарёная тулза Вам пригодится и понравится.
Временно она живет в lasto.com/exp/a/ для посмотреть-понажимать.
Ласто
04 апреля 2007, 10:31
№ 15о сдержанном слове
Спасибо за подарок !!!
Если честно, то я и тему до конца не дочитал, и, приобретая референта, подарков не ждал.
Пока только опробовал малость в действии, и вижу в тулзе ентой большую пользу не только по прямому назначению, т.к. толковых RSS каналов (с длиной сообщения больше 50 слов) не так уж и много.
Главная фишка в том, что теперь можно совсем без заморочек делать кучу доров на свой-же портатор или блог.
Здорово!!!
04 апреля 2007, 14:45
№ 16Пояснения к о сдержанном слове
Странно, но моё короткое сообщение вызвало довольно большой интерес. Я получил уже несколько писем с вопросами, вот одно из них- наиболее интересное:
" Добрый вечер, Александр.
По поводу вашего комментария. Вы говорите что можно использовать скрипт в качестве дора на свой сайт. Возникает вопрос, каким образом? Ведь ссылки ленте идут на главную страницу, а не на статью на сайте? Разве в подобном есть смысл?
Разъясните, если сможете. Спасибо. "
Ссылки с ленты ведут туда, куда в шаблоне RSS указано, ("читать полность") ведёт на статью, да и в авторском блоке уже не сайт той-же Ферры указан, а Ваш портатор, к Ферре (в данном примере) подключенный.
Что имеем: парсим в один портатор сколь угодно рубрик со сколь угодно (ну или сколько есть подходящих сигнатур) статей, новостей.
А уже с этого сайта разбираем на другие узкотематические.
Получается, что ссылки со всех будут вести в туда, где голова, а не прямиком на доноров.
Кто мешает обвешать эту голову по внутренним страницам своими-же линками, чтобы весь Пиар донорам не утекал?
05 апреля 2007, 11:10
№ 17Не понимаю
Не понимаю вашей озабоченности - господа!
В Референте, в анонсах, стоят прямые ссылки на статьи и ни коим образом
не видно, что статьи спарсены с гуглового сервиса.
Каким образом апрув может указать на то, что эти статьи собраны с их новостных каналов? Что они дубли - это и козе понятно.
Или я не прав?
07 апреля 2007, 06:15
№ 18контент воруй у тех, кому доверяешь
"Кто мешает обвешать эту голову по внутренним страницам своими-же линками, чтобы весь Пиар донорам не утекал?"
Хотите взять ответственность за содержание статей на себя или распиарить собственную свалку второсортных артиклей?
Мне сегодня с англоязычного портатора прилетела жалоба и требования убрать одну статью, фрагмент которой был украден ещё до меня. Советовали сделать это быстро, чтобы вдруг моему адсенс-аккаунту не оказаться в числе забаненных за нарушение копирайтинга. Осторожнее надо обращаться с чужим контентом, тем более англоязычным.
Может уважаемый Вадим чего посоветует - как быть в таких ситуациях?
А мы заранее ему спасибо скажем.
07 апреля 2007, 12:39
№ 19скажет, куда денется.
Начинаем привыкать к мысли, что уворовывание результатов труда написателя буковок есть такое же нарушения прав на интеллектуальную собственность, как юзание пиратской винды. И за то и за другое легко штаны спустят и будут долго и трепетно делать ататат.
И не говорите, что вам на это сначала выхухоль, а потом похухоль.
До поры до времени.
Поэтому если где берёте абзац текста, непременно ставьте линк прямо на ту страницу, откуда взято. На цитирование никто не обидится, а плагиат жутко раздражает и доводит до греха.
Абсолютно любая вебдванольнутая тулза в процессе синдикации контента ОБЯЗАНА линковаться на источник. Без вариантов.
И тогда к тулзе не будет никаких претензий.
К сожалению, в Раше даже совершенно очевидные вещи не понимаются правильно. И долго ещё не будут пониматься. Потому что две беды- ну да про них слышали...
В данном случае процитированную Портатором статью с невалидным авторством надо или удалять, или редактировать автора, как просят.
Тоже без вариантов.
Ласто
07 апреля 2007, 13:31
№ 20контент воруй у тех, кому доверяешь
Всё же ссылки на первоисточник нужно ставить, тогда никаких претензий не будет. И что значит пиар донарам не утекал? Чтобы совсем не утекал, нужно свои статьи писать. А как по другому? А так, на чужом горбу, да за бесплатно видимо не получится.
denis
10 апреля 2007, 08:42
№ 21Ссылки на источник
Поэтому если где берёте абзац текста, непременно ставьте линк прямо на ту страницу, откуда взято."
Давайте рассмотрим конкретный пример: /exp/a/exler/
Здесь используется лента feeds.feedburner.com/exler/. Получается что со статьи на нашем сайте имеется одна ссылка "source:feeds.feedburner.com", которая вообще не имеет отношения к конкретной ленте "exler". Как быть с такой несправедливостью? Ведь Экслер обидется, а ведь все мы не любим обижать наших добрых доноров!
mouseower to comment Вообще-то стандартно в структуре ленты положено иметь специальный перманент-линк, конкретно указывающий на источник (не урл самой ленты, а сайт поддержки). Но, к сожалению, в Раше почему-то перманентно на мерманент-линк забивают. Посему, не мудрствуя лукаво, ставится бэк на домен сайта. Это побуждает держать RSS ленты на собственном сайте, а не на непонятном сервисе.
Хорошо, если в тексте статьи встречается ссылка на непосредственно источник, иначе - нужно иметь ссылку на саму статью либо не использовать этот ресурс вообще.
mouseower to comment Верно. Наблюдая, как растаскиваются статьи этого блога в разные помойки текстов, чаще всего в автоматическом режиме, а изредка и руками, тоже пришёл к мысли а необходимости тупо линковаться на другие посты блога. Ясное дело, что при ручном дралове все эти линки выдираются, но это уж фатальный случай- присвоение чужого контента. Когда-нибудь Гугл за это будет опускать конкретно.
"И тогда к тулзе не будет никаких претензий" :)
И еще... если использовать несколько rss ленты типа news.google.com/news?q=word&output=rss с разным word'ом, то работать будет только одна, т.к. при идентификации ленты отбрасывается все после '?'. Можно ли заставить портатор различать эти ленты?
mouseower to comment Над тем надо подумать. Но, глядя в /exp/a/guglovoe-world/news_2007-04-10-10-31-36-610 .html, решительно не понимаю, какой с того прок. Куча левых ссылок и предложение текста. Ладно, Гугловый Референт бы это профессионально почикал, убив ссылки. А в таком-то виде это зачем и кому нужно?
И спасибо за тулзу, Вадим! Ненарадуюсь!
10 апреля 2007, 14:27
№ 22Линки на первоисточники
У меня получился казус,есть у меня один англоязычный портатор,так вот получил я письмо от владельца одной статьи,где он сказал,что-бы я указал линк на его сайт,хоть он был и указан как автор и ссылочка была указана откуда была взята статья так нет,подавай линк ему на его сайт.
Так вот пришлось дело поправить,и ответить ему в обратную,что мол всё исправленно.
11 апреля 2007, 12:38
№ 23Без темы
Не совсем понял- раздача прекращена совсем? Имеется в виду "присадка" рсс лент для покупателей референта? А то в больнице лежал- почитать блог не было просто возможности...
http://millionseuro.eu
12 апреля 2007, 07:12
№ 24Без темы
А я в больнице не лежал, но на один день опоздал... Акция по раздаче была окончена :(, о чем мастер конкретно заявил.
18 мая 2007, 01:18
№ 25Без темы
Насчет того, как гугл узнает, что с него сдернуты новости. И почему он может быть против. Ответ - хотя бы из-за картинок, относящихся к этой новости. Вот это не самая удачная идея.
Иван
Адрес заметки: http://lasto.com/blog/post_1174818962.html
Ваш комментарий к статье



cod


Примечание:
Обязательные для заполнения поля помечены карандашом
email при указании не будет опубликован.
Адреса с http:// преобразуются в ссылки автоматически
Теги запрещены

Рейтинг популярности - на эти заметки чаще всего ссылаются:

март, 2007
пн вт ср чт пт сб вс
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31