Как все мы помним, некоторое время тому назад в руководящих структурах нашей страны огромной вдруг заговорили о намерении таки создать государственный поисковик. Который, в отличие от других ныне действующих, будет максимально кошерным. Что конкретно тут подразумевается под кошерностью, оговорено не было. Но, как мы понимаем, или хотя бы догадываемся, именно та самая пресловутая кошерность и является причиной создания новой поисковой системы. Потом…Поисковый сервис Спутник подал первые признаки жизни. О плотности трафика
Самые популярные товары с Али по лучшей цене:
Мужские носки, 5 пар за 458 руб.
Поляризационные очки-хамелеоны в машину 1300 руб.
Зарядное устройство USB Quick Charge3, 4 порта 200 руб.
06 ноября 2013, 17:00
Поисковый сервис Спутник подал первые признаки жизни.
Как все мы помним, некоторое время тому назад в руководящих структурах нашей страны огромной вдруг заговорили о намерении таки создать государственный поисковик. Который, в отличие от других ныне действующих, будет максимально кошерным. Что конкретно тут подразумевается под кошерностью, оговорено не было. Но, как мы понимаем, или хотя бы догадываемся, именно та самая пресловутая кошерность и является причиной создания новой поисковой системы. Потом…10 ноября 2013, 07:16
Как замшелый консерватор, обнаружил нового бота не в статмодуле, коего просто нет, а в логах Апача, где периодически (под настроение и с удовольствием) роюсь. Пока можно отнести слова о плотности трафика лишь к числу скачиваемых за один сеанс страниц - в этом отношении трафик действительно плотный. Паузы между запросами были в пределах 2-3 секунд, что позволяет одобрить манеры бота и отнести его все же к цивилизованным.
Но это частные примеры нескольких сайтов с файловым хранением данных на движке собственного пошива, который спокойно терпит и визиты школоты, стремящейся "скачать всё в 10 потоков без пауз и прочих реверансов".
Прервал написание - вытащил лог тяжелого проекта - там vBulletin на выделенном сервере, в логе на любую секунду приходится по 10-15 строк. Там бот вел себя полегче, между запросами паузы в 3-6 сек. То есть, адаптивность в наличии, время получения страницы явно учитывает и регулирует паузы. Словом, не Вебальта.
Адрес в первом случае тоже 109.207.13.41 (сайтики у хостеров-на-Хетцнере). Во втором случае бот ходит с 109.207.13.21 (сервер на московской площадке FirstDedic).
Только хочется добавить, что бот хоть и цивилизованный (что не факт, может, просто читает и учитывает "Crawl-delay" в роботсе - а уберите эту запись, что, интересно, будет?), но несколько, скажем так, не сообразительный. Ходит по одним и тем же документам практически по кругу, и имеет интенсивность визитов поболее, чем у роботов Гугла и Яндекса. Причём в разы.