Аннотация

Аннотация: Регулярный сбор публикаций из открытых источников массовой информации осложнён неоднородностью их программных интерфейсов, изменчивостью разметки страниц и необходимостью подтверждать происхождение и неизменность накопленного корпуса. Цель работы – спроектировать и экспериментально проверить архитектуру приложения, в которой подключение источника не затрагивает программное ядро, полнота периодического опроса лент контролируется при переменной интенсивности публикаций, а состояние собранного корпуса допускает последующую проверку. Приложение построено из крупных функциональных модулей, взаимодействие которых организовано через брокер сообщений с устойчивой доставкой «не менее одного раза» (at-least-once). Для хранения оперативного состояния используется распределённый кэш. Описание источника учитывается по версиям и применяется при повторном разборе сохранённых ответов. Глубина периодического опроса ленты определяется перекрытием окон публикаций, а проверка состояния корпуса выполняется по дереву Меркла и подписанным контрольным точкам. Приложение сопоставлено со Scrapy при одинаковой степени параллелизма: для конфигураций с одним–восемью исполнителями отношение средних пропускных способностей находилось в пределах 1,70–2,00. После управляемого изменения структуры сохранённых HTML двух новостных ресурсов повторный разбор восстановил значения ранее извлекавшихся полей. Новых HTTP-запросов для этого не потребовалось. В каждом из трёх отказных эпизодов все документы были сохранены, устойчивые дубликаты отсутствовали. Для дерева из миллиона записей путь включения занимал в среднем 640 байт; его проверка выполнялась за 24,50 мкс. Эти результаты характеризуют испытанную реализацию в условиях одноузлового стенда.