Архитектура для непрерывного извлечения знаний из социальных сетей

Аннотация

Социальные сети уже давно играют неотъемлемую роль в повседневной жизни людей. Вся наша жизнь в реальном мире фиксируется и в цифровом пространстве. Cоциальные медиа и взаимодействующие с ними сети стали местом огромных возможностей для анализа данных. Их влияние на повседневную жизнь охватывает такие разные области, как цифровой маркетинг, анализ общественного мнения, мониторинг политической ситуации и уведомления о стихийных бедствиях. Любая задача обработки такого большого потока данных нуждается в целостной архитектуре, которая будет соответствовать анализируемому ресурсу. В представленной работе мы поставили перед собой задачу создать высоконагруженную, отказоустойчивую, масштабируемую систему для извлечения и обработки данных из различных социальных сетей и анализа данных в реальном времени. Решением выступает архитектура в виде комплекса модулей. Модули имеют свои особенности в зависимости от выполняемой работы, от сбора текстовых данных до непосредственной обработки и извлечения знаний.