Схема сбора данных

Общая схема сбора данных выглядит следующим образом- у нас есть стек для анализа данных - ELK и есть сервис Filebeat для сбора логов.

Поясню каждый блок: Filebeat. В сети может находится различное количество сервисов, с которых необходимо собирать данные и сервис Filebeat является провайдером логов для сервиса Logstash. Сайт Filebeat: Filebeat | Lightweight Shipper for Log Data

Logstash Данные сервис принимает логи, применяет к ним некоторую трансформацию согласно тем правилам, которые ты заложил и далее передает в elastic- в нашем случае, но может и писать просто на жесткий диск. Сайт Logstash: Logstash | Collect, Enrich & Transport Data

ElasticSearch Получает данные от Logstash и каким то образом организует хранение этих данных, возможность поиска по ним.

Kibana Веб-интерфейс к elasticsearch, который позволит делать запросы, создать необходимый анализ и все что душе угодно.