Elk (Elasticsearch Logstash Kibana)
Übersicht
Filebeat
Filebeat schickt per Beats-Protokoll Datenströme an einen bestimmen Port auf dem Logstash-Server. Filebeat kann theoretisch direkt an Elasticsearch ausliefern, was in der Konfiguration die Voreinstellung ist. Oder Filebeat verschickt seine Daten an Logstash.
Logstash
Logstash verarbeitet und normalisiert Logdateien. Die Anwendung zieht ihre Informationen aus unterschiedlichen Datenquellen, die Benutzer als Input-Module definieren. Quellen können beispielsweise Datenströme von Syslog oder Protokolldateien sein. In einem zweiten Schritt verarbeiten Filter-Plugins die Daten nach Benutzervorgaben weiter.
Elasticsearch
Elasticsearch ist in Java implementiert und basiert auf Apache Lucene, einer extrem leistungsfähigen Volltext-Suchmaschine, deren Funktionen über ein REST-API bereitstehen. Alle Texte, Dokumente genannt, indexiert Elasticsearch automatisch.
Kibana
Kibana erzeugt aus den Elasticsearch-Daten ansprechende Darstellungen und Berichte. Diese werden auf einem Webserver dargestellt.
Installation
- apt -y install default-jre
- wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
- echo "deb https://artifacts.elastic.co/packages/6.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-6.x.list
- apt update
- apt -y install elasticsearch kibana logstash default-jre geoip-database filebeat
Anpassungen
- /etc/kibana/kibana.yml
server.port: 5601 server.host: "0.0.0.0"
Systemd Services
- systemctl daemon-reload
- systemctl enable kibana.service
- systemctl enable elasticsearch.service
- systemctl enable logstash.service
Links
- https://www.howtoforge.com/tutorial/suricata-with-elk-and-web-front-ends-on-ubuntu-bionic-beaver-1804-lts/
- https://www.linux-magazin.de/ausgaben/2016/02/elk-stack/
- https://www.elastic.co/guide/en/elastic-stack/current/installing-elastic-stack.html
- https://www.elastic.co/blog/use-elk-display-security-datasources-iptables-kippo-honeypot
- https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Apx-GrokPatterns/GrokPatterns_title.html