COMPAREX AG
IT-Monitoring leicht gemacht: Wie sich mit Elastic Stack Daten-Mengen einfach analysieren lassen (Header)

IT-Monitoring leicht gemacht: Wie sich mit Elastic Stack Daten-Mengen einfach analysieren lassen

Beim IT-Monitoring gilt es, große Mengen unterschiedlich strukturierter Daten zu überwachen und zu analysieren. Dies ist aufgrund der Komplexität vielfach mit Schwierigkeiten verbunden. Dieser Beitrag erklärt, wie eine Open-Source-Technologie wie Elastic Stack und speziell dessen Suche das IT-Monitoring vereinfacht, eine Echtzeit-Systemüberwachung ermöglicht und durch die Ableitung von warnenden Signalen auch präventiv eingesetzt werden kann.

Ein Blogbeitrag von Dimitri Marx, Elastic Senior Principal Solutions Architect

Logs, Metriken und Traces: Die drei Säulen des IT-Monitorings

Fast die gesamte IT-Infrastruktur und Software produziert eine Form einfacher Logs, Metriken und Traces. Logs zeichnen alle Ereignisse eines Systems auf: Log-ins, Benutzerinteraktionen, Transaktionen, Fehler und Systemausfälle. So entsteht eine umfassende, diskrete Aktivitätenliste.

Metriken manchmal spricht man auch von Telemetriedaten bilden dagegen einen stetigen Strom numerischer Werte von überwachten Komponenten wie Prozessor-, Speicher- und Festplattenauslastung, Netzwerk- und Speicheraktivität in den Systemen oder Transaktionszeiten und Abschlussquoten in Anwendungen.

Traces entstehen direkt in den jeweiligen Anwendungen wie z. B. ein E-Commerce-Shop oder eine Geschäftsanwendung geschrieben in Java, Go oder einer anderen Programmiersprache. Traces enthalten Informationen über die Leistungsfähigkeit der Anwendung auf einer sehr granularen Ebene wie z. B. Methoden, Funktionen, Exceptions oder Abfragen in einer Datenbank. Entwickler lieben Traces, da sie damit unter der Haube einer Anwendung in Nahezu-Echtzeit hineinsehen und eventuelle Probleme noch schneller beheben können.

Der Geschäftsvorteil liegt klar auf der Hand: Schnellere Behebung der Probleme in der Entwicklungsphase, aber auch insbesondere im Produktivbetrieb. Man denke da an niedrigere Kosten für den Betrieb, die kürzeren Zeiten für die Ursachenbehebung und die Steigerung der Kundenzufriedenheit.

Die Schwierigkeiten beim Monitoren von Logs, Metriken und Traces

Als wäre es nicht schon genug, dass sich Logs als textbasierte Aufzeichnungen von Ereignissen, wesentlich von Metriken als fortlaufende numerische Daten (Zeitreihen) und von Traces als Aufzeichnung der Funktions-, Methoden- oder Datenbankaufrufe in einer Anwendung unterscheiden: Noch komplizierter wird es, wenn Systeme diese Daten jeweils in eigenen Spezialformaten erzeugen. Diese Unterschiede bei Formatierung und Datenstruktur waren einer der Hauptgründe dafür, dass Daten aus unterschiedlichen Quellen, trotz ihres Bezugs auf derselben Infrastruktur bzw. denselben Anwendungen, separat verarbeitet und in verschiedenen Systemen gespeichert und analysiert wurden.

Bisher mussten sich Administratoren oder Entwickler, die mitten in der Nacht zu einem Systemausfall gerufen wurden, manuell durch Milliarden und manchmal sogar Billionen unterschiedlich formatierter Texteinträge in Logdateien kämpfen, bevor sie die Ursache eines Problems fanden. In komplexen und voneinander abhängigen Umgebungen wurde dieses Problem durch den Mangel eines einheitlichen Formats bei verschiedenen Infrastrukturquellen und -anwendungen verschärft. Man denke auch an die Dynamik und Herausforderungen der heutzutage beliebten Containerorchestrierung mit z. B. Kubernetes und Docker.

Wie Elastic Stack das IT-Monitoring deutllich vereinfacht

Leichtes Suchen und Finden von Logdateien durch Indizierung der Logs

Die Administratoren und Entwickler wurden die ersten Anwender, die Open-Source-Suchtechnologien wie Elastic Stack im großen Maßstab einsetzten. Die Indizierung der Logs von mehreren Systemen war der perfekte Anwendungsfall zur Analyse unterschiedlich strukturierter Texte im Petabyte-Maßstab. Benutzer fanden wichtige Logdateien in Sekundenschnelle.

Allerdings mussten die Querverweise der Metriken (die Auswirkungen auf das System angeben) und zu den zugrundeliegenden Logs oder ggf. Traces immer noch manuell vom Administrator und manchmal Entwickler hergestellt werden. Diejenigen, die mutig genug waren oder ausreichend Zeit hatten, entwickelten sogar ihre eigenen Benutzeroberflächen, um spezielle Instanzen von Logdaten, Metriken oder Traces aus verschiedenen Anwendungen zusammenzuführen.

Schnelles Indizieren, Speichern und Analysieren

Je weiter sich die Suchtechnik entwickelte, desto besser wurden auch die Plattformen: Neue und verbesserte Funktionen zum Importieren, Indizieren, Speichern und Analysieren numerischer und zeitbasierender Daten kamen auf. Diese Fortschritte eröffneten schließlich die Möglichkeit, sämtliche Daten unabhängig von ihrer Quelle in derselben Anwendung schnell und einfach zu analysieren.

Aussagekräftige Übersichten zu Interaktionen zwischen Hard- und Software

Bei kombinierter Betrachtung haben Logs, Metriken und Traces das Potenzial, eine unvergleichliche Übersicht der komplexen Interaktionen zwischen Hardware- und Software-Plattformen, Anwendungen und Benutzern in jeder Umgebung zu liefern. Administratoren und Entwicklern stehen umfassende Informationen zur Analyse zur Verfügung, mit denen sie die Performance optimieren, die Effizienz steigern und Ausfallursachen präzise feststellen können.
 
 IT-Monitoring mit Elastic Stack: Abbildung 1: Beispiel eines Kibana Dashboards mit der Anzeige der Kundenaktivitäten und Umsätze in Echtzeit. Quelle: Elastic Stack
Abbildung 1: Beispiel eines Kibana Dashboards mit der Anzeige der Kundenaktivitäten und Umsätze in Echtzeit. Quelle: Elastic Stack

Von schnellerer Reaktion zu Vorhersage und Prävention

Mit der Suche als einheitlichem Speicher können Administratoren und Entwickler nicht nur Anomalien finden und Ursachen schneller ermitteln. Jetzt wird es möglich, große Mengen historischer Daten zu modellieren und zu analysieren – und zwar nicht nur, um aus vergangenen Ausfällen zu lernen – sondern um Muster, Trends, Vorläufer und warnende Signale zu erkennen.

Durch die Modellierung dieser Trends kann die Suche als Plattform zur Echtzeit- Systemüberwachung und -Benachrichtigung verwendet werden, die bereits vor dem Systemausfall Warnungen sendet. Ergänzen wir diese Modelle noch um maschinelles Lernen, können wir sie nicht nur schneller entwickeln, sondern auch wesentlich präziser machen.
 
 IT-Monitoring mit Elastic Stack: Abbildung 2: Beispiel eines Kibana Dashboards für Erkennung von Anomalien im System- und Benutzerverhalten. Quelle: Elastic Stack
Abbildung 2: Beispiel eines Kibana Dashboards für Erkennung von Anomalien im System- und Benutzerverhalten. Quelle: Elastic Stack

Logs, Metriken und Traces sind nicht mehr nur die Grundlage, um akute Probleme zu finden, sondern werden zu wichtigen Werkzeugen bei der Optimierung von Hardware, Software und sogar Geschäftsprozessen.

IT-Monitoring mit Elastic Stack: Beispiel eines Kibana Dashboards für Error Impact Analyse. Quelle: Elastic Stack

Abbildung 3: Beispiel eines Kibana Dashboards für Error Impact Analyse. Quelle: Elastic Stack

So lassen sich Vorteile für das Unternehmen aus der Systemanalyse gewinnen

Aber die Kapazität, alle Daten auf einer flexiblen Plattform zu speichern, zu überwachen und zu analysieren, ist inzwischen weit über einfache Resilienz- und Effizienzsteigerung im Rechenzentrum hinausgewachsen.

Viele herkömmliche Systeme für Log-, Metriken und Tracesanalyse basieren auf relationalen Datenbanktechnologien. Anwendungen wurden für die Analyse spezifischer Beziehungen entwickelt und die Benutzer waren auf vordefinierte Datenstrukturen beschränkt. Im Gegensatz dazu können Benutzer Daten, die in Elasticsearch gespeichert sind, nach Belieben aufteilen und gruppieren. So entstand die Möglichkeit, neue Beziehungen und Korrelationen schnell zu erforschen, wie wir uns diese vorstellen konnten.

Diese neu entdeckte Freiheit gab nicht nur IT-Systemadministratoren und Entwicklern die Möglichkeit, von der Problemlösung zur Systemoptimierung zu wechseln: Sie hat eine neue, noch wichtigere Rolle für die Log-, Metriken und Tracesanalyse im gesamten Unternehmen eröffnet.

Durch die feingranulare Darstellung der Interaktionen von Benutzern mit IT-Systemen und Anwendungen zeigen die kombinierten Daten auch in Echtzeit, wie Kunden, Interessenten, Lieferanten, Partner und Angestellte mit den Geschäftsabläufen interagieren. So wird die Analyse der IT-Betriebsdaten immer mehr zum essentiellen Werkzeug für die Analyse, Modellierung und Überwachung menschlichen Verhaltens und für die Geschäftsprozessoptimierung.

Sie wünschen sich weitere Informationen zu Elastic Stack?

Sie möchten mehr zum IT-Monitoring mit Elastic Stack erfahren oder sich individuell beraten lassen? Kein Problem. Kontaktieren Sie unsere Expertin Kathrin Seifert.

E-Mail: Kathrin.Seifert@comparex.de

Telefon: 0341-2568158

Diesen Artikel teilen

Artikel vom:
30.10.2018

geschrieben von:

TAGS:
Elastic Stack, Monitoring, Open Source

Thema:

Kommentieren sie diesen Artikel...

© COMPAREX AG
Zurück nach oben