Hauptinhalt

Hochperformante Ereignisverarbeitung auf moderner Hardware

Der technologische Fortschritt hat die Art und Weise, wie Daten empfangen, gespeichert und abgefragt werden, grundlegend verändert. In neuen Anwendungsszenarien wie dem Internet der Dinge (IoT), e-Science und Industrie 4.0 sind traditionelle Datenbanksysteme aufgrund von neuen Anforderungen nur noch bedingt einsetzbar. Daten, die aus diesen Anwendungen stammen, werden in der Regel kontinuierlich produziert, und besitzen von Natur aus eine zeitliche Komponente. Anfragen auf diesen Daten können kontinuierlich laufen und erfordern Resultate in (nahezu) Echtzeit, um gefährliche Situationen zu vermeiden.

Eine der wichtigsten Technologien, welche in Szenarien mit obigen Anforderungen zum Einsatz kommt, ist die komplexe Ereignisverarbeitung, auch Complex Event Processing (CEP) genannt. CEP-Systeme sind dazu in der Lage, komplexe Anfragen auf Datenströmen mit zeitlichen Komponenten durch leistungsstarke Operatoren wie z.B. Musteranfrangen zu beantworten. Beispielsweise können CEP-Anfragen im Bereich IoT verwendet werden, um Muster zu spezifizieren, die komplizierte Ereignisse wie Alarme beschreiben. Das System ist dazu in der Lage, Alaramereignisse auf kontinuierlichen Datenströmen mit geringen Verarbeitungslatenzen zu identifizieren. Somit eignet sich CEP insbesondere für die Erstellung von latenz-kritischen Komponenten.

Durch die wachsende Verbreitung der oben genannten Applikationen, entsteht ein zunehmend größerer Bedarf komplexere Anwendungsfälle mit CEP zu lösen. Neben der schnellen Verarbeitung von aktuellen Daten, ist inbesondere das Wechselspiel mit historischen Daten von großem Interesse - z.B. für adaptive Anfragen, zum Testen neuer Anfrageparameter und zur Analyse von Situationen, welche über einen längeren Zeitraum andauern. Die effiziente Umsetzung solcher Anfragen unter Berücksichtigung der bestehenden Anforderungen an kontinuierlichen und schnellen Reaktionen stellt eine große Herausforderung dar. Neuartige Co-Prozessoren wie GPUs bieten jedoch die Möglichkeit, den Durchsatz für eine Vielzahl von Datenstrom-Anwendungen zu erhöhen. Darüber hinaus bieten Fortschritte in modernen Speichertechnologien wie SSDs ein großes Potenzial, um eine große Menge an Daten nicht nur zu speichern, sondern auch effizient zu indexieren.

Um die effiziente Realisierung von neuartigen CEP-Anwendungen zu ermöglichen, entwickeln wir ein System, das sowohl die geringe Latenz von Complex Event Processing als auch den hohen Durchsatz von historischer (Ereignis-)Datenanalyse ermöglicht. Unser zentrales Forschungsziel ist es, beide Anforderungen durch die folgenden Maßnahmen zu kombinieren:

  • Die Einführung des Situationskalkulums in die Welt von CEP, um eine native langfristige Ereignisanalyse zu ermöglichen.
  • Die Entwicklung neuer Verarbeitungsstrategien für unsere Ergeignisdatenbanksystem (ChronicleDB), um historische Daten für die Echtzeitverarbeitung zu nutzen.
  • Die Integration moderner Hardware (GPUs, SSDs) in ein CEP-System zur Steigerung der Verarbeitungseffizienz.
  • Die Erforschung neuartiger CEP-Technologien durch die Entwicklung von Prototypen in einem reaktiven Infrastruktur-Monitoring-Szenario bei der Europäischen Organisation für Kernforschung (CERN). 

Im Rahmen einer großen Forschungsinitiative zum Thema Skalierbares Datenmanagement für zukünftige Hardware (DFG-Schwerpunktprogramm 2037) erschließen wir auch weitere, verwandte Forschungsmöglichkeiten, welche über die oben genannten Ziele hinausgehen.

Mitarbeiter

Weitere Information

  • Publikationen

    Michael Körber, Nikolaus Glombiewski, Andreas Morgen, Bernhard Seeger:
    TPStream: low-latency and high-throughput temporal pattern matching on event streams.
    Distributed and Parallel Databases (2019): 1-52.

    Christian Beilschmidt, Johannes Drönner, Nikolaus Glombiewski, Christian Heigele, Jana Holznigenkemper, Anna Isenberg, Michael Körber, Michael Mattig, Andreas Morgen, Bernhard Seeger:
    Pretty Fly for a VAT GUI: Visualizing Event Patterns for Flight Data.
    DEBS 2019: 224-227

    Michael Körber, Jakob Eckstein, Nikolaus Glombiewski, Bernhard Seeger:
    Event Stream Processing on Heterogeneous System Architecture.
    DaMoN 2019: 3:1-3:10

    Nikolaus Glombiewski, Bernhard Seeger, Goetz Graefe:
    Waves of Misery After Index Creation.
    BTW 2019: 77-96

    Michael Körber, Nikolaus Glombiewski, Bernhard Seeger:
    TPStream: Low-Latency Temporal Pattern Matching on Event Streams.
    EDBT 2018: 313-324

Weiterführende Links