Wenn wir über Event Stream Processing sprechen, sprechen wir oft von sog. Message Brokern. Diese Systeme werden in der Praxis für den schnellen Datentransport eingesetzt wo klassische Batchsysteme zu langsam sind. Vor allem bei großen Datenmengen sind Message Broker Systeme unabdingbar. Im Gespräch mit dem Kunden sagen wir meist: Der Message Broker dient uns als Datenquelle mit einem Connector für SAS ESP, in der wir die Daten im Stream analytisch aufbereiten und an graphische Publishingsysteme wie VA weitergeben.
Doch was genau ist der Message Broker und für was ist er da?
Zunächst hat der Message Broker als Middle Ware die Aufgabe, Nachrichten zu empfangen und an einen oder mehrere Empfänger weiterzuleiten. Nachrichten können Mails aber auch Informationen von Sensoren, Telematikinformationen oder sonstige Daten sein. Dabei passt er das Nachrichtenformat an die jeweiligen Empfängersysteme an. Das hat den Vorteil, dass im Netz ein “Vermittler” etabliert wird, der ankommende Nachrichten zentral verteilt und diese dabei in die Sprache der Empfänger übersetzt. Die klassische Peer-to-Peer-Verbindung wird aufgelöst zugunsten eines Starschemas.
Folgende Aufgaben hat ein Message Broker:
– Empfang und Versand von Nachrichten nach einem Regelwerk
– Übersetzung des Nachrichtenformates des Senders in ein oder mehrere Nachrichtenformate des oder der Empfänger (Mail, Database, File, etc.)
– Verbindet heterogene Systeme
– Sorgt für effiziente Nachrichtenvermittlung (priosierbare Nachrichtenverarbeitung)
– Skalierbarkeit der Nachrichtenvermittlung
– Quality of Service (Sicherstellung des Betriebs und Fail over Scenarien)
Nun gibt es nicht “den” Message Broker. Meist in der Open Source Gemeinde angesiedelte Broker Systeme haben alle die gleiche Aufgabe, lösen diese aber sehr unterschiedlich. Auch die Frage, “welche Nachrichten und vor allem auf welche Art sollen die Nachrichten transportiert werden” sowie “gibt es Datenmanagementaufgaben”, ist Auschlag gebend für die Entscheidung für ein Messaging System. Standards gibt es kaum.
Die von SAS ESP unterstützten Systeme sind:
– IBM WebSphere MQ
– RabbitMQ open source messaging software
– Solace appliance messaging systems
– Tervela appliance messaging systems
– Tibco RendezVous
– Axeda
– OSIsoft PI
Die Unterstützung für Apache Kafka und MQTT wird in diesem Jahr kommen.
Für das Thema Internet of Things werden die von SAS unterstützten Message Broker am häufigsten eingesetzt. Die multiblen Einsatzmöglichkeiten decken einen Großteil der Anforderungen bei Steuerungs- und Messsensorik ab. Aber auch für zeitsensible Börsen- und Bankingdaten werden diese Messagebroker eingesetzt.
Weitere Infos finden Sie hier:
Internet of Things, Event Stream Processing
