Intelligente Schnittstellen für Analoge Dinge - Semantische Technologien und Mixed Reality machen versteckte Abhängigkeiten sichtbar

Simon Mayer und Kay Römer

Komponenten in industriellen Anlagen stehen miteinander in einer Vielzahl von physischen und virtuellen Abhängigkeiten. Wir stellen ein System vor, welches diese Abhängigkeiten – physischer, funktionaler, virtueller und regulativer Natur sowie bezüglich des Laufzeitverhaltens einer Komponente – für Anwender intuitiv sichtbar macht und ihnen ermöglicht, Abfragen zu den Komponenten und ihren Interaktionen und Interdependenzen zu stellen. Die vorgestellte Herangehensweise und unsere Prototypen basieren auf relationalen Informationsmodellen, die diese Informationen für Nutzerschnittstellen aufbereiten und einfach zugänglich machen sowie einer Mixed Reality Schnittstelle, um Abhängigkeiten zwischen Komponenten sowie Abfrageresultate zu visualisieren. Dabei eignet sich unser Ansatz nicht nur für bereits digitalisierte „schlaue“ Komponenten, sondern auch für „dumme“ Gegenstände wie Böden, Ablageplatten und -fächer, ihren Materialien und die bearbeiteten Werkstücke selbst.

Von Fräsmaschinen und Robotern in industriellen Fertigungsanlagen bis hin zu Transformatoren im Smart Grid und Gebäudeautomatisierungssystemen – einzelne Geräte und ganze Systeme im industriellen Sektor enthalten virtuelle und physische Komponenten, welche miteinander in einer Vielzahl von Abhängigkeiten stehen: Komponenten sind miteinander physisch verbunden, was die Übertragung von physischen Phänomenen wie zum Beispiel Vibrationen nach sich zieht; sie sind durch ihr Laufzeitverhalten (z. B. Kommunikation) und auch virtuell assoziiert, zum Beispiel weil verschiedene Komponenten in demselben industriellen Prozess angesprochen werden – Änderungen in einer Komponente könnten in diesem Fall Auswirkungen auf weitere Komponenten haben; regulatorische Abhängigkeiten ergeben sich beispielsweise zwischen allen Gebäudebereichen, welche durch Rauchmelder abgedeckt sein müssen; schließlich bestehen funktionale Abhängigkeiten zwischen Komponenten – dies könnte implizieren, dass eine Komponente bestimmte Aufgaben einer anderen Komponente übernehmen könnte, falls diese servicebedingt oder prozessbedingt ausfällt [1]. Derlei Abhängigkeiten bestehen nicht nur zwischen integrierten und zunehmend digitalisierten „high-tech“ Komponenten, wie zum Beispiel Fertigungsrobotern – noch viel häufiger treffen wir auf Interdependenzen zwischen „dummen“ Gegenständen wie zum Beispiel einfachen Komponenten einer Werkzeugmaschine, Werkflächen wie Böden, Ablageplatten und -fächern sowie den bearbeiteten Werkstücken selbst! Während solcherlei Abhängigkeiten mit der zunehmenden digitalen Integration von industriellen Komponenten und Prozessen weiter zunehmen, fassen auch neue Interaktionstechnologien für die Kommunikation zwischen Menschen und Maschinen langsam Fuß in industriellen Anwendungen – insbesondere zielen diese Technologien heute auf die Assistenz und Effizienzsteigerung von manuellen Produktionsprozessen ab, indem zum Beispiel automatisch aus Tiefendaten gewonnene Erkenntnisse (z. B. über den aktuellen Arbeitsschritt eines Arbeiters) durch ein System verarbeitet werden (z. B., um den darauffolgenden Schritt zu bestimmen) und Nutzern – oft über Projected Mixed Reality Schnittstellen – eine digitale Assistenz für manuelle Tätigkeiten bereitgestellt wird [2].

Sofern eine Zielkomponente mit den entsprechenden Diensten in der Automatisierungspyramide – zum Beispiel dem MES oder ERP System – verschaltet ist, existieren bereits heute durch Softwareanwendungen bereitgestellte Schnittstellen, welche Anwendern wie Anlagenführern und Maschinenbedienern erlauben, auf strukturelle Informationen über Industriekomponenten zuzugreifen und diese sogar auf einem Desktopcomputer oder einer tragbaren Einheit zu visualisieren – statische Informationen, wie zum Beispiel über die strukturelle Verbundenheit von Komponenten, liegen dagegen oft in Form von physischer Dokumentation, zum Beispiel als gedruckte Werksnormen, vor. Dies betriff t insbesondere einfache „low-tech“ Komponenten – die oben genannten Werkfl ächen ebenso wie beispielsweise Material- oder Werkstückschlitten. An Informationen über diese Komponenten zu kommen ist aus diesem Grund oft zeitaufwendig und die Informationen liegen üblicherweise nicht vor Ort vor, was insbesondere bei der Bewältigung von Störungen vorteilhaft wäre. Der Informationsgewinnungsprozess ist zudem fehleranfällig, weil die benutzten Backends oft nicht miteinander integriert sind – dies trifft insbesondere auf „Brownfield-Projekte“ zu, wo Informationen aus dem Setup- und aus (Re)Konfi gurationsprozessen schwer zugänglich sein können, oder ein Zugriff  auf benötigte Informationen sogar ganz und gar ausgeschlossen ist (z. B. aufgrund von veralteten Protokollen, verlorener Dokumentation oder Personaländerungen).
Idealerweise würden in einer industriellen Anlage sämtliche Informationen über eine Komponente – Informationen physischer, funktionaler, virtueller und regulativer Natur sowie zu ihrem Verhalten – bereits während des Anlagenengineerings erfasst, in einem maschinenlesbaren Format abgelegt und in einer gemeinsamen Infrastruktur zusammengeführt werden. Dies kann zum Beispiel mittels Onboarding-Schnittstellen (wie zum Beispiel im Fall der Siemens MindSphere-Plattform) oder über dedizierte Softwarewerkzeuge (siehe z. B. [3]) erfolgen. Diese Informationen sollten Operatoren der Anlage außerdem über eine intuitive Schnittstelle jederzeit und vor Ort zur Verfügung gestellt werden. Dies nicht nur, um Werkern zu ermöglichen, effizient an Informationen über die Anlage zu kommen, sondern auch, um die Anlage vor Ort über ihr vergangenes und zukünftiges Verhalten und über Abhängigkeiten zwischen ihren Komponenten befragen zu können. Abfragen über das zukünftige Verhalten einer Anlage sind dabei besonders relevant im Zusammenhang mit immer dynamischeren „Smart Factories“, in welchen Maschinen und Menschen nicht nach statischen, manuell erstellten Plänen zusammenarbeiten, sondern wo Planungssoftware über die Fähigkeiten dieser Agenten Bescheid weiß und diese zur Laufzeit zu integrierten Ablaufplänen zusammenstellt. Während wir speziell von dieser Entwicklung einen großen ökonomischen Nutzen erwarten – etwa eine deutliche Rüstzeitreduktion, welche die Massenproduktion von individualisierten Produkten ermöglicht – zieht autonomeres Verhalten von Industrieanlagen auch einige Herausforderungen nach sich, speziell bezüglich Arbeitssicherheit (z. B. aufgrund von Anlagen welche sich schwer vorhersagbar bewegen) und Nachvollziehbarkeit (z. B. um das Verhalten eines Systems zu Instandhaltungszwecken zu verstehen) sowie aus psychologischen Gründen: Operatoren müssen die Übersicht und Kontrolle über das Verhalten eines Systems behalten – anderenfalls erwarten wir große Probleme hinsichtlich der Akzeptanz von dynamischen industriellen Systemen; dasselbe Argument gilt selbstverständlich auch im „Smart Home“ Kontext [4, 5]. Sollten jedoch keine angemessenen Lösungen für diese Aspekte bereitgestellt werden, erwarten wir, dass sie den breiteren Einsatz von „Smarten Umgebungen“ in industriellen Szenarien und darüber hinaus – trotz der erwarteten positiven ökonomischen Auswirkungen – nachhaltig behindern werden.
 


Bild 1: Im vorgestellten Ansatz werden physische, funktionale und regulative Abhängigkeiten zwischen
industriellen Komponenten sowie zwischen den Komponenten ausgetauschte Nachrichten erfasst und
Benutzer können dem System nichttriviale Fragen über diese Abhängigkeiten stellen – Antworten
werden per Mixed Reality im Sichtfeld der Benutzer visualisiert.

Holographische Visualisierung von Abhängigkeiten zwischen industriellen Komponenten

Über die letzten Jahre haben wir ein System entwickelt (siehe [5, 6]), welches es Benutzern erlaubt, industriellen Anlagen auf intuitive Weise nichttriviale Fragen über die aufgeführten Abhängigkeiten ihrer Komponenten zu stellen. Die Antworten auf diese Fragen werden vor Ort per Microsoft HoloLens direkt im Sichtfeld des Benutzers anzeigt bzw. per Mixed Reality direkt auf der realen Anlage visuell überlagert (Bild 1). Mit unserem System funktioniert dies insbesondere auch für passive – „dumme“ – Komponenten, über die zwar entsprechend nutzbare Informationen vorliegen, die selbst jedoch nicht, oder nicht direkt, digital angebunden sind. Unser System wurde prototypisch für zwei Beispielszenarien umgesetzt: Es unterstützt die Visualisierung der Echtzeit-Kommunikation zwischen Komponenten eines Industrieautomatisierungssystems (siehe Abschnitt HoloMiracle: Strukturell-Funktionale Abfragen an Industrielle Anlagen) sowie Abfragen zu strukturell/funktionalen Zusammenhängen zwischen Komponenten in Fertigungslinien (siehe Abschnitt HoloInteractions: „Versteckte“ Kommunikation zwischen Komponenten) – konkret erlaubt dies einem Benutzer, eine bestimmte Komponente einer Anlage auszuwählen und dem System per Spracheingabe Fragen zu dieser Komponente zu stellen, zum Beispiel über die strukturelle Verbundenheit der Komponente.
Unser Prototyp basiert auf Informationen über Zusammenhänge von industriellen Komponenten welche in relationalen Informationsmodellen (Ontologien) in einer Datenverwaltungsinfrastruktur gespeichert sind [7]. Wir verfügen also über eine Möglichkeit, eine Vielzahl an verschiedenen Eigenschaften und Abhängigkeiten zwischen Komponenten mittels „digitaler Zwillinge“ dieser Komponenten in relationalen Informationsmodellen zu replizieren und über diese Modelle zur Laufzeit komplexe Abfragen laufen zu lassen.
Der Zugriff  auf diese Ontologien durch die HoloLens erfolgt über Web-Schnittstellen („REST“), welche von der Infrastruktur zur Verfügung gestellt werden. Über diese Schnittstellen können Frontends auf parametrisierte SPARQL Abfragen („SPARQL Templates“) zugreifen, welche gemeinsam mit den Komponenteninformationen in der Infrastruktur abgelegt sind. SPARQL (ein rekursives Akronym für „SPARQL Protocol And RDF Query Language“) ist eine graphenbasierte Abfragesprache, welche standardmäßig zusammen mit relationalen Datenbanken verwendet wird. Jedes dieser SPARQL Templates entspricht dabei einem bestimmten Typ Abfrage, der vom Informationsmodell unterstützt wird. Die konkrete Abfrage wird zur Laufzeit aus dem Template erzeugt, wobei zur Parametrisierung verbale Eingaben des Benutzers verwendet werden. Die von den Ontologien gelieferten Antworten auf Benutzeranfragen werden von der HoloLens den verschiedenen im Sichtfeld befi ndlichen Komponenten zugeordnet und entsprechend visualisiert – beispielsweise werden Komponenten entsprechend der Anfrage farblich markiert oder es werden Abhängigkeiten zwischen Komponenten über Bézierkurven dargestellt. Unser System unterstützt dabei die Darstellung der digitalen Zwillinge der Komponenten unabhängig von den physischen Komponenten – also als „Virtual Reality“ Hologramme – als auch die Überlagerung der Antworten auf eine Abfrage über den physischen Komponenten im echten Mixed-Reality-Modus. Es ist für unser System in diesem Fall unerheblich, wie die 3D Positionen der physischen Komponenten zur Verfügung gestellt werden: Diese können zum Beispiel über ein Trackingsystem gewonnen oder bestimmten Komponenten über die Informationsmodelle statisch zugeordnet werden.
Im Folgenden illustrieren wir die Funktionsweise des erstellten Systems in zwei konkreten Anwendungen: In der ersten Anwendung, die wir als „HoloMiracle“ bezeichnen, zeigen wir, wie strukturelle Abhängigkeiten von „dummen“ Materialien beschrieben und angezeigt werden können und wie diese Beschreibungen zusammen mit sogenannten Funktionalen Profi len von Sensorknoten noch tiefere Abfragen ermöglichen. In der zweiten Anwendung, „HoloInteractions“, zeigen wir, wie mit derselben Herangehensweise Echtzeitinteraktionen zwischen Komponenten visualisiert werden können.
 


Bild 2: Das HoloMiracle System stellt Antworten auf Benutzerfragen visuell per Mixed Reality dar. Links: Darstellung aller Annäherungssensoren des Modells einer Fahrzeugmontagelinie; Rechts: Darstellung aller mit der ausgewählten Komponente strukturell verbundenen Teile. Die Darstellung kann dabei sowohl unabhängig von den tatsächlichen Komponenten („Virtual Reality Modus“) als auch als Überlagerung über den physischen Bestandteilen einer Anlage erfolgen („Mixed Reality Modus“).

HoloMiracle: Strukturell-Funktionale Abfragen an Industrielle Anlagen

HoloMiracle ermöglicht es Anwendern, Abfragen an „dumme“ Materialien zu stellen, um zu verstehen, in welchem strukturellen Zusammenhang sie stehen und welche physischen Phänomene zwischen den Materialien übertragen werden. HoloMiracle verbindet diese In
formationen zudem mit funktionalen Profi len von Sensoren, welche mit den Komponenten verbunden sind.
Konkret haben wir als Anwendungsszenario für das HoloMiracle-System in Zusammenarbeit mit einem weltweit führenderen Logistikautomatisierungsanbieter die Interaktion mit einem einfachen Modell einer Fahrzeugmontagelinie gewählt. In diesem Fall greift HoloMiracle auf den digitalen Zwilling der Montagelinie zurück und reproduziert seine Komponenten (z. B. die Gleitschiene, den Schlitten, Motoren, Antriebs- und Führungsräder, Sensoren etc.) im Sichtfeld des Benutzers (Bild 2). Über die dem digitalen Zwilling zugeordneten Ontologien kann das System auf die räumlichen Abmessungen der Komponenten sowie auf ihre funktionalen Eigenschaften und Abhängigkeiten zugreifen und ein Benutzer kann per Cursor- und Sprachsteuerung mit ihnen interagieren und Fragen stellen – dies ist in ähnlicher Form auch im Mixed Reality Modus möglich, indem der Anwender die konkreten physischen Komponenten der Anlage selektiert. Die Fragen des Anwenders werden als nächstes in SPARQL-Anfragen übersetzt und durch das zugrundeliegende Informationsmodell aufgelöst. Hierbei ist die Komplexität der Benutzerfragen nur durch den Detailgrad des Informationsmodells beschränkt: Beispielsweise kann ein Benutzer einfache Abfragen wie „Zeige alle Annäherungssensoren an“ stellen (Bild 2, links) oder eine bestimmte Komponente auswählen und das System um die Anzeige aller direkt mit der ausgewählten Komponente verbundenen Komponenten bitten (Bild 2, rechts). Basierend auf den erfassten strukturellen Abhängigkeiten zwischen Komponenten und ihren funktionalen Eigenschaften sind auch tiefergehende Abfragen möglich: Der Benutzer wählt eine bestimmte Komponente und fragt „Zeige alle Sensoren an, welche in Frage kommen, um Vibrationen der ausgewählten Komponente zu messen“. Basierend auf den Informationsmodellen und den darin abgelegten Daten über die physische Verbundenheit der Komponenten, Modellen zur Vibrationsübertragung über diese Schnittstellen und den funktionalen Profi len der Sensoren kann das System diese Abfrage aufl ösen und würde als Antwort auf am System angebrachte Beschleunigungssensoren verweisen.
 


Bild 3: Das HoloInteractions System visualisiert „versteckte“ Kommunikation zwischen Komponenten. Links: Darstellung von HTTP Nachrichten zwischen industriellen Komponenten und einer zentralen Steuereinheit; Rechts: Eine WebSockets-Verbindung zum UR5 Leichtbauroboter wird als Strom von blauen Bläschen dargestellt.

HoloInteractions: „Versteckte“ Kommunikation zwischen Komponenten

Zusätzlich zu SPARQL-basierten Abfragen über Komponenten und ihre Abhängigkeiten unterstützt unser System auch die Visualisierung von Nachrichtenverkehr zwischen industriellen Komponenten. Wie schon für HoloMiracle müssen auch in HoloInteractions die Komponenten selbst nicht direkt digital erfasst werden – es ist vielmehr ausreichend, wenn die Möglichkeit besteht, Informationen über ihren Nachrichtenverkehr mit ihren digitalen Zwillingen zusammenzuführen. In unserem System geschieht dies wiederum mittels der erwähnten Informationsmodelle, welche durch ein im lokalen Netz ausgebrachtes Softwareprogramm gespeist werden, das die Kommunikation zwischen Netzknoten automatisch protokolliert.
Als Anwendungsszenario für dieses System wurde eine prototypische Fertigungszelle in einer Laborumgebung gewählt. Diese Zelle umfasst einen Universal Robots Leichtbauroboter (LBR) mit einer Robot Operating System (ROS) Schnittstelle, einen einfachen fi schertechnik Roboter (getrieben durch eine Siemens S7300 SPS) und eine Microsoft Kinect Sensorleiste. Diese Geräte können in unserem Aufbau fl exibel verschaltet werden und gemeinsam nutzerdefi nierte Fertigungsziele erreichen (für nähere Informationen siehe [1]). Im hier demonstrierten einfachen Szenario wird dem System als Ziel vorgegeben, dass der Roboter ein Werkstück greifen und anheben soll. Um dies zu erreichen, instruiert das System die Kinect, eine Datenverbindung zum LBR aufzubauen, die Echtzeitposition des Werkstücks festzustellen und zum LBR zu streamen. Als nächstes wird der LBR vom System angewiesen, das Werkstück an der von der Kinect erhaltenen Position aufzugreifen.
HoloInteractions visualisiert in diesem Beispiel die zwischen den Komponenten ausgetauschten Nachrichten – sowohl die Anweisungen des Systems an die verschiedenen Komponenten als auch Interaktionen zwischen den Komponenten, wie den Datenstrom von der Kinect zum LBR – als auf Beziérkurven zwischen den Komponenten schwebende Blasen. In Bild 3 entspricht jede dieser Blasen einer Anfrage oder Antwort über das aus dem World Wide Web bekannte HTTP Protokoll und der Datenstrom zwischen der Kinect und dem LBR wird als Strom von blauen Bläschen dargestellt.
 

Fazit

Wir erwarten, dass die vorgestellte Herangehensweise und die beiden gezeigten Machbarkeitsstudien dazu beitragen können, die Interaktion von Anwendern mit Komponenten einer industriellen Anlage natürlicher und effi  zienter zu gestalten, indem es vor Ort direkte Abfragen an Anlagenteile, Betriebsmittel und Werkstücke ermöglicht und Antworten direkt im Sichtfeld des Nutzers visualisiert. Dabei sollten Mitarbeiter idealerweise nur mit einer einzigen Frontend-Anwendung interagieren, welche Zugriff  auf viele verschiedene, relational verbundene, Informationsquellen hat und den Zugriff  auf diese Quellen je nach Mitarbeiter und Situation mediiert. Insbesondere besteht in unseren Augen großes Potenzial bezüglich zeitsparenderer Anlagenüberprüfungen im Rahmen von Instandhaltungsprozessen sowie speziell durch die Fähigkeit des Systems, vor Ort strukturelle Abhängigkeiten mit Gerätefunktionen zu verbinden, zum Beispiel um aktuell verfügbare Ersatzteile für eine gerade ausgefallene Komponente vorzuschlagen oder sogar um bereits vorhandene Komponenten zu identifi zieren, welche die Funktion eines ausgefallenen Teils übernehmen könnten. Im Allgemeinen erwarten wir, dass insbesondere mit der fortschreitenden Entwicklung hin zu fl exiblen und dynamischen „Smart Factories“ die Sichtbarmachung von versteckten physikalischen und virtuellen Abhängigkeiten zwischen Anlagen, Teilen, Materialien und Menschen an Relevanz gewinnen wird.

 

Schlüsselwörter:

Ontologie, Informationsmodell, Visualisierung, Mixed Reality, Web of Things, Smart Factory

Literatur:

[1] Mayer, S.; Verborgh, R.; Kovatsch, M.; Mattern, F.: Smart Confi guration of Smart Environments. In: IEEE Transactions on Automation Science and Engineering 13 (2016) 3, S. 1247-1255.
[2] Bächler, A.; Bächler, L.; Autenrieth, S.; Behrendt, H.; Funk, M.; Krüll, G.; Hörz, T.; Heidenreich, T.; Misselhorn, C.; Schmidt, A.: Systeme zur Assistenz und Effizienzsteigerung in manuellen Produktionsprozessen der Industrie auf Basis von Projektion und Tiefendatenerkennung. In: Zukunft der Arbeit – Eine praxisnahe Betrachtung (2018), S. 33-49.
[3] Tomlein, M.; Grønbæk, K.: A visual programming approach based on domain ontologies for confi guring industrial IoT installations. In: Proceedings of the International Conference on the Internet of Things (2017).
[4] Bernheim Brush, A.J. u. a.: Home Automation in the Wild: Challenges and Opportunities. In: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (2011), S. 2115-2124.
[5] Mayer, S.; Michahelles, F.: HoloInteractions: Visualizing Interactions between Autonomous Cognitive Machines. In: Proceedings of the International Conference on the Internet of Things (2017).
[6] Mayer, S.; Hodges, J.; Yu, D.; Diwold, K.: HoloMiracle: Intuitive In-Situ Querying for Industrial Environments. In: Proceedings of the International Semantic Web Conference (2017).
[7] Mayer, S.; Hodges, J.; Yu, D.; Kritzler, M.; Michahelles, F.: An Open Semantic Framework for the Industrial Internet of Things. In: IEEE Intelligent Systems 32 (2017) 1, S. 96-101.