GoHolo
Die Entwicklung eines Mixed Reality HMI mit einer Microsoft HoloLens 2 für einen ABB GoFa und die Vorteile aus einer solchen Applikation zu evaluieren, war das Ziel dieser Masterarbeit. Es wurde untersucht, welche Schnittstellen vom Roboter und der HoloLens 2 gemeinsam verwendet werden, welche Daten vom Roboter in welcher Form in einer Mixed Reality-Applikation dargestellt werden können und ob es möglich ist mit der HoloLens 2 den Roboter zu steuern. Die Ergebnisse zeigen, dass es möglich ist Datenvom Roboter in nahezu Echtzeit darzustellen und den Roboter mit der Gestensteuerung der Brille zu steuern.
Inhaltsverzeichnis
Paper
1. Einleitung
Für eine flexible Fertigung ist es notwendig, schnell auf sich ändernde Produkte oder Prozesse zu reagieren. Intuition lässt menschliche Arbeitskräfte unterschiedliche Aufgaben oft schneller lösen als Roboter. Wenn diese menschlichen Fähigkeiten mit der Wiederholgenauigkeit und Ausdauer von Robotern verknüpft werden, kann volles Potential ausgeschöpft werden. Kollaborative Roboter (Cobots) erfüllen diesen Zweck und können unmittelbar mit den Menschen zusammenarbeiten. Die Programmierung dieser Cobots stellt aber oft noch eine hohe Herausforderung an Bedienende dar und es gilt einfachere Wege zu finden. Das Ziel dieser Arbeit war, mit Mixed Reality und einer MS HoloLens 2 eine Schnittstelle zum Roboter (ABB GoFa) zu bilden und damit die Zusammenarbeit zwischen Bedienenden und Robotern zu vereinfachen. Eine mit Unity erstellte Mixed Reality-Applikation soll mit einem digitalen Zwilling, Visualisieren und Simulieren des Roboters ermöglichen. Zusätzlich soll mit dem digitalen Zwilling die Steuerung des realen Roboters erfolgen.
2. Problem- und Aufgabenstellung
Programmierung von Robotern erfordert oft gut geschultes Fachpersonal. Je flexibler eine Anwendung sein soll, desto öfter müssen Änderungen im Programm vorgenommen werden, was erneut in Personalaufwand resultiert. Damit die Programmierung von Robotern einfacher wird, gilt es Methoden für die Vereinfachung der Programmierung zu erforschen.
Für eine MS HoloLens 2 soll eine Mixed Reality-Applikation entwickelt werden, die es ermöglicht den Roboter möglichst intuitiv zu programmieren, beziehungsweise zu steuern. Dafür soll ermittelt werden, welche Schnittstellen es für diese Verbindung gibt, welche Daten vom Roboter ausgelesen und in der Brille visualisiert werden können und ob eine bidirektionale Verbindung möglich ist, um den Roboter auch über die Brille zu steuern.
Im Rahmen einer Evaluierung und der Auswertung der Ergebnisse aus dieser soll ermittelt werden, ob durch den Einsatz von Mixed Reality im Vergleich zur konventionallen Bedienung ein Zeitvorteil entsteht, eine Verbesserung vom Verhältnis Genauigkeit zu Zeit erzielt werden kann und wie sich die Arbeitsbelastung verhält.
3. Materialien und Methoden
Die Ausgangssituation für diese Arbeit waren ein ABB GoFa und eine MS HoloLens 2. Diese Geräte galt es zu verbinden. Dafür musste die Grundkenntnisse zu ABB Robotern und RobotStudio intensiv vertieft werden. Eine gemeinsame Schnittstelle musste gefunden und gegebenenfalls verwendete Protokolle angeeignet oder definiert werden. Eine Software und notwendige SDKs für die Erstellung der Mixed Reality-App wurde gewählt und eine Simulationsumgebung für die Applikation eingerichtet. Schließlich wurde von der Simulation auf die reale Hardware gewechselt und eine Evaluierung durchgeführt.
4. Stand der Technik
In einem digitalen Zeitalter ist es eine Herausforderung die reale und digitale Welt zu vereinen. Ein Ansatz dafür bieten Augmented- und Mixed Reality wie von Azuma (1997) beschrieben. Für die Darstellung von komplexen Inhalten realer Systeme in Augmented-oder Mixed Reality eignen sich digitale Zwillinge (Grieves, 2014) sehr gut. Ein Ziel von digitalen Zwillingen ist es, auch bidirektional zu agieren. Diesem Thema widmen sich Gadre et al. (2019) und stellen einen Vergleich zwischen dem Programmieren eines Roboters mit einer 2D-Benutzeroberfläche und einer App in Mixed Reality her. Wenn es darum geht einen Roboter intuitiv zu bewegen, wird auf Kinesthetik, die Möglichkeit der Handführung gesetzt, welche allerdings spezielle Voraussetzungen an die Sensorik des Roboters stellt. Für Roboter, die nicht über solche Sensorik verfügen, erfoschen Puljiz et al. (2019) Möglichkeiten den Roboter über Gestensteuerung in Mixed Reality zu bewegen. Ob solche Technologien sich auch auf die Arbeitsbelastung auswirken können, wird von Stadler et al. (2016) untersucht.
5. Praktische Durchführung
Die praktische Durchführung vom Projekt (GoHolo) kann in drei Teile aufgeteilt werden, da auf drei Geräten Programme als Bestandteil von GoHolo laufen. (Abbildung 2)
5.1. ABB GoFa
Der Roboter selbst kann in dieser Applikation wie ein Aktor betrachtet werden, da die meiste Logik auf den anderen beiden Geräten abläuft. Der Roboter (im RobotStudio programmiert) liefert die Daten für den digitalen Zwilling und reagiert auf Befehle zum Ausführen von Programmen oder für Bewegungsabläufe, die von der MS HoloLens 2 geschickt werden. Eine exakte Kopie des Programmes läuft zusätzlich auf einer virtuellen Steuerung am PC und wird für Simulationen in MR verwendet.
5.2. Schnittstelle (PC)
Eine Desktop-Applikation für PC wurde in Microsoft Visual Studio und Windows Presentation Foundation erstellt. Das Programm ist der zentrale Teil der Applikation und verwaltet alle Befehle und Daten, die von und zum Roboter beziehungsweise der virtuellen Steuerung gelangen und stellt die Kommunikation zur MS HoloLens 2 her.
5.3. Microsoft HoloLens2
Die Applikation für die MS HoloLens 2 wurde in Unity programmiert. Dafür wurde das Mixed Reality Toolkit (MRTK) und die PTC Vuforia Engine verwendet. Die App kann über Gestensteuerung mit den digitalen Inhalten interagieren und wird zur Visualisierung von Daten, den Simulieren von Bewegungen und als grafische Oberfläche zur Steuerung des Roboters verwendet.
6. Ergebnisse
Es konnte eine umfassende Steuerung für den Roboter über die MS HoloLens 2 entwickelt werden. Abbildung 1 zeigt einzelnen Eindrücke der Applikation. GoHolo ermöglicht das Visualisieren von Informationen (Abbildung 1 links zeigt einen transparenten Roboter, bei dem die Motoren je nach wirkendem Drehmoment eingefärbt werden), das intuitive Steuern durch Gesten (Abbildung 1 Bild zwei und drei), das Simulieren von Bewegungen während der reale Roboter noch im Stillstand ist, das achsweise Verfahren, Einblenden des Arbeitsbereicehs und Erstellen von Wegpunkten in der MR. Die Auswertung der Evaluierung hat gezeigt, dass für die ausgewählte Probandengruppe (facheinschlägiges Vorwissen) keine zeitlichen Verbesserungen gemessen werden konnten, allerdings dennoch großes Potential in der Anwendung von Applikation wie GoHolo im Zusammenhang mit der Robotik steckt.
7. Zusammenfassung und Ausblick
Im Rahmen dieser Arbeit konnte ein Mixed Reality HMI für den Roboter erstellt werden, welches bidirektional sowohl das Darstellen von Informationen an digitalen Zwillingen, als auch das Steuern des Roboters über den digitalen Zwilling ermöglicht. Die für die Evaluierung ausgewählte Probandengruppe mit deutlichem Vorwissen in der Robotik und wenig Erfahrung mit AR oder MR konnte keine Verbesserungen belegen. Allerdings konnte durch selbst durchgeführte Versuche eine steile Lernkurve festgestellt und damit nach kurzer Zeit schnellere Erfolge in allen Punkten erzielt werden. Diese gilt es in weiterführenden Arbeiten aufzugreifen.
Videos
Visualisierung in MR
Joint Control
Simulate Wizard
Move TCP
Precise Control
HoloPath
GoHolo und ABB IRB 6700 (Bonusvideo)
Präsentation auf offiziellen Kanälen von ABB Robotics
Danksagung
Nicht zu vergessen bei einem solchen Projekt ist die Unterstützung von Außen. In diesem Projekt durch die ABB AG und die FH Technikum Wien. Hervorheben möchte ich dabei die Betreuer der Masterarbeit: Horst Orsolits (FH Technikum Wien) und Dario Stojicic (ABB AG). Die Beiden sind mir mit Rat und Tat zur Seite gestanden und haben mir einen roten Faden durch die Arbeit gespannt. Einen gut dehnbaren Faden Gottseidank, denn so konnte ich genug Freiraum genießen und hatte Möglichkeit mich selbst weitgehend ohne Einschränkungen im Projekt auszuleben.
Zusätzlich gilt ein großer Dank auch den weiteren Kollegen von ABB Robotics, die mit Fachwissen und Ideen jederzeit zur Verfügung gestanden sind. Darüber hinaus noch den Probanden, die ihre wertvolle Zeit für die Durchführung der Evaluierung zur Verfügung gestellt haben.
Literaturverzeichnis
Azuma, R. T., 1997. A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments, 6(4).
Gadre, S. Y., Rosen, E., Chien, G., Phillips, E., Tellex, S. & Konidaris, G., 2019. , 2019 International Conference on Robotics and Automation (ICRA).
Grieves, M., 2014. Digital Twin: Manufacturing Excellence through Virtual Factory Replication.
Puljiz, D., Stöhr, E., Riesterer, K. S., Hein, B. & Kröger, T., 2019. , 2019 14th ACM/IEEE International Conference on Human-Robot Interaction (HRI).
Stadler, S., Kain, K., Giuliani, M., Mirnig, N., Stollnberger, G. & Tscheligi, M., 2016. , 2016 25th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN).