Dynamic Task Sharing for Flexible Human-Robot Teaming under Partial Workspace Observability

Titelangaben

Riedelbauch, Dominik:
Dynamic Task Sharing for Flexible Human-Robot Teaming under Partial Workspace Observability.
Bayreuth , 2020 . - VI, 145 S.
( Dissertation, 2020 , Universität Bayreuth, Fakultät für Mathematik, Physik und Informatik)

Volltext

	Format: PDF Name: Diss.pdf Version: Veröffentlichte Version Verfügbar mit der Lizenz Deutsches Urheberrechtsgesetz. Das Dokument darf zum eigenen Gebrauch kostenfrei genutzt werden. Darüber hinaus bedürfen die Vervielfältigung, Bearbeitung, Verbreitung und jede Art der Verwertung der schriftlichen Zustimmung des jeweiligen Rechteinhabers.
	Download (18MB)

Abstract

The widespread availability of lightweight robots that may safely be operated without physical barriers to separate man and machine has paved the way to robot use in small- and medium-sized enterprises (SMEs). Given these technical foundations, the goal of advancing robots from tools to human-like teammates is a research topic that lately gains considerable attention. This thesis contributes a novel approach that particularly fosters flexible use, cost efficiency and operability by the existing workforce in line with the major requirements of partial automation in SMEs: End-users without expert knowledge on robotics are enabled to share procedural task knowledge with a robot teammate by adapting paradigms from the field of skill-based task level programming. During joint execution of previously modelled tasks, the robot is considered an equal partner of human workers - human as well as robot team members are likewise granted the authority to make dynamic, just-in-time decisions regarding the distribution of work repeatedly. This requires a high level of robot capabilities and autonomy, but therefore also allows for flexible transitions between human-robot coexistence, decoupled co-working in cooperation and close interaction in collaboration. To this end, operations from the task model are classified into categories according to their individual interaction needs and agent capabilities. An exchangeable state machine for each of these interaction categories encodes the necessary course of actions for the robot when encountering respective process steps. State machine states render the system capable of (i) understanding task progress by observing operation pre- and postconditions, (ii) executing sub-tasks itself based on a robot skill framework, (iii) delegating operations to human partners or (iv) communicating to establish mutual commitment before engaging into collaboration. Decisions in favour of an operation to go about next by following transitions in the matching state machine are made in consideration of partial workspace observability, i.e. incomplete knowledge about the state of parts and task progress: The system gets along with a lean, low-cost sensor setup only consisting of a robot-mounted eye-in-hand camera and a laser range finder to track human motion. The resulting data is fused into a human-aware world model by means of a measure for trust in stored objects. This world model enables the system to share the workspace with humans efficiently. Experiments with a simulation system that emulates dynamic human behaviour when co-working on a set of benchmark tasks show that the approach can generally speed up task execution despite these limitations in sensor use. Furthermore, preliminary human subject studies with a laboratory prototype implementation suggest that the system is promising regarding intuitive operability by non-expert users. To summon up, this thesis contributes the technical foundations, proves the feasibility of and motivates further investigations on dynamic, flexible teaming under partial workspace observability.

Abstract in weiterer Sprache

Leichtbauroboter, die für den sicheren Betrieb ohne Schutzzauneinrichtungen ausgelegt sind, sind ein zentraler Wegbereiter für den Zugang kleiner und mittlerer Unternehmen (KMU) zu Robotikanwendungen. Auf dieser technischen Grundlage rückt die Frage nach der Aufgabenverteilung zwischen Menschen und Robotern in den Fokus der Forschung, sodass sie möglichst wie ein menschliches Team effektiv zusammenarbeiten können. In dieser Arbeit wird dazu ein neuer Ansatz beschrieben, der auf Flexibilität, Kosteneffizienz und Bedienbarkeit durch Endanwender abzielt und sich damit an den besonderen Anforderungen von KMU orientiert: Domänenexperten ohne besondere Robotikkenntnisse werden dazu befähigt, prozedurales Aufgabenwissen mit Roboter-Kollegen zu teilen. Dazu wird ein Verfahren vorgeschlagen, das Konzepte zur graphischen Programmierung mit Roboterfähigkeiten auf die Mensch-Roboter-Zusammenarbeit überträgt. Bei der gemeinsamen Bearbeitung einer derart spezifizierten Aufgabe werden Mensch und Roboter als Partner auf Augenhöhe betrachtet - sie entscheiden sich wiederholt für Teilaufgaben und verteilen so die Arbeit in einem dynamischen Prozess. Dies erfordert einerseits einen hohen Grad an Roboterautonomie, ermöglicht dafür aber andererseits dynamische Übergänge zwischen Mensch-Roboter-Koexistenz, weitegehend unabhängigem parallelem Arbeiten in Kooperation und eng synchronisierter Kollaboration: Dazu werden alle Operationen einer Aufgabe abhängig von der erforderlichen Interaktion und den Fähigkeiten der Teammitglieder in unterschiedliche Kategorien eingeordnet. Jeder Kategorie ist ein Zustandsautomat zugeordnet, der durch seine Transitionen die notwendigen Schritte zur koordinierten Bearbeitung entsprechender Operationen für den Roboter kodiert. Einzelne Zustände der Automaten ermöglichen es dem System dabei unter anderem den Aufgabenfortschritt durch die Beobachtung von Vor- und Nachbedingungen zu verfolgen, Operationen selbst auszuführen oder an einen Partner zu delegieren und mit dem Menschen zu kommunizieren, um mit der Ausführung einer nur gemeinsam möglichen kollaborativen Operation zu beginnen. Hinsichtlich der Entscheidungsfindung für die Auswahl einer zu bearbeitenden Operation ist das vorgeschlagene System so ausgelegt, dass dies auch unter partieller Beobachtbarkeit von Weltzustand und Aufgabenfortschritt möglich ist. So kommt der Ansatz mit einem reduzierten, kostengünstigen Satz an Sensoren aus: Die Sensordaten einer am Roboter befestigten Kamera und eines LIDAR-Sensors zur Verfolgung menschlicher Bewegungen im Arbeitsraum werden in einem Weltmodell fusioniert. Basierend auf einer heuristischen Schätzung der Wahrscheinlichkeit für menschliche Einflussnahme stellt dieses Weltmodell eine Metrik dafür bereit, wie verlässlich Daten zu länger nicht beobachteten Objekten noch sind. Das System kann somit bevorzugt Operationen auswählen, die wahrscheinlich noch verfügbare Objekte manipulieren, und so den Arbeitsraum effizient mit seinen Partnern teilen. Experimente mit einem Simulationssystem zur Emulation dynamischer menschlicher Entscheidungen mit verschiedenen Präferenzen zeigen für einen Satz von Benchmark-Aufgaben, dass die flexible Zusammenarbeit trotz eingeschränkter Sensorik die Bearbeitung der Aufgaben grundsätzlich beschleunigen kann. Ergebnisse einer Nutzerevaluation mit einer prototypischen Implementierung deuten weiterhin darauf hin, dass das System als Ganzes für Endanwender bedienbar ist. Diese Dissertation beantwortet somit die Fragestellung, inwieweit flexible Zusammenarbeit unter partieller Beobachtbarkeit des Arbeitsraums technisch machbar und für die Teilautomatisierung nutzbringend sein kann.