Die Vermessung von Müdigkeit. Wie können wir Unfälle im Straßenverkehr und bei anderen Tätigkeiten mit Daueraufmerksamkeit verhindern?

Die Vermessung von Müdigkeit. Wie können wir Unfälle im Straßenverkehr und bei anderen Tätigkeiten mit Daueraufmerksamkeit verhindern?

Im Winter werden die Tage kürzer, und so lässt es sich kaum vermeiden, im Dunklen zu reisen. Für Autofahrer und -fahrerinnen stellt sich dabei ein besonderes Problem: Nachts, vor allem auf monotonen Strecken wie Autobahnen, kommt es zu Ermüdungserscheinungen wie Schläfrigkeit und Unaufmerksamkeit, teils sogar zum kurzen Wegnicken. Diese Phänomene bergen offensichtlich ein immenses Risiko, für die fahrzeugführende Person ebenso wie für Dritte im Fahrzeug oder andere, unbeteiligte Verkehrsteilnehmer und Passanten. Die nicht geringe Zahl an Unfällen, deren Ursache auf Ermüdungserscheinungen zurückgeführt werden kann, ist eine Motivation für die Forschung und die Suche nach Lösungen.

Professor Martin Golz aus der Fakultät Informatik der Hochschule Schmalkalden widmet sich diesen Fragen aus dem Forschungsfeld der Biomedizintechnik: Um ein Phänomen zu vermessen, muss man sich über dessen Definition im Klaren sein. Zunächst stellt sich also die Frage, was Vigilanz ist und im Gegenzug, in welchen Formen Ermüdungserscheinungen auftreten.[1] Wichtig ist dabei, verschiedene Aspekte zu differenzieren und zugleich die entscheidenden Faktoren auszumachen. Es geht also darum, ein oder mehrere verlässliche Kriterien zu finden, anhand derer Ermüdungserscheinungen detektierbar sind. Eine zentrale Herausforderung für die Forschung ist dabei, dass es keine verbindliche Definition der Ermüdung oder ihrer Anzeichen gibt und in der Folge bislang belastbare und dezisive Attribute fehlen.[2] Wie vermessen wir also Merkmale von Ermüdung?

Was ist eigentlich Ermüdung und wie zeigt sie sich?

Eine Gelegenheit, dieser Frage nachzugehen, ergab sich im Rahmen einer Anfrage aus der Wirtschaft, konkret der Tagebauindustrie: Im Minenbetrieb gibt es eine rege Logistik per Lastkraftwagen, die im Schichtbetrieb arbeiten.[3] Mehrere Faktoren, die im Regelfall Müdigkeit befördern, kommen hier zusammen: Lange Fahrten, monotone Strecken, stetige Wiederholung. Die Belastung nimmt nochmals durch die harschen Umweltbedingungen wie hohe Temperaturen und geringe Luftfeuchte sowie Staub zu. Kurzum: Ein Knochenjob, dessen hohe physischen und psychischen Belastungen regelmäßig zu Unfällen aufgrund von Ermüdung führen. Politische und ökonomische Akteure haben aufgrund der körperlichen und wirtschaftlichen Schäden und Folgekosten ein hohes Interesse, diese Unglücke zu vermeiden.

In der Industrie hat in den letzten Dekaden ein Umdenken stattgefunden, mit dem die Sorge um die Fitness der Beschäftigten in den Fokus trat: Mit dem fatigue risk management haben Strukturen und Umgangsformen in den Betrieb Einzug gehalten, die helfen, mit Ermüdungserscheinungen offen und bewusst umzugehen, diese frühzeitig zu erkennen und damit Unfälle zu vermeiden. Ferner sollen Vorgesetzte auf das Phänomen und das Risiko aufmerksam machen und die Belegschaft sensibilisieren. Um die Sicherheit der Fahrenden weiter zu fördern, sind Monitoringtechnologien sinnvoll und zweckmäßig, die Müdigkeitserscheinungen und Schlafereignisse autonom erkennen und bestenfalls verlässlich Alarm schlagen, bevor es zu Unfällen kommt. Hier kommen zwei Dinge zusammen: Zunächst die Vermessung der Erscheinungsformen von Ermüdung, und zum anderen eine Prognose. Beide Punkte müssen in der Forschung mit unterschiedlichen Ansätzen verfolgt werden.

Monitoringsysteme

Um den Einsatz der Monitoringsysteme bewerten zu können, musste zunächst eine Auswahl unter den auf dem Markt verfügbaren Systemen getroffen werden. Neben Wissenschaftler:innen wurden auch Beschäftigte und Vertreter der Unternehmen hinzugezogen: Aus der Gewichtung verschiedener Faktoren entstand ein Koordinatensystem, mit dem sich drei Monitoring-Modelle als sinnvolle Testfälle ermitteln ließen. Diese drei haben einen ähnlichen technischen Aufbau: Sie werden auf dem oder im Armaturenbrett befestigt und sind mit einer Infrarotkamera ausgestattet.

Die Ermüdung messen sie nach dem PERCLOS-Maßstab: Dieser bezieht sich auf die Zeit, während das Auge achtzig Prozent vom Lid verdeckt ist. Für diese Messung erfasst die Kamera verschiedene Aspekte, die sie aber nur in der Kombination des PERCLOS auswertet. Neben der Öffnung der Augenlider wird die Lidschlussdauer und die Pupillenweite in die Auswertung sowie u.a. die Kopfbewegung miteinbezogen. Offen ist neben der Aussagekraft des PERCLOS-Kriteriums selbst, ob ein oder mehrere Aspekte schon für sich valide Aussagen über die Ermüdung treffen. Für das Monitoring ist wichtig, einerseits eine hohe Sensibilität zu ermöglichen, andererseits aber möglichst Fehlalarme zu vermeiden, da dies wiederum die Akzeptanz verringern würde. So darf das Augenschließen bei blendendem Gegenverkehr eben nicht zum Alarm führen. In dieser Abwägung muss ein gangbarer Weg in der Anwendung gefunden werden.

Testfahrten im Labor

Aufgrund des Risikos verbieten sich Tests in Realsituationen. In der Folge griff Professor Golz auf eine computergestützte Fahrsimulation zurück, die die Vermessung von Ermüdungserscheinungen unter kontrollierten Bedingungen erlaubt. Zunächst galt es, die Testobjekte auszuwählen: Aus einer Vielzahl an Bewerbungen aus der Studierendenschaft der Hochschule Schmalkalden wurden mehrere geeignete Personen ausgewählt, um an dem Test teilzunehmen. Um die Ermüdung wahrscheinlicher zu machen – Ziel war ja deren Vermessung –, mussten die Partizipierenden einen bestimmten Tag-/Nachtrhythmus einhalten, ein Schlafprotokoll führen, auf Schläfchen am Tage verzichten und am Tag der Messung selbst wachhaltende Getränke wie Kaffee meiden. Simulierte Testfahrten wurden den realen Arbeitsroutinen der Kraftfahrer:innen des Tagebaus nachempfunden. Von 23:30 bis 08:30 mussten die sechzehn Teilnehmer:innen mehrere Einheiten von vierzig Minuten fahren. Das Testumfeld und die Testbedingungen waren so gehalten, dass sie Müdigkeit befördern: Die Strecke war monoton, es gab keinen Straßenverkehr und keine Ablenkung während der Fahrt. Zusammenfassend waren die wichtigen Kriterien der Studie, die Ermüdungserscheinungen wahrscheinlicher machen sollten: Time since sleep, time on task, time of day und das Monotonie-Empfinden.

Aufnahme aus dem Fahrsimulator (Quelle: Martin Golz)

Als Referenz zur ermittelten Müdigkeit wurde auf zwei etablierte Maßstäbe zurückgegriffen, die unabhängig von den anderen Werten funktionieren und somit als Kontrollvariablen dienen konnten: Zum einen die Selbsteinschätzung über den Grad der momentanen Müdigkeit, der in den Pausen zwischen den Fahrten abgefragt wurde (Karolinska sleepness scale). Zur Messung der subjektiv empfundenen Ermüdung hat sich diese neun-stufige Skala in der Wissenschaft als durchaus verlässlich erwiesen. Zum anderen die Position des Fahrzeugs auf der Straße: Ermüdungserscheinungen führen dazu, dass die Fahrzeuge die Fahrbahnmitte häufiger verlassen. Ein Übertritt über Fahrbahnmarkierungen lässt sich leicht ermitteln. Beide Kriterien sollen die Grundlage für die Bewertung der Monitoring-Systeme bilden. Als weitere Quelle der Vermessung wählte Professor Golz die EOG- und EEG-Signale, also die Augen- sowie die Hirnaktivität.

Wir kennen die Bilder des EEG zumeist aus dem Fernsehen: Ein Geflecht von Kabeln wird über einen Kopf gelegt und an verschiedenen Punkten Kontakt mit der Kopfhaut hergestellt. Über diese Kontakte lassen sich geringste Potentiale eines elektrischen Strömungsfeldes messen und folglich die Aktivität im Hirn in gewissem Maße nachvollziehen. Je nach Menge der Kontakte entstehen dann Aufzeichnungen einer Vielzahl an Wellen, die dem Laien nichts sagen. Die Auswertung dieser Diagramme ist eine höchst komplexe Angelegenheit und verlangt viel Erfahrung. Nur so lassen sich aus den Verschiebungen der Wellen, ihren Frequenzen und Amplituden und je nach Hirnareal differenzierte Rückschlüsse führen. Eine Frage ist, ob sich Ermüdungserscheinungen über dieses Verfahren exakt ermitteln lassen, bzw. ob eine Prognose eintretender Ermüdung möglich ist.

Erhebung und Auswertung der Daten

In einem ersten Schritt wurden die Daten der beiden unabhängigen Messungen mit den PERCLOS-Erhebungen der drei Monitoring-Systeme verglichen. Die Korrelation der PERCLOS-Werte mit den objektiven Messungen hielten nur oberflächlich stand: Sobald die zeitliche Auflösung feiner wird oder nur die Daten eines Individuums herangezogen werden, verlieren sich die hohen Korrelationswerte. Zusammenfassend ergaben sich signifikante inter- und selbst intrasubjektive Unterschiede über die Maßstäbe hinweg.

In einem zweiten Schritt versuchte Professor Golz zu klären, ob die EEG-Messungen als Referenz für eine Validierung der videobasierten Systeme zu dienen vermögen. Um hier eine Datenanalyse vornehmen zu können, wurde beide Messwerte simultan erhoben, und die Datensätze anschließend mithilfe der unabhängigen Variablen in starke und schwache Ausprägungen der Ermüdung unterteilt. Eine nichtlineare Diskriminanzanalyse sowohl der PERCLOS- als auch der EEG/EOG-Zeitreihen zeigte ein Defizit des PERCLOS, in hoher zeitlicher Auflösung zwischen schwacher und starker Ermüdung zu unterscheiden.

Aus diesen Ergebnissen ließ sich folgern, dass die Monitoringsysteme zwar unter Laborbedingungen gut arbeiten, hierfür aber wichtige Konditionen erfüllt sein müssen: Neben einer niedrigen zeitlichen Auflösung müssen die Daten vor der Auswertung möglichst über viele Personen hinweg gemittelt werden. Offen ist, ob die Messdefizite  an der Ausrichtung der Systeme am Normalverhalten der Augenbewegung liegt, wodurch untypische Ausprägungen nicht oder falsch detektiert würden. Jedenfalls erwies sich das EEG/EOG-Signal als deutliche robustere Maßgabe zur Ermittlung der Ermüdung.

Am Ende lässt sich festhalten, dass der Weg hin zu funktionierenden Monitoringsystemen von Ermüdungserscheinungen noch ein weiter ist. Ein Problem ist dabei, dass bislang keine Klarheit darüber herrscht, wie sich Ermüdung zeigt, was also generalisierbare Kriterien und Messobjekte sind. PERCLOS hat hierbei nur sehr bedingt überzeugen können. Und da es in diesem Bereich buchstäblich um Leben und Tod geht, bedarf es mehr Forschung, um geeignete Maßstäbe für Monitoringansätze zu liefern.

Die Prognose von Mikroschlafereignissen

Auch wenn das EEG durchaus verlässlich Ermüdungserscheinungen detektieren kann, bleibt doch das praktische Problem bestehen, dass die Ermittlung der Daten aufwendig ist und sachverständiger Expertise bedarf. Um breitenwirksame Akzeptanz zu erhalten, müssen andere technologische Lösungsansätze gefunden werden. Das Forschungsfeld der Neuroinformatik hat hier also noch genügend Aufgaben. Gerade die Prädiktik, also die Prognose kritischer Ermüdungserscheinungen, birgt soziale und ökonomische Relevanz.

In einem anderen, aktuelleren Projekt widmete sich Professor Golz zusammen mit seinem Team der Vorhersagbarkeit von Mikroschlafereignissen unter zu Hilfenahme von EEG-Signalen.[4] Die Herausforderungen bestanden wiederum in der Komplexität der Signalcharakteristik und der hohen inter-individualen Variabilität, also unterschiedlichen EEG-Eigenschaften je nach Person. Die Idee war, die Amplituden des EEG durch fünf Methoden der Zeitreihenvorhersage zu analysieren. Neben der prädiktiven Qualität ging es auch um die Eignung verschiedener Messpunkte des EEGs, also welches Hirnareal sich besser bzw. schlechter für die Messungen eignet.

Professor Golz bei der jüngsten Vorstellung seines Forschungssemesterberichts

Die Daten entstammten verschiedenen Testfahrten im Schmalkalder Labor, die unter den gleichen Bedingungen entstanden sind wie jene der Ermüdungserscheinungen. Durch die Verwendung der Messwerte von 79 jungen, gesunden Personen konnte auf eine große Datenmenge zurückgegriffen werden. Auch wenn sich ein Modell der Zeitreihenprognose durch eine geringe Fehleranzahl hervortat, wurde klar, dass jeder EEG-Kanal andere Parameterkombinationen zu seiner optimalen Verwendung bedurfte.

Infolge dieser Komplexität sind Prognosen schwierig, gerade wenn der Zeithorizont mit fünf Sekunden angesetzt wird. Auch eine adaptive Klassifikationsanalyse, die dem dynamischen Charakter der Signale gerechter werden sollte, hatte zwar im ersten Schritt hohe Genauigkeiten, konnte diese Ergebnisse aber nicht in der Validierung reproduzieren. Die Leistungsfähigkeit der Vorhersage ist abschließend also vorhanden, aber noch recht gering. Um hier Verbesserungen zu ermöglichen, könnten optimierte Datensätze ebenso verwandt werden wie moderne Methoden, die auf künstliche Intelligenz zurückgreifen und dem dynamischen Charakter der Daten entsprechen. Am Ende kann jede Verbesserung der Prognostizierbarkeit helfen, Leben zu retten. Somit ist es sinnvoll, an der Erkennbarkeit von Ermüdung weiter zu forschen. Das Fahrsimulationslabor und das Archiv der gewonnenen Datensätze ist hierfür eine ideale Ausgangsbasis.


[1] Vigilanz stammt vom lateinischen vigilantia, das „Wachsamkeit“ und „Fürsorge“ meint. Vigilanz bezeichnet einen Zustand andauernder Aufmerksamkeit bei eintöniger Reizfrequenz und ist umgänglich ein Synonym von Wachheit, einem Aspekt des Bewusstseins. Für die Untersuchung der Vigilanz misst man die Fähigkeit einer Person zur Daueraufmerksamkeit.

[2] Die uneindeutige Verwendung der Begriffe Müdigkeit, Fatigue und Erschöpfung ist Teil des Problems. In der Forschung wird mittlerweile dafür plädiert, die drei Begriffe als distinkte Phänomene auf einem Kontinuum zu fassen, die in Relation gesetzt werden können. Vgl. Matti, N., Mauczok, C. & Specht, M.B. (2022): Müdigkeit, Fatigue und Erschöpfung: Alles das Gleiche oder Ausprägungen eines Kontinuums? – Ein Diskussionsanstoß. Somnologie – Schlafforschung und Schlafmedizin 26, 187-198.

[3] Golz, M., Sommer, D., Trutschel, U., Sirois, B., Edwards, D. (2010): Evaluation of fatigue monitoring technologies. Somnologie – Schlafforschung und Schlafmedizin 14, 187-­199.

[4] Schneeweiß, L., Pauli, M. P., Golz, M. (2023): EEG-Vorhersage zur Prognose von Mikroschlaf, in: Stolzenburg, F., Reinboth, C., Lohr, T. & Vogel, K. (Hrsg.): NWK 2023 – Tagungsband der 23. Nachwuchswissenschaftler*innenkonferenz, Harzer Hochschultexte Nr. 14, Hochschule Harz, Wernigerode, 176-183.

Die Anwendung im Blick. Über Forschungsprojekte von Andreas Wenzel

Die Anwendung im Blick. Über Forschungsprojekte von Andreas Wenzel

Professor Andreas Wenzel hat die Professur für Technische Informatik/Eingebettete Systeme an der Fakultät Elektrotechnik der HSM inne. Zusammen mit seinem Team der Forschungsgruppe Eingebettete Diagnosesysteme sucht er nach praktischen Lösungen für unterschiedliche Anwendungsfelder und Fragestellungen, zum Beispiel: Welche Genauigkeit benötigt ein drahtloses Indoor-Lokalisierungssystem für den Einsatz für mobile Robotik-Anwendung? Wie lässt sich eine digitales Werkzeugbegleitbuch mit Bedienungsanleitung und Montagevideos an Werkzeugformen integrieren und im Gebrauch am besten nutzen? Welche KI-Methoden und Algorithmen sind für maschinelle Bewertung der Produktionsqualität aus Prozessdaten besonders geeignet? 

Eine weitere Aufgabe, der sich das Team um Professor Wenzel in den Forschungsprojekten „Powermoduls“ und „WASABI“ in Kooperation mit der Fakultät für den Maschinenbau widmete, war die Optimierung von Spritzgussverfahren mit Hilfe eines integrierten Diagnosesystems: Lassen sich beim Herstellungsprozess bereits Daten erheben, welche die Güte des gefertigten Produkts prognostizieren können? Dies wäre ein Weg, bereits zu Beginn Fehlproduktionen zu vermeiden. Gerade weil in nahezu vollautomatisierten Produktionsprozessen weniger menschliche Handarbeit als vielmehr die Überwachung und Qualitätskontrolle der Produktion zur Optimierung gefragt ist, macht dieser Ansatz auch für die Industrie Sinn.

Zunächst galt es hierfür die messbaren Faktoren und Parameter im Prozess der Produktion auszumachen, welche für die Qualität des hergestellten Produkts entscheidend sind bzw. diese mittelbar beeinflussen. Neben dem Aspekt der sensiblen Detektion relevanter Sensordaten bestand die Herausforderung darin, die großen Mengen an Daten zu verarbeiten. Ein Mittel hierzu sind KI-unterstützte Verarbeitungsverfahren, also spezifischer Algorithmen, mit deren Hilfe die Daten geordnet, Muster erkannt und belastbare, relevante Informationen von anderen getrennt werden können. Zuletzt war die Ausgabe an die für die Produktion verantwortliche Person zu bedenken: Welche Informationen über die Entscheidung der KI mussten mitgeliefert werden, und in welchem Format? Welche Maßnahme kann der Prozessbediener im laufenden Prozess anpassen, um Fehlproduktionen zu vermeiden?

Die Tonalität von Klingen

Ein weiterer Forschungsschwerpunkt der vergangenen Jahre waren die  Projekte „EMIL“ und „SMoSys“, wobei ersteres zusammen mit Prof. Beneke von der Fakultät Maschinenbau, Class und der Universität Kassel durchgeführt wurde. In SMoSys wurde dies dann im Verbund mit der Uni Kassel, der Uni Göttingen und Class weiterentwickelt. Hier waren für die technischen Lösungen eine Kombination aus Zugängen der klassischen Ingenieurswissenschaft und der Datenverarbeitung mit künstlichen neuronalen Netzwerken notwendig. Eines der größeren Verschleißteile von Landmaschinen wie Feldhäckslern sind die Klingen, mit denen die Agrargüter wie Mais geschnitten werden. Bedingt durch den Zeitdruck der Ernte  müssen verschiedenen Wartungsprozesse auch kostenoptimiert gestaltet werden. Ein solcher Aspekt ist auch das Schleifen der Messer. Beide Forschungsvorhaben haben sowohl mit den Verschleiß, sowie mit der Prognose des Messerzustandes in realen Messumgebungen beschäftigt.

Fragen wie: „Wie lässt sich die Schärfe der Messer bestimmen?“ haben die beteiligten Forschungsgruppen natürlich auch beschäftigt. Hierfür wären allerlei technische Instrumente denkbar, die zwar eine Messung erlauben, aber zugleich mit einem hohen Aufwand verbunden wären. Im Rahmen des Projekts konnte zusätzlich ein praktikabler Ansatz, welcher auf bereits bestehende Gegebenheiten zurückgreift und in ihrem Aufwand minimal bleibt, erarbeitet werden. Professor Wenzel und sein Team griffen hierfür auf bereits integrierte Sensoren im Feldhäcksler zurück, welche die Schwingungen in der Nähe der Schneiden erfassen können. Wenn diese Schwingungen Auskunft über den Zustand der Klingen geben, könnte diese auch für die Entwicklung eines automatisiertes Monitoringsystems genutzt werden. Zuletzt war es wiederum die Aufgabe, aus den Daten eben jene belastbaren Signale und Muster zu extrahieren, an denen der Verschleiß der Klingen ablesbar war.

Professor Wenzel und sein Team befassen sich im Bereich der Landwirtschaft neben der Klingenschärfe der Feldhäcksler auch mit der Kartierung von Räumen für das autonome Fahren von landwirtschaftlichen Maschinen. Diese Aufgabe, die vor der Herausforderung einer eher rauen Umgebung steht, dient nicht zuletzt der optimalen Nutzung der natürlichen Ressourcen, zusätzlich werden auch Themenaspekte der Nachhaltigkeit behandelt. Für das Erkennen von Innovationspotenzialen und den Einsatz von KI-Algorithmen und eingebetteten Systemen sind intelligente Methoden sowie unterstützendes Know-how aus Sensorik, Prozessverständnis und praxisnahen Anwendungen für die Entwicklung von Lösungsansätzen für Industrie sowie Wissenschaft und Forschung von essentieller Bedeutung.