Microsoft Research: Puls- und andere Messungen per Kamera und AI

Microsoft Research arbeitet daran, Kameras von Smartphones und Notebooks für die Messung bestimmter physiologische Parameter beim Menschen einzusetzen. Puls, Herzfrequenz und weitere Parameter eines Patienten über die Kameras verfügbarer Geräte zu messen, könnte der Telemedizin einen Schub verschaffen.

Dass man ggf. den Puls mit Hilfe einer App und der Kamera eines Smartphones halbwegs ermitteln kann, habe ich schon vor einigen Jahren, als ich ein Android-Büchlein für die Zielgruppe 50+ geschrieben habe, gelernt. App installieren und aufrufen, Finger auf die Kamera legen und irgendwann zeigt die App einen Pulswert an.

Allerdings ist es ein Unterschied, einen Wert zu bestimmen und einen stimmenden Wert zu ermitteln. Als ich einige Versuche mit solchen Apps gemacht habe, ließ ich zur Pulsmessung ein Oberarm Blutdruckmessgerät mit einem Prüfsiegel der deutschen Herzgesellschaft mitlaufen. Die Geräte messen relativ genau. Dabei fiel auf, dass die Pulsmessungs-Apps in manchen Fällen sehr genau waren, in anderen Fällen ziemliche Schätzwerte lieferten.

(Quelle: Pexels/Pixabay CC0 Lizenz)

Es kam auf die App an, wie man den Finger auf die Kamera des Smartphones legte und wie oft man messen ließ. Die Pulserfassung mittels Finger, Uhr und zählen ist einfacher und genauer, kann aber nicht von jedem durchgeführt werden. Die obige Episode fiel mir ein, als ich auf diesen Beitrag von MSPower-User stieß, der neue Entwicklungen von Microsoft Research aufgreift.

Neue Microsoft Research-Entwicklungen

Forscher haben sich in den letzten zehn Jahren auch damit befasst, wie die in vielen Geräten verfügbaren Web- oder Smartphone-Kameras, in Kombination mit KI-Algorithmen als wirksame Gesundheitssensoren eingesetzt werden können. Dabei lässt sich ein breites Feld beackern: Das beginnt mit der Auswertung der von einem Körper oder einem Körperteil aufgenommenen Fotos, um Veränderungen, die sich über die Zeit ergeben, mittels KI zu analysieren und reicht bis zur Auswertung von Röntgenaufnahmen für die Krebsdiagnose. Auch die Verwendung von Kameraaufnahmen zur Bestimmung vitaler Körperparameter (Puls, Herzfrequenz über die Zeit etc.) ist im Fokus der Forscher. Apple hat ja mit der Kardiofunktion seiner Apple Watch, die einen einkanaligen EKG-Monitor nachbilden kann, vor einiger Zeit für Furore gesorgt.

Ein Forscherteam von Microsoft Research, der University of Washington, und von OctoML haben gemeinsam einen videobasierten optischen Vitalparameter-Messansatz für verschiedene Kardiodaten entwickelt. Der Ansatz nutzt alltägliche Kameratechnologie (wie Handy- und Webcams mobiler Geräte) und ein neuartiges neuronales Netzwerk (Convolutional Attention Network, siehe auch Convolutional Neural Network) namens MTTS-CAN, um kardiopulmonale Messungen (Herz-Lungen-Parameter wie Herz- und Atemfrequenz) in Echtzeit auf mobilen Plattformen mit entsprechender Genauigkeit zu ermöglichen. Der Ansatz wurde am 2. Dezember 2020 von Daniel McDuff (Microsoft) und Xin Liu , PhD student, University of Washington, im Artikel Utilizing consumer cameras for contact-free physiological measurement in telehealth and beyond vorgestellt.

Der Artikel beschreibt den aktuellen Stand der Forschung auf diesem Gebiet, die eine robuste und skalierbare Messung der Physiologie von Probanden ermöglicht. Kameras an Alltagsgeräten können dazu verwendet werden, subtile Veränderungen des vom Körper reflektierten Lichts zu erkennen, die durch physiologische Prozesse verursacht werden. Algorithmen des maschinellen Lernens werden dann verwendet, um die Kamerabilder zu verarbeiten und die zugrundeliegenden Puls- und Atmungssignale wiederherzustellen, die dann für das Monitoring der Gesundheit und des Wohlbefindens des Probanden verwendet werden können.

Zum Hintergrund: Eine Smartphone-Kamera kann reflektiertes Licht einer Person erfassen. Die Veränderungen der Pixelintensitäten im Laufe der Zeit können dazu verwendet werden, die diesen Veränderungen zugrunde liegenden Quellen (nämlich Puls und Atmung einer Person) zu ermitteln. Mit Hilfe optischer Modelle, die auf unserem Wissen über diese physiologischen Prozesse basieren, kann ein Video einer Person verarbeitet werden, um deren Pulsfrequenz, Atmung und sogar die Sauerstoffkonzentration im Blut zu bestimmen.

Die Idee dahinter: Physiologische Messungen zugänglicher und weniger aufdringlich zu gestalten, um die Belastung bei der Durchführung solcher physiologischen Beurteilungen für Patienten zu verringern und ggf. frühzeitig Warnzeichen von Symptomen wie Vorhofflimmern (AFib) zu erkennen. Die kamerabasierte physiologische Sensorik samt Bestimmung diverser Parameter bietet zahlreiche Möglichkeiten zur Anwendungen für Fitness, Wohlbefinden und klinische Anwendungen. Für Konsumenten könnte ein solches Messsystem die Überwachung zu Hause und das Fitnesstracking komfortabler machen. Das Laufband oder das intelligente Fitnessgerät könnte die Vitalwerte der Person während des Laufens kontinuierlich verfolgen, ohne dass diese ein Gerät zur Pulsmessung tragen oder die Daten synchronisieren müsste. Im klinischen Kontext könnten kamerabasierte Messungen einem Kardiologen ermöglichen, den Herzzustand eines Patienten über einen Videoanruf objektiver zu analysieren. Kontaktsensoren, die für die Überwachung der Vitalfunktionen auf der Intensivstation erforderlich sind, können die Haut von Kleinkindern schädigen – die Fernerkundung könnte eine komfortablere Lösung darstellen.

Es gibt eine Reihe denkbarer Einsatzszenarien. Im verlinkten Blog-Beitrag gehen die Autoren auf den aktuellen Stand ein und geben auch eine Abschätzung der Fehlerrate der so bestimmten Messwerte. Ich habe den Text mal quer gelesen und fand ihn recht spannend.