Autonome Roboter für die Landwirtschaft 4.0

Autor*in:
Prof. Dr.
Cyrill
Stachniss
PhenoRob

Nutzpflanzen sind eine wichtige Quelle für Lebensmittel und viele andere Produkte. In der konventionellen Landwirtschaft tragen Traktoren große Mengen an Agrochemikalien gleichmäßig auf den Feldern zur Unkrautbekämpfung und zum Pflanzenschutz aus. Autonome Agrarroboter, die auf dem Feld erkennen, Situation verstehen und selbständig handeln können, haben das Potenzial, umweltfreundliche Unkrautbekämpfung und Pflanzenschutz auf Pflanzenbasis zu bieten. Ein Wahrnehmungssystem, das Kulturpflanzen, Unkräuter, Boden und andere relevante Objekte unter unterschiedlichen Umweltbedingungen zuverlässig unterscheidet, ist die Grundlage für pflanzenspezifische Eingriffe wie Spotanwendungen. Die Entwicklung neuer Ansätze und Techniken, die Kombination neuer Technologien aus Künstlicher Intelligenz (KI), Maschinellem Lernen (ML), Robotik und Phänotypisierung hin zu einer nachhaltigen Pflanzenproduktion ist Teil des DFG-Exzellenzclusters „PhenoRob“.

Um Pflanzen, Parzellen und ganze Felder zu überwachen und zu analysieren, verwenden heutige Roboter maschinelle Lerntechniken, die Computer Vision und tiefe neuronale Netze kombinieren, um die relevanten Informationen aus Kamerabildern zu extrahieren. In der Forschung werden oft sogenannte semantische Segmentierungsnetzwerke verwendet, die jedem Pixel in jedem Bild ein semantisches Label wie Crop oder Weed zuweisen. Zusammen mit Informationen über den Standort des Roboters, beispielsweise kann aus GPS, die Umgebung auf Zentimeter- bis Millimeter-Ebene georeferenziert interpretiert werden. Basierend auf diesem detaillierten Wissen können Roboter gezielte Interventionsmaßnahmen ergreifen, die vom Spot-Sprühen über mechanische Behandlungen bis hin zur laserbasierten Zerstörung einzelner Unkrautpflanzen reichen.

Analyse und Verständnis der Umwelt

Heutige semantische Segmentierungssysteme zeigen oft einen Leistungsabfall, wenn sie unter neuen Bedingungen angewendet werden. Dies ist ein allgemeines Problem beim überwachten maschinellen Lernen, wenn es auf reale Probleme angewendet wird, bei denen sich die Umgebung auf natürliche Weise ändert. Forschende aus den Fachbereichen ML, KI, Roboterlernen und verschiedenen anderen Clustern forschen aktiv, um diese Lücke zwischen der Quelldomäne, das heißt der Trainingsumgebung, und der Zieldomäne zu schließen. Dieser Transfer von betreuten Lernsystemen wird oft als Domänentransfer oder Domänenanpassung bezeichnet.

Domänenanpassung innerhalb der PhenoRob-Roboter

Innerhalb von PhenoRob entwickeln wir Ansätze zur unüberwachten Domänenanpassung für Pflanzensegmentierungssysteme in der Landwirtschaft. Die Möglichkeit, eine solche Anpassung unbeaufsichtigt durchzuführen, ermöglicht eine automatische Verallgemeinerung der erlernten neuronalen Netze nur auf Basis unbeschrifteter Daten. Unsere neuen Techniken zielen darauf ab, bestehende Segmentierungsnetzwerke zu verallgemeinern und an neue Feldumgebungen, unterschiedliche Wertpflanzen und andere landwirtschaftliche Roboter anzupassen. Das heißt, wir können ein System für Zuckerrüben auf andere Kulturpflanzen, zum Beispiel Sonnenblumen oder von einem Feldroboter auf ein kleines unbemanntes Luftfahrzeug, übertragen.

© PhenoRob
Das Bild ist das Ergebnis unseres Netzwerks, in dem das Bild aus Bonn übersetzt wird, um wie ein in Stuttgart aufgenommenes Bild auszusehen.

Forschende von PhenoRob haben gezeigt, dass ihre Systeme eine hohe Segmentierungsleistung in der Zieldomäne liefern, indem sie Labels nur aus der Quelldomäne verwenden – über Standorte, Kulturen und Roboter hinweg. Die Techniken nutzen CycleGANs. GANs sind generative gegnerische Netzwerke, die aus zwei neuronalen Netzen bestehen, die miteinander konkurrieren. Durch den Wettbewerb können beide Netzwerke im Laufe der Zeit immer besser werden und ihre Fähigkeiten verbessern. Was das vorgeschlagene CycleGAN besonders effektiv macht, ist die Durchsetzung einer semantischen Konsistenz des Domain-Transfers, indem die Bilder pixelweise klassifiziert werden, wenn Transfere in beide Richtungen durchgeführt werden, das bedeutet von der Quelle zum Ziel und zurück zur Quelldomäne. Diese Technik verbessert die Übertragung von semantischen Segmentierungssystemen unter Verwendung landwirtschaftlicher Felder auf neue Feldumgebungen, verschiedene Kulturen und verschiedene Sensoren oder Roboter erheblich. Dies wiederum wirkt sich auf die Benutzerfreundlichkeit von Landwirtschaftsrobotern aus und hat das Potenzial, solche Systeme der Praxis näher zu bringen, so dass die gleichen Roboter in verschiedenen Umgebungen und Kulturen auf robuste Weise eingesetzt werden können.

Der Excelenzcluster stellte sich bereits im letzten Beitrag vor, schauen Sie doch einmal vorbei: Drohnen und Roboter für eine nachhaltige Landwirtschaft der Zukunft

Autor*in

Prof. Dr.
Cyrill
Stachniss

Cyrill Stachniss ist ordentlicher Professor an der Universität Bonn und leitet seit 2014 das Photogrammetry and Robotics Lab. Vor seiner Berufung nach Bonn war er Dozent an der Universität Freiburg und an der Eidgenössischen Technischen Hochschule in der Schweiz. Die Forschungsaktivitäten des Labors für Photogrammetrie und Robotik konzentrieren sich auf probabilistische Techniken im Zusammenhang mit mobiler Robotik, Navigationsproblemen und Wahrnehmung. Dies umfasst die Anwendung und Entwicklung von Algorithmen zur Zustandsschätzung, zum maschinellen Lernen und zur KI für mobile Roboter und zur Auswertung von Sensordaten. Cyrill Stachniss war Senior Editor der IEEE Robotics and Automation Letters sowie Associate Editor der IEEE Transactions on Robotics. Er ist ein Microsoft Research Faculty Fellow und erhielt 2013 den IEEE RAS Early Career Award. Er ist Sprecher des DFG-Exzellenzclusters PhenoRob – Robotics and Phenotyping for Sustainable Crop Production an der Universität Bonn. Neben seinem Engagement an der Universität war er Mitbegründer von drei Start-ups: Escarda Technologies, DeepUp und PhenoInspect.

PhenoRob

PhenoRob ist einer von sechs Exzellenzclustern der Universität Bonn und wird zusammen mit dem Forschungszentrum Jülich durchgeführt. Kooperationspartner auf nationaler Ebene sind das Leibniz-Zentrum für Agrarlandschaftsforschung (ZALF), das Institut für Zuckerrübenforschung sowie das Fraunhofer IAIS. Das Projekt ist am 1. Januar 2019 gestartet und hat eine Laufzeit bis Ende 2025. Eine Förderung von weiteren sieben Jahren ist möglich. Die Exzellenzcluster sind Teil der Exzellenzstrategie des Bundes und der Länder. PhenoRob wird von zwei Sprechern, Prof. Dr. Cyrill Stachniss und Prof. Dr. Heiner Kuhlmann, geleitet.