logo european fond

ReLkat wird vom Europäischen Fonds für regionale Entwicklung [EFRE] kofinanziert. [EFRE]

 

Reinforcement Learning für komplexe Anwendungen der Automatisierungstechnik (ReLkat)

logo relkat

 

Die Einsparung von Energie spielt aus ökologischen und ökonomischen Gründen eine zentrale Rolle in allen Branchen. Mit intelligenter lokaler Steuerung in Gebäuden, Infrastruktur und Produktion kann die Effizienz erheblich verbessert werden. Statt aufwändiger manueller Konfiguration bietet sich deren Automatisierung mittels Machine Learning (ML) an. Eine Alternative zu derzeit populären Cloud-Ansätzen ist lokales Lernen, wobei Reinforcement Learning (RL) eine Schlüsselrolle zukommt.

Das Forschungsprojekt ReLkat untersucht die Möglichkeiten, RL in lokal arbeitende Systeme einzubringen. Einhergehend mit der Entwicklung neuer mathematischer Verfahren  entstehen RL-Basismodule für das IoT und der Anwendung von RL in der industriellen Steuerungstechnik. Für den Einsatz auf einer Vielzahl von IoT-Geräten wird in eine schlanke RL-Bibliothek neu entwickelt.

Signal Cruncher verfügt mit XONBOT® bereits über einen praxiserprobten RL-Analysekern, der für IoT-Applikationen erweitert werden soll. Der Kern soll auf eine breite Klasse von Regelungsaufgaben angewendet werden. Die Fraunhofer IPK erforscht einhergehend mit den XONBOT-Entwicklungen und deren Einsatzmöglichkeiten im Feld Smart Factory. Wie können industrielle Steuerungen mit RL verbunden werden, um gegenwärtige Probleme der Industrie zu lösen? Die Beantwortung umfasst Integrationskonzepte, einheitliche Optimierungsbeschreibungen und Eingliederung in industrielle Kommunikationstechnik. Ein Testbed ermöglicht die simulationsgestützte Erprobung aller entwickelten Module. Eingebunden in dieses Projekt sind das WIAS Berlin zum Tätigkeitsschwerpunkt Optimierung unter komplexen Nebenbedingungen und die TU Berlin für Lernverfahren mittels Hierarchischer Tensornetzwerke.

Förderformat: Programm zur Förderung der Forschung, Interessen und Entwicklungen – ProFIT

Projektpartner:

 

 

Ziele:

  • Entwicklung eines Echtzeit-Steuermoduls basierend auf Reinforcement Learning (RL)
  • Verbesserung der Klimatechnik, um eine lokale Lösung abzuleiten, die den Energieverbrauch minimiert
  • Kombination mit dem Erlernen des Benutzerverhaltens, um die Personalisierung zu verbessern
  • Minimierung der Gesamtenergiekosten in komplexen industriellen Produktionssystemen
  • Entwicklung eines robusten Integrationsrahmens basierend auf Industriestandards wie AutomationML und OPC-UA

Erwartete Ergebnisse:

  • Einrichtung eines RL-basierten Frameworks zur Echtzeitsteuerung von IoT-Geräten
  • Vollautomatische Lösung zur lokalen Steuerung von Klimatechnik-Aufgaben in Smart Buildings
  • Toolkit zur energieeffizienten Steuerung in Smart Factories einschließlich Co-Simulation
  • Validierung der Ergebnisse in realen Smart-Building- und Smart-Factory-Anwendungen, beginnend mit Labortests

Team ReLkat

Team ReLkat beim Fraunhofer IPK in Berlin