Studienarbeit/ Bachelorarbeit/ Masterarbeit: LLM-gesteuerte Robotermanipulation
Fraunhofer-Gesellschaft ·
- Category
- AI engineering
Das Fraunhofer IGCV ist das erste produktionstechnische Fraunhofer-Institut in Bayern. Wir gestalten den Weg in die Zukunft des effizienten Engineerings, der vernetzten Produktion und der intelligenten Multimateriallösungen zur Sicherstellung der nachhaltigen Wettbewerbsfähigkeit Deutschlands und Europas. Unsere Hauptkunden kommen aus dem Maschinen- und Anlagenbau sowie der Luft- und Raumfahrt- und der Fahrzeugindustrie.
Für den Fachbereich Intelligente Prozessführung und Robotik suchen wir zum nächstmöglichen Zeitpunkt , im Rahmen der Studienarbeit "LLM-gesteuerte Robotermanipulation – Modulare Integration von Large Language Models und Computer Vision für Pick&Place-Aufgaben", Studierende, die uns auf unserem weiteren erfolgreichen Weg begleiten möchten.
Hier sorgen Sie für Veränderung
⦁ Aufbau eines modularen Demonstrators, bei dem ein Large Language Model (LLM) über Tool-Calling (smolagents/HuggingFace) Computer-Vision-Funktionen und Roboter-Skills für Pick&Place- bzw. Bin-Picking-Aufgaben orchestriert
⦁ Integration und Benchmarking von Perception-Modulen (z.B. FoundationPose) sowie Grasp-Planning-Methoden zur kamerabasierten Greifpunktbestimmung
⦁ Vernetzung aller Komponenten (UR5e, Intel RealSense, Jetson Orin, Cloud) über ROS2 Jazzy mit containerisierter Deployment-Strategie (Docker)
⦁ Systematischer Vergleich von Cloud-basiertem und Edge-basiertem LLM-Backend hinsichtlich Latenz, Task-Erfolgsrate und Planungskorrektheit sowie wissenschaftliche Dokumentation der Ergebnisse