Konzeption, Implementierung und Evaluation eines in Moodle integrierbaren, kontextsensitiven KI-Chatbots
Hintergrund: Studierende stellen in Programmierveranstaltungen regelmäßig organisatorische und inhaltliche Fragen, etwa zu Deadlines, Prüfungsmodalitäten, Bewertungsregeln oder Aufgabenstellungen. Diese Fragen werden typischerweise über E-Mail oder Diskussionsforen beantwortet, was zu wiederholten Anfragen und zusätzlichem organisatorischem Aufwand führt. Gleichzeitig sind Learning Management Systeme (z.B. Moodle) zentrale Informationsplattformen, deren Inhalte jedoch nicht dialogisch zugänglich sind. Generative AI eröffnet die Möglichkeit, kursbezogene Informationen dialogisch bereitzustellen. Allerdings sind generische Chatbots problematisch, da sie keinen direkten Zugriff auf aktuelle Kursdaten haben und zu Halluzinationen neigen, insbesondere bei organisatorisch oder prüfungsrechtlich relevanten Informationen. Es besteht daher Bedarf an einem kontextsensitiven, in Moodle integrierten KI-Assistenzsystem, das strukturierte Kursdaten (z.B. Deadlines, Aktivitäten) sowie unstrukturierte Dokumente (z.B. Aufgabenstellungen, Folien, Ankündigungen) zuverlässig verarbeiten kann.
Ziel der Arbeit: Konzeption, Implementierung und Evaluation eines in Moodle integrierbaren KI-Assistenzsystems zur Beantwortung studierendenbezogener Fragen in einem Python-Programmierkurs. Der Chatbot soll organisatorische Fragen (z.B. Deadlines, Prüfungsmodus, Bewertungsregeln) sowie Fragen zu Aufgabenstellungen und Kursinhalten beantworten und dabei sowohl strukturierte LMS-Daten (z.B. über Moodle-APIs) als auch unstrukturierte Kursdokumente (z.B. Folien, Ankündigungen) berücksichtigen. Das System soll fachlich korrekte und transparente Antworten generieren und bei Unsicherheit entsprechend darauf hinweisen.
Aufgaben:
- Literaturrecherche zu AI-gestützten Assistenzsystemen in Learning Management Systemen, Retrieval-Augmented Generation (RAG), Halluzinations- und Guardrail-Strategien
- Konzeption einer Systemarchitektur zur Integration eines KI-Chatbots in Moodle
- Entwicklung eines Prototyps, der kursbezogene Kontextinformationen verarbeitet, strukturierte Daten über Moodle-APIs abruft, unstrukturierte Kursdokumente über ein Retrieval-Verfahren einbindet und Antworten speichert und protokolliert
- Implementierung von Mechanismen zur Minimierung von Halluzinationen und zur transparenten Kennzeichnung unsicherer Antworten
- Durchführung und Auswertung einer Evaluation anhand realer Studierendenanfragen
Erwartete Ergebnisse:
- Prototypischer, in Moodle integrierbarer KI-Chatbot
- Architektur zur Kombination von LMS-API-Daten und Retrieval-basiertem Kontext
- Prompt- und Guardrail-Strategie zur Reduktion von Halluzinationen
- Evaluation der Antwortqualität und Systemakzeptanz
Betreuung: Iris Groher