Konzeption, Implementierung und Evaluation eines KI-basierten Feedback-Chatbots für einen Python Programmierkurs
Hintergrund: In einführenden Programmierveranstaltungen erhalten Studierende typischerweise automatisiertes Feedback durch Unit-Tests (z.B. via Artemis oder Moodle CodeRunner). Dieses Feedback ist primär ergebnisorientiert („Test bestanden / nicht bestanden“) und liefert kaum Unterstützung bei konzeptuellen Missverständnissen, ineffizienten Lösungsstrategien oder strukturellen Problemen im Code. Generative AI eröffnet neue Möglichkeiten zur automatischen Analyse studentischer Lösungen und zur Generierung erklärender, formativer Rückmeldungen. Bisherige Ansätze fokussieren jedoch häufig auf Code-Generierung oder automatische Fehlerbehebung. Für die Programmierausbildung ist jedoch insbesondere die Entwicklung von Systemen relevant, die gezielt lernförderliches Feedback erzeugen, ohne vollständige Musterlösungen preiszugeben. Zudem fehlt in vielen AI-Anwendungen der explizite Bezug zum curricularen Kontext: Das System weiß nicht, welche Konzepte im Kurs bereits behandelt wurden und auf welchem Abstraktionsniveau Feedback gegeben werden sollte.
Ziel der Arbeit: Konzeption, Implementierung und Evaluation eines AI-basierten Feedback-Chatbots für einen Python-Grundlagenkurs. Der Bot erhält die abgegebene Lösung eines Studierenden sowie die zugehörige Aufgabenbeschreibung und generiert darauf basierend formatives Feedback. Dabei soll das System fachlich korrekte Rückmeldungen erzeugen, typische Fehler identifizieren, Verbesserungshinweise geben, konzeptuelle Erklärungen liefern, jedoch keine vollständige Musterlösung oder fertigen Code generieren. Hierzu soll eine strukturierte Prompt-Architektur entwickelt werden, die didaktische Regeln sowie Guardrails zur Vermeidung von Lösungsgenerierung enthält. Zusätzlich soll untersucht werden, ob die Einbindung von Kursmaterialien (z.B. Aufgabenbeschreibungen, behandelte Konzepte) über ein Retrieval-Verfahren (z.B. RAG) die Qualität des Feedbacks verbessert.
Aufgaben:
- Literaturrecherche zu AI-gestütztem Feedback in der Programmierausbildung, Prompt Engineering, Guardrail-Strategien sowie Retrieval-Augmented Generation (RAG)
- Konzeption einer strukturierten Prompt-Vorlage zur Analyse studentischer Python-Lösungen
- Entwicklung eines Prototyps zur Verwaltung von Aufgaben- und Kursinhalten, zur Analyse studentischen Codes, sowie zur Speicherung und Darstellung des generierten Feedbacks
- Durchführung und Auswertung einer Evaluation anhand realer studentischer Lösungen
Erwartete Ergebnisse:
- Prototypischer AI-Feedback-Chatbot für Python-Programmieraufgaben
- Prompt- und Guardrail-Methodik zur kontrollierten Feedback-Generierung
- Implementierung eines RAG-basierten Kontextmechanismus
Betreuung: Iris Groher