KI-basierte Abfrage von Architekturwissen zu Unternehmensanwendungen mit RAG und LLM

Einfache textuelle Abfrageschnittstelle für unternehmensspezifisches Architekturwissen, Umsetzung mittels großer Sprachmodelle (z.B. GPT) und Retrieval Augmented Generation (RAG), Zeigen der Vorteile/Nachteile im Vergleich zu bereits im Einsatz befindlichem System.

Hintergrund: RAG (Retrieval Augmented Generation) ist eine Möglichkeit, einem Sprachmodell (wie GPT) unternehmensspezifisches Wissen zur Verfügung zu stellen. In dieser Arbeit sollen RAG und LLMs im Kontext einer existierenden Architekturmanagementplattform eingesetzt werden, die in Kooperation mit einem unserer Industriepartner entwickelt wurde. Die Plattform erlaubt Software- und Systemarchitekten im Unternehmen, Informationen zu Unternehmensanwendungen sowie die jeweils verantwortlichen Stakeholder abzufragen. Typischerweise erstellt ein Architekt anlassbezogen Abfragen wie: “Alle Anwendungen, die ein Service nutzen” oder “Alle Anwendungen, die eine Technologie nutzen” (z.B. Spring). Abfragen müssen aktuell mit verschiedenen Abfragesprachen (z.B. Cypher u.a.) auf unterschiedlichen Datenquellen durchgeführt werden, die das Unternehmenswissen zur Verfügung stellen. Das Ergebnis einer Abfrage wird als strukturierter Datentyp im JSON-Format geliefert.

Ziel der Arbeit:Das Ziel der Arbeit ist eine Chat-basierte Query-Schnittstelle für natürlichsprachige Abfragen dieses Wissens zu schaffen, damit Abfragen wirklich wie im Absatz zuvor skizziert formuliert werden können (z.B. “Liefere mir alle Services, die für den Kreditprozess zuständig sind und für die Team Musterteam zuständig ist”). Zum Generieren der Antworten auf Basis der Abfrage soll ein Sprachmodell (z.B. GPT) über die jeweilige API genutzt werden. Der jeweiligen Kontext zur Beantwortung der Frage soll dem Sprachmodell über RAG (Retrieval Augmented Generation) zur Verfügung gestellt werden. Die (anonymisierten) Daten für das RAG können aus einem unserer Kooperationsprojekte mit der Industrie genutzt werden.

Aufgaben:

• Recherche zum Thema RAG und LLMs.
• Entwicklung eines Konzeptes zur Verwendung von Architekturwissen mittels RAG und LLM.
• Entwicklung eines Prototypen mit textueller Abfrageschnittstelle auf Basis des erstellten Konzeptes.
• Definition unterschiedlicher architekturbezogener Abfragen, um die Fähigkeiten der neuen Abfrageschnittstelle zu zeigen.

Erwartete Ergebnisse:

• Konzept für die Abfrage von unternehmensspezfischem Architekturwissen mittels RAG und LLM
• Prototyp der die Anwendung des Konzeptes anhand eines bereits vorhandenen Datensatzes zeigt
• Evaluierung der neuen Abfrageschnittstelle z.B. auf der Basis von Metriken wie F-Score (precision/recall), ggfs. auch Vergleich mit der alten Abfrageschnittstelle anhand zusätzlicher Kriterien wie Benuterzfreundlichkeit, Akzeptanz, etc. Hier sind ggfs. auch Exerteninterviews mit den Experten unseres Kooperationpartners möglich.

Betreuung: Rainer Weinreich

Im Rahmen der Arbeit ist eine Anstellung als Studienassistent:in mit flexiblem Zeitrahmen und -dauer möglich.