Ein Finanzinstitut trat mit einer besonderen Anforderung an uns heran: Sie benötigten einen konversationellen KI-Agenten, der höchsten Sicherheits- und Datenschutzstandards entspricht. Die zentrale Vorgabe: Der Chatbot muss vollständig lokal betrieben werden, ohne jegliche Verbindung zum öffentlichen Internet. Diese strikte Anforderung ergab sich aus der Sensibilität der verarbeiteten Finanzdaten sowie der Notwendigkeit, strenge regulatorische Vorgaben zum Datenschutz und zur Datensicherheit lückenlos einzuhalten.
Chatbot mit den höchsten Datenschutz Vorgaben
Das Finanzinstitut entschied sich für lokale Open-Source-Modelle als Basis für den konversationellen Agenten, um maximale Transparenz zu gewährleisten und das System jederzeit prüfen und anpassen zu können. Diese Strategie ermöglichte es ihnen, die KI exakt auf ihre individuellen Anforderungen zuzuschneiden und gleichzeitig volle Kontrolle über den Technologie-Stack und die verarbeiteten Daten zu behalten. Zusätzlich bestand die Anforderung an eine Document Question Answering (QA)-Lösung, um die Retrieval-Augmented Generation (RAG)-Fähigkeiten auf verschiedenen internen Datensätzen zu testen. Dadurch konnte der Chatbot präzise und relevante Antworten aus einer umfangreichen internen Wissensbasis generieren. Die Herausforderung bestand darin, eine leistungsfähige, sichere und vollständig private Chat-Lösung zu entwickeln, die modernste KI-Funktionalitäten nutzt, ohne die strengen Datenschutz- und Sicherheitsrichtlinien des Unternehmens zu verletzen.
Um den hohen Anforderungen des Finanzinstituts gerecht zu werden, haben wir eine ganzheitliche Lösung entwickelt, die Sicherheit, Datenschutz und Funktionalität in den Mittelpunkt stellt. Unsere Architektur basiert auf einer Virtual Private Cloud (VPC) auf AWS, wodurch der konversationelle Agent und alle zugehörigen Daten vollständig vom öffentlichen Internet isoliert bleiben. Diese Umgebung bildet die sichere Basis der Lösung und nutzt die leistungsstarke AWS-Infrastruktur, um Datenintegrität und Vertraulichkeit zu gewährleisten. Zusätzlich wurde eine VPN-Verbindung zwischen der VPC und den dedizierten Client-Computern eingerichtet. Diese verschlüsselte Kommunikation sorgt dafür, dass alle Interaktionen zwischen den Nutzern des Finanzinstituts und dem Chatbot sicher und privat bleiben – ein entscheidender Schritt zur Erfüllung strenger Datenschutzvorgaben.
Das RAG System
Lokale KI-gestützte Chat-Lösung für maximale Sicherheit und Anpassungsfähigkeit
Im Zentrum der Lösung steht die lokale Bereitstellung eines Open-Source-basierten konversationellen Agenten. Durch die Wahl eines Open-Source-Modells erhielt das Finanzinstitut die Flexibilität, den Agenten zu prüfen, anzupassen und kontinuierlich zu optimieren, um ihn an sich verändernde Anforderungen anzupassen. Gleichzeitig erleichterte dieser Ansatz die Einhaltung branchenspezifischer Vorschriften, da alle Systemkomponenten den strengen internen Sicherheitsrichtlinien entsprachen.
Neben dem Chatbot wurde ein lokales Open-Source Document QA-System implementiert, das die Retrieval-Augmented Generation (RAG)-Funktionalität ermöglicht. Dadurch konnte der Agent gezielt auf interne Dokumente und Datenquellen zugreifen, um präzise und kontextbezogene Antworten zu liefern. Diese Fähigkeit war essenziell, um Nutzern verlässliche Informationen aus einer umfassenden internen Wissensbasis bereitzustellen. Zusätzlich haben wir eine lokale Flowise-Instanz für die Erstellung individueller KI-Anwendungen integriert. Flowise ermöglichte eine nahtlose Verbindung verschiedener KI-Funktionen mit dem konversationellen Agenten, sodass das Finanzinstitut die Lösung genau an seine spezifischen operativen Anforderungen anpassen konnte. Insgesamt entstand eine hochfunktionale, sichere und vollständig private KI-gestützte Chat-Lösung, die nicht nur den Datenschutz- und Sicherheitsanforderungen des Finanzinstituts gerecht wurde, sondern gleichzeitig die Effizienz durch moderne KI-Funktionalitäten erheblich steigerte – alles innerhalb einer rein lokalen, isolierten Betriebsumgebung.
• AWS VPC Setup für eine isolierte, sichere Betriebsumgebung
• Huggingchat Instance als Open-Source-Chatbot-Basis
• Text Generation Inference Deployment für effiziente Modellbereitstellung
• Kafka 8x7b als LLM für den konversationellen Agenten mit multilingual-e5-large für Vektoreinbettungen
• Terraform für schnelles und effizientes Erstellen und Löschen von Infrastrukturkonfigurationen während der Prototyping-Phase
