Verbesserte Sicherheit mit OWASP für große Sprachmodelle

Die Notwendigkeit von LLM-Sicherheitsleitlinien

Mit großer Macht kommt große Verantwortung, und der Einsatz großer Sprachmodelle stellt einzigartige Sicherheitsherausforderungen dar, die einen maßgeschneiderten Satz von OWASP-Richtlinien erfordern

Brainial ist nach ISO 27001 zertifiziert, um die Sicherheit der Daten zu gewährleisten, die unsere Kunden in ihren Brainial AI-basierten Ausschreibungsassistenten hochladen. Wir wenden den OWASP-Standard an, da er eine umfassende Reihe von Richtlinien und Best Practices zur Identifizierung und Abschwächung allgemeiner Sicherheitsrisiken in Webanwendungen bietet.

‍

Mit der fortschreitenden technologischen Entwicklung haben sich große Sprachmodelle (LLMs) wie GPT-X, ChatGPT und seine Nachfolger immer mehr durchgesetzt. LLMs beziehen sich auf maschinelle Lernmodelle, die auf riesigen Datenmengen trainiert und in Anwendungen wie ChatGPT eingesetzt werden. GPT-4 von OpenAI, BERT und LaMDA 2 von Google und RoBERTa oder LLaMA 2 von Meta sind Beispiele für LLMs. Diese Modelle sind in der Lage, menschenähnlichen Text zu erzeugen, was sie zu einem wertvollen Werkzeug für Aufgaben wie die natural language processing, die Erstellung von Inhalten und digitale Assistenten macht.

‍

Bei Brainial nutzen, trainieren und verfeinern wir auch unsere eigenen LLM-Modelle (z. B. unser proprietäres TenderGPT-Modell ), die wir im Ausschreibungsprozess einsetzen, um z. B. Daten zusammenzufassen, Fragen zu Ausschreibungen zu beantworten und Antworten und Textentwürfe zu generieren, um KI-gestützte Angebote zu schreiben.

LMMs sind sehr mächtig, aber mit großer Macht kommt auch große Verantwortung, und der Einsatz großer Sprachmodelle stellt einzigartige Sicherheitsherausforderungen dar, die einen maßgeschneiderten Satz von OWASP-Richtlinien erfordern.

‍

Die OWASP Top 10 für Large Language Model

‍

Das OWASP Top 10 for Large Language Model Applications Projekt zielt darauf ab, Entwickler, Designer, Architekten, Manager und Organisationen über die potenziellen Sicherheitsrisiken beim Einsatz und der Verwaltung von Large Language Models (LLMs) aufzuklären. Das Projekt stellt eine Liste der 10 kritischsten Schwachstellen bereit, die häufig in LLM-Anwendungen auftreten, und hebt deren potenzielle Auswirkungen, einfache Ausnutzung und Verbreitung in realen Anwendungen hervor.

Beispiele für Schwachstellen sind u. a. prompt Injections, Datenlecks, unzureichendes Sandboxing und unautorisierte Codeausführung. Ziel ist es, das Bewusstsein für diese Schwachstellen zu schärfen, Abhilfestrategien vorzuschlagen und letztlich die Sicherheitslage von LLM-Anwendungen zu verbessern.

‍

‍

Wie wir die LLM OWASP Top 10 bei Brainial anwenden

Beim Training, der Feinabstimmung und der Implementierung von Large Language Models in unsere Anwendung prüfen und validieren wir gegen die üblichen LLM OWASP-Schwachstellen. Dies gewährleistet eine sichere Nutzung der LLM-Technologie und die Datensicherheit für die LLM-Modelle und -Daten unserer Kunden.

‍

Bei Brainial wenden wir die folgenden Kontrollen und Präventivmaßnahmen an.

‍

LLM01: Prompt Injektion

Angreifer können LLMs durch manipulierte Eingaben manipulieren und sie dazu bringen, die Absichten des Angreifers auszuführen. Dies kann direkt geschehen, indem der Angreifer die prompt des Systems missbraucht, oder indirekt durch manipulierte externe Eingaben, was zu Datenexfiltration, Social Engineering und anderen Problemen führen kann.

‍

Schwachstellen:

• Direkte prompt überschreiben System-Prompts
• Indirekte prompt unterwandern den Gesprächskontext
• Ein Benutzer setzt ein LLM ein, um Textdaten zusammenzufassen, die eine indirekte prompt enthalten

Unsere Präventivmaßnahmen:

• Privilegienkontrolle wird für den LLM-Zugang zu Backend-Systemen durchgesetzt
• Der Mensch in der Schleife wird für umsetzbare Funktionen erzwungen
• Externe Inhalte sind von den Benutzeraufforderungen getrennt

‍

LLM02: Unsichere Ausgabebehandlung

Unsichere Ausgabeverarbeitung ist eine Schwachstelle, die auftritt, wenn eine nachgelagerte Komponente die Ausgabe eines large language model (LLM) blind akzeptiert, ohne sie ordnungsgemäß zu prüfen. Dies kann zu XSS und CSRF in Webbrowsern sowie zu SSRF, Privilegienerweiterung oder Remotecodeausführung auf Backend-Systemen führen.

‍

Schwachstellen:

• LLM-Ausgaben werden direkt in eine System-Shell oder eine ähnliche Funktion eingegeben, was zur Ausführung von Remote-Code führt.
• JavaScript oder Markdown wird vom LLM generiert und an einen Benutzer zurückgegeben, was zu XSS führt

Unsere Präventivmaßnahmen:

• Auf die Antworten, die vom Modell an die Backend-Funktionen gesendet werden, wird eine ordnungsgemäße Ausgabevalidierung angewendet.
• Die vom Modell an die Benutzer zurückgegebenen Ausgaben werden kodiert, um unerwünschte Code-Interpretationen zu vermeiden.

‍

LLM03: Vergiftung von Trainingsdaten

Trainingsdatenvergiftung bezieht sich auf die Manipulation der Daten oder des Feinabstimmungsprozesses, um Schwachstellen, Hintertüren oder Verzerrungen einzuführen, die die Sicherheit, die Wirksamkeit oder das ethische Verhalten des Modells beeinträchtigen könnten. Dies birgt die Gefahr von Leistungseinbußen, der Ausnutzung nachgelagerter Software und der Schädigung des Rufs.

‍

Schwachstellen:

• Ein böswilliger Akteur erstellt ungenaue oder bösartige Dokumente, die auf die Trainingsdaten eines Modells abzielen
• Das Modell trainiert mit gefälschten Informationen oder ungeprüften Daten, was sich in der Ausgabe widerspiegelt

Unsere Präventivmaßnahmen:

• Wir überprüfen die Legitimität der Ziel-Datenquellen sowohl in der Trainings- als auch in der Feinabstimmungsphase
• Daten für verschiedene Modelle werden beim Training getrennt
• Das Training erfolgt in isolierten Trainingspipelines

‍

LLM04: Modell Denial of Service

Model Denial of Service tritt auf, wenn ein Angreifer mit einem Large LanguageModel (LLM) in einer Weise interagiert, die eine außergewöhnlich hohe Menge an Ressourcen verbraucht, was zu einer Verschlechterung der Dienstqualität für ihn und andere Benutzer führen kann und möglicherweise hohe Ressourcenkosten verursacht.

‍

Schwachstellen:

• Abfragen, die zu einer wiederkehrenden Ressourcennutzung führen, indem Aufgaben mit hohem Volumen in einer Warteschlange erzeugt werden
• Senden von Abfragen, die ungewöhnlich ressourcenintensiv sind
• Kontinuierlicher Eingabeüberlauf: Ein Angreifer sendet einen Strom von Eingaben an den LLM, der dessen Kontextfenster überschreitet

Unsere Präventivmaßnahmen:

• Die Ratenbegrenzung wird durchgesetzt, um die Anzahl der Anfragen zu begrenzen, die ein einzelner Benutzer oder eine IP-Adresse stellen kann
• Implementierung von Eingabevalidierung und -bereinigung, um sicherzustellen, dass Eingaben die definierten Grenzen und Kontextfenster einhalten, und Begrenzung des Ressourcenverbrauchs pro Anfrage oder Schritt

‍

LLM05: Schwachstellen in der Modellkette

Schwachstellen in der Modellkette von LLMs können Trainingsdaten, ML-Modelle und Bereitstellungsplattformen gefährden, was zu verzerrten Ergebnissen, Sicherheitsverletzungen oder kompletten Systemausfällen führen kann. Solche Schwachstellen können von veralteter Software, anfälligen vortrainierten Modellen, vergifteten Trainingsdaten und unsicheren Plugin-Designs herrühren.

‍

Schwachstellen:

• Feinabstimmung mit einem anfälligen vortrainierten Modell
• Mangelnde Transparenz der Schlussfolgerungskette
• Verwendung veralteter, überholter oder nicht gewarteter Modelle

Unsere Präventivmaßnahmen:

• Wir wenden MLOps Best Practices für unsere eigenen Modelle an
• Externe Modelle werden durch Modell- und Codesignierung validiert
• Wir überwachen Pipelines auf Schwachstellen und pflegen eine Patching-Politik

‍

LLM06: Offenlegung sensibler Informationen

LLM-Anwendungen können versehentlich sensible Informationen, geschützte Algorithmen oder vertrauliche Daten offenlegen, was zu unbefugtem Zugriff, Diebstahl von geistigem Eigentum und Verletzungen der Privatsphäre führen kann. Um diese Risiken zu mindern, sollten LLM-Anwendungen eine Datenbereinigung vornehmen, geeignete Nutzungsrichtlinien einführen und die vom LLM zurückgegebenen Datentypen einschränken.

‍

Schwachstellen:

• Unbeabsichtigte Offenlegung von vertraulichen Informationen aufgrund von Fehlern
• Überanpassung oder Speicherung sensibler Daten während des Trainings
• Gezielte Aufforderungen zur Umgehung von Eingabefiltern und zur Offenlegung sensibler Daten

Unsere Präventivmaßnahmen:

• Bei der Ausbildung von Modellen wird die Regel des geringsten Privilegs angewandt
• Robuste Validierung und Bereinigung von Eingaben wird angewendet
• Eine sichere Modellkette und eine strenge Zugangskontrolle werden durch das Design erzwungen

‍

LLM07: Unsicheres Plugin-Design

Plugins können anfällig für böswillige Anfragen sein, die aufgrund unzureichender Zugriffskontrollen und unsachgemäßer Eingabevalidierung zu schädlichen Folgen wie Datenexfiltration, Remotecodeausführung und Privilegienerweiterung führen. Entwickler müssen robuste Sicherheitsmaßnahmen ergreifen, um eine Ausnutzung zu verhindern, z. B. strenge parametrisierte Eingaben und sichere Zugriffskontrollrichtlinien.

‍

Schwachstellen:

• Authentifizierung ohne ausdrückliche Autorisierung für ein bestimmtes Plugin
• Plugins, die alle Parameter in einem einzigen Textfeld oder als Rohcode, SQL oder Programmieranweisungen akzeptieren
• Angreifer erstellen Anfragen, um ihre eigenen Inhalte in kontrollierte Domänen einzubringen

Unsere Präventivmaßnahmen:

• Wir verwenden keine Plugins oder Standard-Chat-Schnittstellen wie ChatGPT, sondern entwickeln unseren eigenen Code nach unseren eigenen Software-Entwicklungsstandards, die auf gängigen Best Practices beruhen

‍

LLM08: Übermäßiger Funktionsumfang oder Zugriff

Excessive Agency in LLM-basierten agents ist eine Schwachstelle, die durch Überfunktionalität, übermäßige Berechtigungen oder zu viel Autonomie verursacht wird. Um dies zu verhindern, müssen die Entwickler die Plugin- oder Agentenfunktionalität, die Berechtigungen und die Autonomie auf das absolut Notwendige beschränken, die Benutzerautorisierung nachverfolgen, für alle Aktionen eine menschliche Genehmigung verlangen und die Autorisierung in nachgelagerten Systemen implementieren.

‍

Schwachstellen:

• Ein LLM-Agent greift auf unnötige Funktionen eines Modells zu
• Ein LLM-Agent verfügt über nicht benötigte Berechtigungen und Zugriff auf Funktionen anderer (nachgelagerter) Systeme

Unsere Präventivmaßnahmen:

• Wir vermeiden offene Funktionen und setzen Modelle und agents mit granularer Funktionalität ein.
• Die Protokollierung und Überwachung der Aktivitäten von LLM-Modellen und agents erfolgt standardmäßig
• Unser Motto lautet "Keep it simple, Keep it secure" und wir halten uns bei der Entwicklung und Schulung unserer Modelle daran.

‍

LLM09: Übermäßiges Vertrauen in LLM-Ergebnisse

Wenn man sich zu sehr auf die Ergebnisse von LLMs verlässt, kann dies schwerwiegende Folgen haben, wie z. B. Fehlinformationen, rechtliche Probleme und Sicherheitslücken, wenn man einem LLM vertraut, kritische Entscheidungen zu treffen oder Inhalte zu generieren, ohne sie angemessen zu überwachen oder zu überprüfen.

‍

Schwachstellen:

• LLM liefert falsche Informationen
• LLM erzeugt unsinnigen Text
• Unzureichende Risikokommunikation von LLM-Anbietern

Vorbeugende Maßnahmen:

• Wir informieren unsere Nutzer und unsere Anwendungen klar über die Risiken und Einschränkungen von LLM.
• Es gibt eine regelmäßige Überwachung und Überprüfung der LLM-Ergebnisse
• Wir ermöglichen in unserer Anwendung die Gegenprüfung der LLM-Ausgabe mit vertrauenswürdigen Quellen oder im Kontext und bitten unsere Nutzer, die Ausgabe ebenfalls auf Korrektheit zu prüfen.

‍

LLM10: Modell-Diebstahl

Beim Diebstahl von LLM-Modellen geht es um den unbefugten Zugriff auf LLM-Modelle und deren Exfiltration, wodurch wirtschaftliche Verluste, Rufschädigung und unbefugter Zugriff auf sensible Daten drohen.

‍

Schwachstellen:

• Angreifer bastelt Eingaben, um Modellausgaben zu sammeln
• Seitenkanalangriff zur Extraktion von Modellinformationen
• Angreifer verschafft sich unbefugten Zugang zum LLM-Modell
• Durchsickern von Modellartefakten und Gewichten

Unsere Präventivmaßnahmen:

• Wir haben strenge Zugangskontrollen und Authentifizierungen implementiert und überwachen regelmäßig Audit- und Zugangsprotokolle, wie in unseren ISO 27001-Richtlinien beschrieben.
• Die MLOps-Bereitstellung ist automatisiert und die Governance wird durchgesetzt
• Das Anbringen von Wasserzeichen auf den Ergebnissen unserer LLMs ist Teil unserer F&E-Bemühungen

‍

Schlussfolgerung

Die Welt der LLMs ist noch neu und kann überwältigend sein, da viele Forschungen und Experimente noch im Gange sind und viele Bereiche noch unentdeckt sind. Es ist jedoch offensichtlich, dass jedes Unternehmen, das mit einem LLM arbeitet, Richtlinien und Kontrollen benötigt, und der OWASP-Standard bietet einen guten Ausgangspunkt. Da NLP-Technologie und LLMs ein zentraler Bestandteil unseres KI-gestützten Ausschreibungsassistenten sind, sind wir bestrebt, unseren Kunden und Nutzern eine sichere und vertrauenswürdige Lösung zu bieten. Aus diesem Grund haben wir im Rahmen unserer ISO 27001-Zertifizierung eine LLM-Nutzungsrichtlinie und die LLM OWASP-Richtlinien eingeführt. Lesen Sie mehr über unsere Sicherheitsmaßnahmen in unserer ISO 27001-Zertifizierung

Mit der KI-gestützten Technologie von Brainial können Ausschreibungsteams Ausschreibungen leicht finden und qualifizieren, sicherstellen, dass sie keine kritischen Informationen übersehen, Ausschreibungsdokumente schnell und gründlich durcharbeiten und die benötigten Informationen schnell und einfach finden. Durch die Bewältigung dieser Herausforderungen hilft Brainial den Ausschreibungsteams, Zeit zu sparen, Fehlschlagskosten zu reduzieren und fundiertere Angebotsentscheidungen zu treffen. Prüfen Sie unsere KI-gestützte Tender Assist Lösung.