Die Notwendigkeit von LLM-Sicherheitsleitlinien

Mit starke KI kommt große Verantwortung, und der Einsatz großer Sprachmodelle stellt einzigartige Sicherheitsherausforderungen dar, die einen maßgeschneiderten Satz von OWASP-Richtlinien erfordern

Brainial ist nach ISO 27001 zertifiziert, um die Sicherheit der Daten zu gewährleisten, die unsere Kunden in ihren Brainial AI-basierten Tender Assistant hochladen. Wir wenden den OWASP-Standard an, da er eine umfassende Reihe von Richtlinien und Best Practices zur Identifizierung und Abschwächung allgemeiner Sicherheitsrisiken in Webanwendungen bietet.

‍

Mit der fortschreitenden technologischen Entwicklung haben sich große Sprachmodelle (LLMs) wie GPT-X, ChatGPT und seine Nachfolger durchgesetzt. LLMs beziehen sich auf maschinelle Lernmodelle, die auf riesigen Datenmengen trainiert und in Anwendungen wie ChatGPT eingesetzt werden. GPT-4 von OpenAI, BERT und LaMDA 2 von Google und RoBERTa oder LLaMA 2 von Meta sind Beispiele für LLMs. Diese Modelle sind in der Lage, menschenähnlichen Text zu generieren, was sie zu einem wertvollen Werkzeug für Aufgaben wie natural language processing, Inhaltsgenerierung und digitale Assistenten macht.

‍

Auf Brainial nutzen, trainieren und verfeinern wir auch unsere eigenen LLM-Modelle (z. B. unser proprietäres TenderGPT-Modell ), die wir im Ausschreibungsprozess einsetzen, z. B. um Daten zusammenzufassen, Fragen zu Ausschreibungen zu beantworten und Antworten und Textentwürfe zu generieren, um eine KI-gestützte Angebotserstellung zu ermöglichen.

LMMs sind sehr mächtig, aber mit großer Macht kommt auch große Verantwortung, und der Einsatz großer Sprachmodelle stellt einzigartige Sicherheitsherausforderungen dar, die einen maßgeschneiderten Satz von OWASP-Richtlinien erfordern.

‍

Die OWASP Top 10 für Large Language Model Anwendungen

‍

Das Projekt OWASP Top 10 for Large Language Model Applications zielt darauf ab, Entwickler, Designer, Architekten, Manager und Organisationen über die potenziellen Sicherheitsrisiken beim Einsatz und der Verwaltung von Large Language Models (LLMs) aufzuklären. Das Projekt bietet eine Liste der 10 kritischsten Schwachstellen, die häufig in LLM-Anwendungen auftreten, und hebt ihre potenziellen Auswirkungen, die einfache Ausnutzung und die Verbreitung in realen Anwendungen hervor.

Beispiele für Schwachstellen sind u. a. prompt Injektionen, Datenlecks, unzureichendes Sandboxing und unautorisierte Codeausführung. Ziel ist es, das Bewusstsein für diese Schwachstellen zu schärfen, Abhilfestrategien vorzuschlagen und letztendlich die Sicherheitslage von LLM-Anwendungen zu verbessern.

‍

‍

Wie wir die LLM OWASP Top 10 anwenden Brainial

Beim Training, der Feinabstimmung und der Implementierung von Large Language Models in unsere Anwendung prüfen und validieren wir gegen die üblichen LLM OWASP-Schwachstellen. Dies gewährleistet eine sichere Nutzung der LLM-Technologie und die Datensicherheit für die LLM-Modelle und -Daten unserer Kunden.

‍

Unter Brainial führen wir die folgenden Kontrollen und Präventivmaßnahmen durch.

‍

LLM01: Prompt Injektion

Angreifer können LLMs durch manipulierte Eingaben manipulieren und sie dazu bringen, die Absichten des Angreifers auszuführen. Dies kann direkt geschehen, indem das System prompt angegriffen wird, oder indirekt durch manipulierte externe Eingaben, was zu Datenexfiltration, Social Engineering und anderen Problemen führen kann.

‍

Schwachstellen:

• Direkte prompt Injektionen überschreiben Systemaufforderungen
• Indirekte prompt Injektionen unterbrechen den Gesprächskontext
• Ein Benutzer setzt ein LLM ein, um Textdaten zusammenzufassen, die eine indirekte prompt Injektion enthalten.

Unsere Präventivmaßnahmen:

• Privilegienkontrolle wird für den LLM-Zugang zu Backend-Systemen durchgesetzt
• Der Mensch in der Schleife wird für umsetzbare Funktionen erzwungen
• Externe Inhalte sind von den Benutzeraufforderungen getrennt

‍

LLM02: Unsichere Ausgabebehandlung

Unsichere Ausgabeverarbeitung ist eine Schwachstelle, die auftritt, wenn eine nachgelagerte Komponente blindlings large language model (LLM)-Ausgaben ohne angemessene Prüfung akzeptiert. Dies kann zu XSS und CSRF in Webbrowsern sowie zu SSRF, Privilegienerweiterung oder Remotecodeausführung auf Backend-Systemen führen.

‍

Schwachstellen:

• LLM-Ausgaben werden direkt in eine System-Shell oder eine ähnliche Funktion eingegeben, was zur Ausführung von Remote-Code führt.
• JavaScript oder Markdown wird vom LLM generiert und an einen Benutzer zurückgegeben, was zu XSS führt

Unsere Präventivmaßnahmen:

• Auf die Antworten, die vom Modell an die Backend-Funktionen gesendet werden, wird eine ordnungsgemäße Ausgabevalidierung angewendet.
• Die vom Modell an die Benutzer zurückgegebenen Ausgaben werden kodiert, um unerwünschte Code-Interpretationen zu vermeiden.

‍

LLM03: Vergiftung von Trainingsdaten

Trainingsdatenvergiftung bezieht sich auf die Manipulation der Daten oder des Feinabstimmungsprozesses, um Schwachstellen, Hintertüren oder Verzerrungen einzuführen, die die Sicherheit, die Wirksamkeit oder das ethische Verhalten des Modells beeinträchtigen könnten. Dies birgt das Risiko einer Leistungsverschlechterung, der Ausnutzung nachgelagerter Software und der Schädigung des Rufs.

‍

Schwachstellen:

• Ein böswilliger Akteur erstellt ungenaue oder bösartige Dokumente, die auf die Trainingsdaten eines Modells abzielen
• Das Modell trainiert mit gefälschten Informationen oder ungeprüften Daten, was sich in der Ausgabe widerspiegelt

Unsere Präventivmaßnahmen:

• Wir überprüfen die Legitimität der ausgewählten Datenquellen sowohl in der Trainings- als auch in der Feinabstimmungsphase
• Daten für verschiedene Modelle werden beim Training getrennt
• Das Training erfolgt in isolierten Trainingspipelines

‍

LLM04: Modell Denial of Service

Model Denial of Service tritt auf, wenn ein Angreifer mit einem Large LanguageModel (LLM) in einer Weise interagiert, die eine außergewöhnlich hohe Menge an Ressourcen verbraucht, was zu einer Verschlechterung der Dienstqualität für ihn und andere Benutzer führen kann und möglicherweise hohe Ressourcenkosten verursacht.

‍

Schwachstellen:

• Abfragen, die zu einer wiederkehrenden Ressourcennutzung führen, indem Aufgaben mit hohem Volumen in einer Warteschlange erzeugt werden
• Senden von Abfragen, die ungewöhnlich ressourcenintensiv sind
• Kontinuierlicher Eingabeüberlauf: Ein Angreifer sendet einen Strom von Eingaben an den LLM, der dessen Kontextfenster überschreitet

Unsere Präventivmaßnahmen:

• Die Ratenbegrenzung wird durchgesetzt, um die Anzahl der Anfragen zu begrenzen, die ein einzelner Benutzer oder eine IP-Adresse stellen kann
• Implementierung von Eingabevalidierung und -bereinigung, um sicherzustellen, dass Eingaben die definierten Grenzen und Kontextfenster einhalten, und Begrenzung des Ressourcenverbrauchs pro Anfrage oder Schritt

‍

LLM05: Schwachstellen in der Modellkette

Schwachstellen in der Modellkette von LLMs können Trainingsdaten, ML-Modelle und Bereitstellungsplattformen gefährden, was zu verzerrten Ergebnissen, Sicherheitsverletzungen oder kompletten Systemausfällen führen kann. Solche Schwachstellen können von veralteter Software, anfälligen vortrainierten Modellen, vergifteten Trainingsdaten und unsicheren Plugin-Designs herrühren.

‍

Schwachstellen:

• Feinabstimmung mit einem anfälligen vortrainierten Modell
• Mangelnde Transparenz der Schlussfolgerungskette
• Verwendung veralteter, überholter oder nicht gewarteter Modelle

Unsere Präventivmaßnahmen:

• Wir wenden MLOps Best Practices für unsere eigenen Modelle an
• Externe Modelle werden durch Modell- und Codesignierung validiert
• Wir überwachen Pipelines auf Schwachstellen und pflegen eine Patching-Politik

‍

LLM06: Offenlegung sensibler Informationen

LLM-Anwendungen können versehentlich sensible Informationen, geschützte Algorithmen oder vertrauliche Daten offenlegen, was zu unbefugtem Zugriff, Diebstahl von geistigem Eigentum und Verletzungen der Privatsphäre führen kann. Um diese Risiken zu mindern, sollten LLM-Anwendungen eine Datenbereinigung vornehmen, geeignete Nutzungsrichtlinien einführen und die vom LLM zurückgegebenen Datentypen einschränken.

‍

Schwachstellen:

• Unbeabsichtigte Offenlegung von vertraulichen Informationen aufgrund von Fehlern
• Überanpassung oder Speicherung sensibler Daten während des Trainings
• Gezielte Aufforderungen zur Umgehung von Eingabefiltern und zur Offenlegung sensibler Daten

Unsere Präventivmaßnahmen:

• Bei der Ausbildung von Modellen wird die Regel des geringsten Privilegs angewendet
• Robuste Validierung und Bereinigung von Eingaben wird angewendet
• Eine sichere Modellkette und eine strenge Zugangskontrolle werden durch das Design erzwungen

‍

LLM07: Unsicheres Plugin-Design

Plugins können anfällig für böswillige Anfragen sein, die aufgrund unzureichender Zugriffskontrollen und unsachgemäßer Eingabevalidierung zu schädlichen Folgen wie Datenexfiltration, Remotecodeausführung und Privilegienerweiterung führen. Entwickler müssen robuste Sicherheitsmaßnahmen ergreifen, um eine Ausnutzung zu verhindern, wie z. B. streng parametrisierte Eingaben und sichere Zugriffskontrollrichtlinien.

‍

Schwachstellen:

• Authentifizierung ohne ausdrückliche Autorisierung für ein bestimmtes Plugin
• Plugins, die alle Parameter in einem einzigen Textfeld oder als Rohcode, SQL oder Programmieranweisungen akzeptieren
• Angreifer erstellen Anfragen, um ihre eigenen Inhalte in kontrollierte Domänen einzubringen

Unsere Präventivmaßnahmen:

• Wir verwenden keine Plugins oder Standard-Chat-Schnittstellen wie ChatGPT, sondern entwickeln unseren eigenen Code nach unseren eigenen Software-Entwicklungsstandards, die auf gängigen Best Practices beruhen

‍

LLM08: Übermäßiger Funktionsumfang oder Zugriff

Übermäßige Handlungsfähigkeit in LLM-basierten Systemen/agents ist eine Schwachstelle, die durch Überfunktionalität, übermäßige Berechtigungen oder zu viel Autonomie verursacht wird. Um dies zu verhindern, müssen Entwickler die Funktionalität, die Berechtigungen und die Autonomie von Plug-ins oder Agenten auf das absolut Notwendige beschränken, die Benutzerautorisierung verfolgen, die menschliche Genehmigung für alle Aktionen verlangen und die Autorisierung in nachgelagerten Systemen implementieren.

‍

Schwachstellen:

• Ein LLM-Agent greift auf unnötige Funktionen eines Modells zu
• Ein LLM-Agent verfügt über nicht benötigte Berechtigungen und Zugriff auf Funktionen anderer (nachgelagerter) Systeme

Unsere Präventivmaßnahmen:

• Wir vermeiden ergebnisoffene Funktionen und setzen Modelle und agents mit granularer Funktionalität
• Protokollierung und Überwachung der Aktivität von LLM-Modellen und agents wird standardmäßig durchgeführt
• Unser Motto lautet "Keep it simple, Keep it secure" und wir halten uns bei der Entwicklung und Schulung unserer Modelle daran.

‍

LLM09: Übermäßiges Vertrauen in LLM-Ergebnisse

Wenn man sich zu sehr auf die Ergebnisse von LLMs verlässt, kann dies schwerwiegende Folgen haben, wie z. B. Fehlinformationen, rechtliche Probleme und Sicherheitslücken, wenn man einem LLM vertraut, kritische Entscheidungen zu treffen oder Inhalte zu generieren, ohne sie angemessen zu überwachen oder zu validieren.

‍

Schwachstellen:

• LLM liefert falsche Informationen
• LLM erzeugt unsinnigen Text
• Unzureichende Risikokommunikation von LLM-Anbietern

Vorbeugende Maßnahmen:

• Wir informieren unsere Nutzer und unsere Anwendungen klar über die Risiken und Einschränkungen von LLM.
• Es gibt eine regelmäßige Überwachung und Überprüfung der LLM-Ergebnisse.
• Wir ermöglichen in unserer Anwendung die Gegenprüfung der LLM-Ausgabe mit vertrauenswürdigen Quellen oder im Kontext und bitten unsere Nutzer, die Ausgabe ebenfalls auf Korrektheit zu prüfen.

‍

LLM10: Modell-Diebstahl

Beim Diebstahl von LLM-Modellen geht es um den unbefugten Zugriff auf LLM-Modelle und deren Exfiltration, wodurch wirtschaftliche Verluste, Rufschädigung und unbefugter Zugriff auf sensible Daten drohen.

‍

Schwachstellen:

• Angreifer bastelt Eingaben, um Modellausgaben zu sammeln
• Seitenkanalangriff zur Extraktion von Modellinformationen
• Angreifer verschafft sich unbefugten Zugang zum LLM-Modell
• Durchsickern von Modellartefakten und Gewichten

Unsere Präventivmaßnahmen:

• Wir haben strenge Zugangskontrollen und Authentifizierungen implementiert und überwachen regelmäßig Audit- und Zugangsprotokolle, wie in unseren ISO 27001-Richtlinien beschrieben.
• Die MLOps-Bereitstellung ist automatisiert und die Governance wird durchgesetzt
• Das Anbringen von Wasserzeichen auf den Ergebnissen unserer LLMs ist Teil unserer F&E-Bemühungen

‍

Schlussfolgerung

Die Welt der LLMs ist noch neu und kann überwältigend sein, da viele Forschungen und Experimente noch im Gange sind und viele Bereiche noch unentdeckt sind. Es ist jedoch offensichtlich, dass jedes Unternehmen, das mit einem LLM arbeitet, Richtlinien und Kontrollen benötigt, und der OWASP-Standard bietet einen guten Ausgangspunkt. Da NLP-Technologie und LLMs ein zentraler Bestandteil unseres KI-gestützten Ausschreibungsassistenten sind, sind wir bestrebt, unseren Kunden und Nutzern eine Lösung zu bieten, die sicher ist und der man vertrauen kann. Aus diesem Grund haben wir im Rahmen unserer ISO 27001-Zertifizierung eine LLM-Nutzungsrichtlinie und die LLM OWASP-Richtlinien eingeführt. Lesen Sie mehr über unsere Sicherheitsmaßnahmen in unserer ISO 27001-Zertifizierung

Mit der KI-gestützten Technologie von Brainial können Ausschreibungsteams Angebote leicht finden und qualifizieren, sicherstellen, dass sie keine kritischen Informationen übersehen, Ausschreibungsdokumente schnell und gründlich durchsehen und die benötigten Informationen schnell und einfach finden. Durch die Bewältigung dieser Herausforderungen hilft Brainial den Ausschreibungsteams, Zeit zu sparen, Fehlschlagskosten zu reduzieren und fundiertere Angebotsentscheidungen zu treffen. Prüfen Sie unsere KI-gestützte Lösung Tender Assist .