Minderung der Risiken generativer KI

Blog

Minderung der Risiken generativer KI

  • Minderung der Risiken generativer KI
3 Minuten Lesezeit

Generative künstliche Intelligenz (KI) ist in vielen Branchen und Disziplinen vielversprechend. Wie jede leistungsstarke neue Technologie bringt sie jedoch auch neue Sicherheitsrisiken mit sich. Nehmen wir uns einen Moment Zeit, um in die aufkommende generative KI-Bedrohungslandschaft einzutauchen und uns dabei speziell auf die Bereiche Daten- und Systemsicherheit zu konzentrieren. In diesem Blogbeitrag wird auch erläutert, wie Unternehmen diese Tools trotz dieser Risiken sicher einsetzen können.

Wie unterscheidet sich generative KI?

Um zu verstehen, wie generative KI die Bedrohungslandschaft verändert, müssen wir zunächst betrachten, wie sich diese neuen Systeme von traditionellen Systemen unterscheiden, die in den letzten 50 Jahren als Rückgrat von Lieferkettensystemen gedient haben. Die fünf wichtigsten Unterschiede sind:

  • Sicherheitstools und -praktiken für generative KI sind im Vergleich zu Technologien, die bereits für Datenbanken verfügbar sind, noch ausgereift. Sicherheitslücken in Datenbanken wie SQL-Injection sind nach jahrzehntelanger Fokussierung gut bekannt. Entwickler werden umfassend in Bezug auf diese Bedrohungen geschult, und robuste Überwachungstools sind in CI/CD-Pipelines integriert. Die generative KI-Reise steht jedoch erst am Anhang, da die Bedrohungsmodellierung und -tools noch im Entstehen begriffen sind.
  • Generative KI liefert neuartige Erkenntnisse, anstatt nur Datensätze abzurufen. Während Datenbanken Daten zurückgeben, die sie zuvor gespeichert haben, möglicherweise mit Transformationen oder Berechnungen, synthetisiert generative KI neuartige Daten auf der Grundlage ihres Trainings. Dies ist vergleichbar mit einem Analysten, der Erkenntnisse generiert, und einem Sachbearbeiter, der Datensätze abruft.
  • Formale Programmiersprachen sind vorhersehbar und eindeutig, im Gegensatz zu den Nuancen und Mehrdeutigkeiten, die in der natürlichen Sprache vorhanden sind, die von generativer KI verwendet wird. Datenbanken verwenden formale Sprachen wie SQL, die eine formale, verständliche Syntax für den Zugriff auf Daten nutzen. Eine bestimmte SQL-Anweisung, die im Kontext der bereits gespeicherten Daten ausgeführt wird, führt immer zum gleichen Ergebnis. Die generative KI verwendet jedoch die natürliche "alltägliche" Sprache – mit all ihren Nuancen und Mehrdeutigkeiten – für alle Ein- und Ausgaben. Wie bei zwei Menschen, die einen Vertrag aushandeln, kann es zu Missverständnissen zwischen Menschen und KI-Anwendungen kommen. Darüber hinaus sind die Ausgaben der generativen KI nicht deterministisch – was bedeutet, dass identische Eingaben zu unterschiedlichen Ergebnissen in Bezug auf Formulierung, Formulierung oder Bedeutung führen können.
  • Generativer KI fehlen möglicherweise Rückverfolgbarkeits- und Auditing-Funktionen, im Gegensatz zu Datenbanken mit strengeren Kontrollen. Mit Datenbanken können autorisierte Benutzer gespeicherte Daten einfach prüfen und deren Herkunft zurückverfolgen. Im Gegensatz dazu speichern generative KI-Modelle Wissen in einem neuronalen Netz in einer Form, die für die meisten Menschen unverständlich ist. Darüber hinaus gibt es derzeit keine robusten Techniken, um das erworbene "Wissen" der generativen KI-Modelle oder die potenziellen Verzerrungen ihrer Trainingsdaten zu überprüfen.
  • Generative KI verfügt derzeit über weniger integrierte Datenzugriffskontrollen als Datenbanken. Datenbanken verfügen über robuste Autorisierungskontrollen, die den Datenzugriff steuern. Der generativen KI fehlen derzeit jedoch solche integrierten Steuerelemente. Authentifizierte Benutzer können auf alle Daten zugreifen.

 

Die Untersuchung der Unterschiede zwischen traditionellen Systemen und generativer KI offenbart neue Sicherheitslücken und notwendige Abhilfemaßnahmen, die in drei Schlüsselbereiche eingeteilt werden können: Schutz sensibler Daten, Schutz von Systemen und Daten vor böswilliger Nutzung und ordnungsgemäße Steuerung von KI-Agenten und Plug-ins.
 

Kann ChatGPT den Supply-Chain-Test bestehen?

Blue Yonder stellt eine Benchmark-Studie für Sprachlernmodelle (LLMs) vor, in der getestet wird, wie leistungsfähig sie sind und ob sie effektiv auf die Lieferkettenanalyse angewendet werden können, um die tatsächlichen Probleme im Lieferkettenmanagement anzugehen. 

Sehen Sie sich die Ergebnisse an

Verstehen Sie die Risikofaktoren und wie Sie sie bewältigen können

Wenn ein Unternehmen seinem Softwaresystem sensible Daten anvertraut, wird erwartet, dass alle Informationen vollständig vor unbefugtem Zugriff, Änderung oder Exfiltration geschützt sind. Während traditionelle Schwachstellen nach wie vor ein Problem darstellen, birgt die Einzigartigkeit der generativen KI zusätzliche Risiken, vor denen man sich schützen muss.

Neben dem Schutz sensibler Daten ist es auch wichtig, dass generative KI ihre Service Level Agreements (SLAs) erfüllt – einschließlich Verfügbarkeit, Skalierbarkeit, Leistung, Zuverlässigkeit und Disaster Recovery. Es muss auch nachgewiesen werden, dass sich generative KI nicht negativ auf die SLAs nachgelagerter Systeme auswirkt. Das Verständnis dieser Schwachstellen und die Verhinderung von Sicherheitslücken ebnen den Weg für die Realisierung des enormen Versprechens generativer KI.

Zu den wichtigsten Schwachstellen, auf die Sie achten sollten, gehören:

  • Sofortige Injektion. Gut ausgearbeitete Eingaben können generative KI-Anwendungen dazu verleiten, vertrauliche Daten preiszugeben oder schädliche Aktionen auszuführen.
  • Unsichere Ausgabeverarbeitung. Die blinde Verwendung von KI-Ausgaben ohne Überprüfung öffnet die Tür für Systemexploits wie unbefugten Datenzugriff.
  • Vergiftung von Trainingsdaten. Manipulierte Trainingsdaten können KI-Komponenten korrumpieren und gefährliche Verzerrungen oder Hintertüren einführen.
  • Modell-Denial-of-Service-Angriff. Angreifer können generative KI-Anwendungen mit komplexen Anfragen überfordern und den Dienst beeinträchtigen oder deaktivieren.
  • Übermäßige Handlungsfähigkeit. Wenn KI-Komponenten unkontrollierte Autonomie eingeräumt wird, können sie möglicherweise schädliche Entscheidungen treffen, die auf fehlerhaften Argumenten basieren.
  • Unsicheres Plug-In-Design. KI-Komponenten von Drittanbietern können durch unsichere Datenverarbeitung schwerwiegende Schwachstellen einführen.
  • Kompromittierung der Lieferkette. Wenn Tools oder Datenquellen von Drittanbietern gehackt werden, stellen diese Ereignisse ein Risiko innerhalb der generativen KI-Anwendung dar.
  • Lecks sensibler Daten. Generative KI kann sensible Kunden- oder Geschäftsdaten offenlegen, denen sie während des Trainings ausgesetzt war.

 

Glücklicherweise können vorbeugende Maßnahmen mehrere Arten von KI-Schwachstellen abschwächen. Zum Beispiel trägt die Absicherung gegen prompte Injektion und Vergiftung von Trainingsdaten auch dazu bei, die Wahrscheinlichkeit der Offenlegung sensibler Informationen zu verringern. Ein robustes Identitäts- und Zugriffsframework mit einer gut durchdachten Implementierung der Zugriffskontrolle ist eine Voraussetzung für den Schutz vor übermäßigen Behördenangriffen. Und die traditionellen Sicherheitsmaßnahmen, die wir seit den Anfängen der Datenverarbeitung praktizieren, bilden die Grundlage, auf der generativer KI-Schutz aufbaut.

Mit einer wachsamen Sicherheitslage und tiefgreifenden Abwehrmaßnahmen können Unternehmen das enorme Potenzial generativer KI ausschöpfen und gleichzeitig Systeme und sensible Informationen schützen. Die Sicherung generativer KI erfordert einen mehrschichtigen Ansatz, der Daten, Modelltraining und Feinabstimmung, Infrastruktur, Identitäten, Zugriffskontrolle und vor allem Sorgfalt bei der Bewertung von Anbietern umfasst. Unternehmen müssen auch eine umfassende Governance, strenge Zugriffskontrolle, Ein- und Ausgabekontrollen, Überwachung, Sandboxing und klar definierte Entwicklungs- und Betriebsprotokolle implementieren.


Bewerten Sie Ihre generative KI-Sicherheitsposition, bevor Sie eintauchen

Unabhängig davon, ob Unternehmen generative KI direkt in intern entwickelte Lösungen integrieren oder diese Funktionen von Anbietern erwerben, ist es entscheidend, die richtigen Fragen zu stellen, um eine strenge Sicherheit zu gewährleisten. Die richtigen Fragen können dabei helfen, in Gesprächen festzustellen, ob angemessene Schutzmaßnahmen implementiert wurden. Erwägen Sie, die folgenden Themenbereiche abzudecken:

  • Sicherheit der Lieferkette. Unternehmen sollten Audits, Penetrationstests und Code-Reviews durch Dritte anfordern, um die Sicherheit der Lieferkette zu gewährleisten. Sie müssen verstehen, wie Drittanbieter sowohl initial als auch fortlaufend bewertet werden.
  • Datensicherheit. Unternehmen müssen verstehen, wie Daten auf der Grundlage ihrer Vertraulichkeit klassifiziert und geschützt werden, einschließlich persönlicher und proprietärer Geschäftsdaten. Wie werden Benutzerberechtigungen verwaltet und welche Sicherheitsvorkehrungen gibt es?
  • Zugriffskontrolle. Mit einer wachsamen Sicherheitslage – einschließlich privilegienbasierter Zugriffskontrollen und tiefgreifender Abwehrmaßnahmen – können Unternehmen das enorme Potenzial generativer KI ausschöpfen und gleichzeitig Systeme und sensible Informationen schützen.
  • Schulung der Pipelinesicherheit. Eine strenge Kontrolle rund um das Training von Data Governance, Pipelines, Modellen und Algorithmen ist unerlässlich. Welche Schutzmaßnahmen gibt es zum Schutz vor Datenvergiftung?
  • Sicherheit bei der Eingabe und Ausgabe. Vor der Implementierung von generativer KI sollten Unternehmen die Methoden zur Validierung von Eingaben evaluieren – sowie die Art und Weise, wie Ausgaben gefiltert, bereinigt und genehmigt werden.
  • Sicherheit der Infrastruktur. Wie oft führt der Anbieter Resilienztests durch? Wie lauten ihre SLAs in Bezug auf Verfügbarkeit, Skalierbarkeit und Leistung? Dies ist entscheidend für die Bewertung der Sicherheit und Stabilität der Infrastruktur.
  • Überwachung und Reaktion. Unternehmen müssen vollständig verstehen, wie Arbeitsabläufe, Überwachung und Reaktionen automatisiert, protokolliert und geprüft werden. Alle Überwachungsaufzeichnungen müssen sicher sein, insbesondere wenn sie wahrscheinlich vertrauliche oder persönliche Informationen enthalten.  
  • Beachtung. Unternehmen sollten bestätigen, dass der Anbieter Vorschriften wie GDPR und CCPA einhält und dass Zertifizierungen wie SOC2 und ISO 27001 erreicht wurden. Sie müssen verstehen, wo Daten erhoben, gespeichert und verwendet werden, um sicherzustellen, dass länder- oder landesspezifische Anforderungen erfüllt werden.

 

Realisieren Sie das Versprechen generativer KI auf sichere Weise

Generative KI hat ein immenses Potenzial, da fast täglich neue Anwendungen entdeckt werden. Während die derzeitigen Fähigkeiten bereits tiefgreifend sind, liegt noch größeres Potenzial vor uns.

Mit diesem Versprechen gehen jedoch Risiken einher, die eine umsichtige, kontinuierliche Governance erfordern. 

Sicherheit schafft Vertrauen und ermöglicht Fortschritt – und die Anleitung in diesem Blogbeitrag bietet Unternehmen einen Ausgangspunkt, um diese Risiken zu bewerten und zu bewältigen. Mit Sorgfalt können Unternehmen generative KI frühzeitig und sicher einführen, um einen Vorsprung bei der Realisierung der Vorteile der generativen KI jetzt und in Zukunft zu erhalten. Der Schlüssel liegt in der Balance zwischen Innovation und Governance durch kontinuierliche Zusammenarbeit zwischen Sicherheits- und KI-Teams.

Blue Yonder wendet den Goldstandard der Branche für generative KI-Sicherheit, OWASP Top 10 for Large Language Models, an, um seine Lösungen zu schützen. Das bedeutet, dass unsere Kunden die neuesten technologischen Innovationen voll ausschöpfen können, damit ihre Unternehmen schneller und intelligenter laufen. Kontaktieren Sie uns, um das Potenzial für sichere generative KI in Ihrer Lieferkette zu besprechen. 

Erzielen Sie Spitzenleistungen in der Lieferkette mit prädiktiver und generativer KI

Konzentrieren Sie sich auf Entscheidungen und überlassen Sie KI die Datenverarbeitung mit jahrzehntelanger Fachkompetenz und bewährter Innovation, die Ihrem Unternehmen transformative Ergebnisse ermöglicht.

Entdecken Sie mehr