8 Ki-Sicherheitsrisiken, die Unternehmen übersehenn

Laut Einer Studie des WeltwirtschaftsForums, Die in Zusammenarbeit Mit Accenture Durchgeführt Wurde, Versäumen es 63 Prozent Der Unternehmen, Die Sicherheit von ki-tools vor Deren Einsatz Zu überprüfen. Dadurch Gehen Sie Eine Reihe von Risiken für ihr unternehmen ein.

Dies doré sowohl für handelsübliche ki-lösungen als auch für interne implémentierghen, die à zusammenarbeit mit logicielwicklungsteams erstellt wurden. Ainsi, Zeigt der Tricentis 2025 Rapport de transformation de la qualité, Dass Organisationn überwiegend auf die Verbesserung der Liefergeschwindigkeit (45 prozent) und weniger auf die die snding swotyqualität (13 prozent) ausgerichtet sind. Ein Dttel (32 Prozent) der Befragten Gibt Allerdings Zu, Dass Minderwertige Software Wahrscheinlich Zu Häufigeren SicherHeheitsverletlUnngen Oder Compliance-Verstößen Führen Wird.

Doch diese verstöße Werden immer häufiger. Der Kürzlich Veröffentlichte Cybersecurity Readiness Index von cisco ergab, dass 86 prozent der Unternehmen im Vergangenen jahr einen ki-bezogen sicherneitsvorfall erlebt Haben. Weniger als die hälfte (45 prozent) Glauben, dass ihr unternehmen über die interne ressourcen und das fachwissen verfügt, um umfassende ki-sicherheitsbewertungen durchzuführen.

Mourir häufigsten ki-sicherheitsrisiken

Datenoffenlegung

Ki-Systeme Verarbeiten de Große Mengen Sensibler Informationen. OHNE ROBUSTE TESTS Können Unternehmen übersehen, wie leicht diese daten durch Ungesicherte Speicherung, Zu Großzügige api-Antworten oder schlechte zugriffskontrollen verloren gehen können.

„Viele Ki-Systeme Nehmen Während der Inferenz Benutzerdaten auf oder Speichern Kontextinformationen für die Fortführung der Session”, Erklärt Peter Des ki-silerhehetsterstersters Mindgard. „Wenn Die Datenverarbeitung Nicht überprüft Wird, besteht ein hohes Risiko von datenlecks Durch Modellausgaben, log-exposition oder den missbrauch fein abgestter datensätze. Noch Verstärkt. « 

Lesenipp: MIT Genai Zum Insider-Molet

Schwachstellen auf Modellebene

Dazu Gehören inject-injection, jailbreaks und adversarial provide chainage. OHNE STRENGE TESTS Können Modelle Manipulierert Werden, Um Ausgabebeschränkungen Zu Umgehen, Daten Preiszugeben Oder Unabebsichtigte aufgaben Auszuführen.

„Diese angriffe nutzen häufig schwachstellen dans den JustierManismen des modells oder dessen abhängigkeit von raisonnement auf token-ebene”, führt der Expere für ki-sicherheit auus.

ModelLintegrität und Gegnerische Angriffe

OHNE TESTS AUF GEGNERISCHE Manipulationn Oder Vergiftete Formingsdaten Können Angreifer Leicht Das Verhalten Eines Ki-modells Beeinflussen, InSbeSondere Wenn es zur Unterstützung von Geschäftentscheidungen Zur Automatisiergs Senssibler Aufgaben Eingesseztinder.

„Angreifer Können Eingabedaten Manipulieren, um ki-modelle zu täuschen und sie zu falschen ertscheidungen zu verleiten. Dazu gehören umgehungsangriffe und empoisonnement des données», Erläutertteratera Cymbedes.

Systemische IntegrationsRisiken

Ki-modéle werden häufig als teil größerer anwendungspipelines eingesetzt, beispelsweise über apis, plugins oder GÉNÉRATION AUGURATIVE (RAG)-Architekturen. „UNZUREICHENDE TESTS AUF Dieser Ebene Können Zu Einer Unistarderen Verarbeitung von Modelleingaben und -ausgaben, injekesspfaden über serialisierte datenformate und einer Ausweitung von Berechtigunggen innerhalb Der Hosting-umgebung führen”, mahnwan von vonwan. «Diese Integrationspunkte Werden dans Herkömmlichen AppSec-Workflows (Sécurité des applications) Häufig übersehen.»

Fehler Bei der Zugriffskontrolle

Ki-tools werden souvent dans Größere Systeme eingebunden und können bei falscher konfiguration benutzern oder angreifern mehr zugriff gewähren als beabsichtigt. Dazu Können Offengelegte API-Schlüssel, Mangelhafte Authentifizierung Oder unzureichende Protokollierung Gehören, die es Schwierig Machen, Misbrauch Zu Erkennen.

Sicherheitslücken à Der Laufzeit

Manche Ki-Systeme Können Nur Währen Der BereitstellUng Unerwartete Verhaltensweisen Zeigen, Insbesondere Wenn Sie Unter Dynamischen Eingabebedinggen Arbeiten Oder mit-mit anderen Diesten Interageren.

„Schwachstellen wie logikfehler, kontextüberläufe oder outer-reflection treten oft erst währen der laufzeit auf und erfordern opérative red-eaming-maßnahmen oder live-traffic-simulationen, um sie zu erkennen“, so Garraghan.

Verstöße Gegen Compliance

Wenn Nicht Sichegestellt Wird, Dass Ki-Tools Die Gesetzlichen Standards Erfüllen, Kann meurt Rechtliche Konsequenzen Haben. Beispsielsweise Können Verstöße Gegen Vorschriften Durch Unbefugte Datenverarbeitung Durch Ki-tools Oder auusfälle augrund von ungetesteten modellverhalten bei großem umfang auftreten.

Lessepp: 10 Essentials für die ki-richtlinie à Unternehmen

Weiterreichende betriebliche Auswirkungen

„Diese Technischen Schwachstellen EXISTIEREN NICHT ISIERERT, WENN SIE NICHT GETESTET WERDEN”, Betont der Mindgard-Experte. «SIE Manifestieren Sich als Umfassendere Organisatorische Risiken, Die über den Bereich der Technik Hinausgehen. Aus sicht der Tetrimeblichen Auswirkungen lassen Sich Die Folgen Unzureichender Ki-Sicheherheitstests Direkt auf Mängel à Denreichen Sichersts, schéfr Geschäftssicherheit Zurückführen. « 

Auch Sam Peters, chef de produit Beim, conformité-ISMS.online, Sieht Weitreichende Betrimebliche Folgen, Wenn Angemessene Ki-Sicherheitsprüfungen Vernachlässsigt Werden. „Wenn Ki-Systeme überstürzt dans Die Produktion Gehen, Sehen Wiederkehrende Schwachstellen dans Den Drei Schlüsselbereichen: ModelLintegrität (Einschließlich Empoison- und Evasion-Angriffen), Datenschutz (z. B. Umgang mit sensiblen daten) und gouvernance-lücken (von mangelnder transparenz bis hin zu unzureichender zugriffskontrolle). « 

Peters fügt hinzu: „Diese Probleme Sind Nicht Hypothetisch, Sie Werden Bereits in Der Praxis Ausgeutzt. »

Testen vor der Auslieferung

James Lei, chef de l’exploitation Beim AnwendungsSicherheitstster Sparrow, Rät Cisos, Den Ungbremsten Enthusiasmus Bei der Ki-einführung Zu Gunsten Grundlender Sicherheitspraktiken Zu Dämpfen.

„Um Diese Risiken Zu Reduzieren, Sollten Unternehmen Ki-Tools Genauso Testen Wie Jede Andere Risikoreiche: Sie Sollten Simulierte Angriffe Durchführen, Missbrauchsszenarien überprüfen, Eingabe-Undausgabestö Verarbeiteten Daten Angemessesen Geschützt Sind “, Sagt er.

Um diese Risiken Zu Mindern, Sollten Unternehmen Umfassende TestStrategame Implevantieren, Darunter:

• PénétrationSTests: Simulation von Agriffen Zur identifiant von Schwachstellen
• Bias- und-Equité-Audits: Sicherstellen, Dass Ki -ntscheidungen Gerecht und Nicht Diskriminierend Sind
• Conformité-prüfungen: Überprüfen der einhaltung pertinent pertinent vorschriften ud normes

Durch Die Intégration von Sicherheitstetss in Den Ki-entwicklungszyklus können unternehmen die vortele der ki nutzen und sich gleichzeitig vor potenziellen bedrohungen schützen.

„VOR Dem Einsatz von ki-tools Sollten Unternehmen eine für Ki-Systeme Spezifische Bedrohungsmodellierung Durchführen, Red Teaming Für Feindliche Eingaben Durchführen und Robuste Tests Auf modelllltengl Peters von isms.online. «Gleichzeitig Sollten Sie Ki-Spèzifische Kontrollen dans Ihre Risikomanagement- und Compliance-Programme Integrieren.»

Peters fügt hinzu: „Hier kann die neue iso / iec 42001 norme wirklich Helfen. Sie bietet einen rahmen für den verantwortungsvollen umgang mit ki, einschließlich leitlinien zur riskobewertung, datenverarbebetung, Sicherherheitsko Kontinuierlichen überwachung. « 

Andere Experten Bestätigten zwar die notwendigkeit von Sicherheitstetsts, argunierten jedoch, dass bei der prüfung der Sicherheit ki-basierter systeme ein anderer Ansatz verfolgt werden müsse.

Ki-Tools Bieten of Eine Komplex Lösung Für ein Einfaches Problème. Le testeur Konzentrieren Sich Möglicherwerweise nur auf das, était l’outil Das Tun Soll, und übersehen annere funktionen. „Ein übersetzungs-tool könte beispelsweise dazu gebracht werden, eine pdf-datei mit bösartigem code zu öffnen oder auf interne dateen zuzugreifen und diese für jemenden außerhalb des unturcehmens zu übberson », so ceukle.

Unternehmen Sollten Die Implementationung von Speziell für ki Entwickelten adversarial-test-frameworks in betracht ziehen.

„Dazu Gehören Statische Modellanalysen, Dynamisches Prompt-Fuzzing, simulationen von angriffen auf die intégrationsebene und die überwachung des laufzeitverhaltens”, ergänzt Garraghan von Mindgard. «Diese Praktiken Sollten Genauso dans Den Lebenszyklus der Ki-Bereitstelng Integriet Wie DevSecops-Praktiken dans Software-Ci / CD-pipelines.» (JM)

Lessepp: Slopsquatting – Die neue cyber-bedrohung dank ki