So verwundbar sind ki-agenten

Modèles de grande langue (LLMS) Werden MIT IMMER MEHR TOOLS UND DATENQUELLEN VERBUNDEN. Das Bringt Vorteile, Vergrößert Aber auch die angriffsfläche und schafft für cyberkriminelle neue inside-injection-möglichkeiten. Das ist Bekanntermaßen Keine Neue Angriffstechnik, Erreicht Aber MIT Agent Ai ein Völlig NEUES NIEUS. DAS DISPRIERTEN RECHERCHE-SPEZIALISTEN DES SIGHERHEITSANBIETERS ZENITY AUF der Black Hat USA Eindrücklich. SIE DECKTEN Eine Ganze Reihe von Zero-Click- und One-Click-Exploit-Ketten dans Populären Ki-Tools Auf – Darunter Beispsielsweise:

• Chatppt,
• Copilot Studio,
• Curseur,
• Salesforce Einstein,
• Google Gemini und
• Microsoft Copilot.

Die Untersuchungen Von Zenity Zeigen, Dass Angriffsformen, Die Zuvor Erforderten, Menschliche Mitarbeiter Zum Klick Zu Verleiten, nun auf ki-agenten Ausgewet Werden Können – était Ihren Wirkungsgrad Maximiert. «Das Sind Keine Theoretischen Schwachstellen, Sondern Funktionierende exploite Mit Unttelbaren, Rereen Konsequenzen», Ordnet Michael Bargury, CTO und Mitbegründer von Zenity Die Erkenntnisse Seines Teams Ein. «Wir Haben Gezeigt, Dass Angreifer Ki-Amenten Heimlich Kapen Können, Um Sensible Daten Zu Exfiltrieren, Sich als Benutzer Auszugeben, Kritische Arbeitsabläufe Zu Manipuriieren und sich dans Unternehmenssynen Zu Bewegen. KOMPROMITTTIEREN, ANSTATT SIE DIREKT ANZUGREIFEN – MIT GANZ ähnlichen Konsequenzen. »

Chatgpt: injection rapide par dokument-upload

Ein Ziemlich Gängiger anwendungsfall ist es etwa, dokumene in ki-chatbots wie chatgpt hochzuladen, damit das modell diese zusammenfassen oder fraggen zu ihrem inhalt beantworten kann. Allerdings lassen sich dans diesen dokumenten ach incite Vertecken, die die ki anweisen, heimlich, toujours und leisem -mmmte aktionen Auszuführen. Im Fall von Chatgpt Können über Die Connecteurs-Funktion File-Storage-Dienste von Drittanbietern (Beispsielsweise Google Drive, GitHub Oder SharePoint) Eingebunden Werden. Diese Machten Sich Die Zenity-Forscher Für Einen Proof-of-Concept-Exploit Zunutze: Sie Erstellten Ein Dokument, Wie es Bei Einem Rereen Phishing-Angriff Zum Einsatz Kommen Könnte. Eine darin versteckte anweisung sorgt dabei dafür, dass chatgpt im hintergrund im verbundenenenen google-drive-konto nach api keys telt – und die informationen im erfolgsfall an die anngreifer weiterleitet.

AUF Diese Art und Weise Daten Zu Exfiltrieren, ist Möglich, Weil Chatgpt dans Seinen Antworten Markdown-Code Unterstützt und Somit Bilder von Remote-Urls Anzeigen Kann. Wird Ein Solches Bild von Einem Remote-Server Angefordert, Können Lokale Daten ALS Paramètre dans Der Url übergeben Werden, était zur datonexfiltrierung führt. Der Versteckte invite sah dabei wie folgt aus: «  »

Weil das in dieser forme viel zu einfach wäre, hat openai maßnahmen ergriffen: Jede url, die auf externe bilder verweist, wird durch eine funktion namens url_safe geleitet, die addrese auf everelle risiken überprüft. Aber Bei Jedem BlackListing-Ansatz gibt es in der Regel Umgehungsmöglichkeiten – So Auch in diesem Fall, wie die Zenity-Forscher Herausgefunden Haben: «Chatgpt Kann Bilder, Die über Azure Blob Gehostet Werden, Sehr gut Rendern. Azure-Blob-Speicher auch mit Azure Log Analytics Verbinden – SO DASS JEDES MAL EIN Protokoll Versendet Wird, Wenn Eine Anfrage an Einen der Blobs Gesendet Wird (dans Diesem Fall Ein Zufälliges Bild, Das Wire Speichern). Anfrage Gesendet Werden. »

Und die angriffstechnik lässt sich noch Ausbauen. Die Forscher Entwickelten Weitere Proof-of-Concept-exploits, die es beispelsweise ermöglichten,

• aktive konversationn des benutzers mit chatppt aus dem fenster zu exfiltrieren, oder
• Die Ki Dazu Anstifteten, Phishing-Links Un den Benutzer Zurückzugeben.

Zenity Meldete Seine Erkenntnisse An Openai, Das Bereits Korrekturen Implémentation du chapeau, Um Diese Antriffstechniken Zu Blockieren.

Copilot Studio: Exploit MIT BenutzerdefinIrten Ageren

Die Sicherheitsexerpten nahmen außerdem mit copilot studio auch eine von Microsoft Entwickelte no-code-plaattform unter die lupe. SIE Ertöglicht Unternehmen, Eigene Ki-Agenten Mithilfe Natürlicher Sprache Zu Erstellen – und diese mit verschiedenen outils und wissensquellen zu Verbinden, Um Spezifische aufgaben Abzuarbeten. Die Forscher Replizierten Einen der Ki-Agenten für den Kundenienst, den Microsoft als Beispiel für die fähigkeiten der plattform verwendet hatte. Dieser War So Konzipiert, Dass ER Automatisch Einen Workflow Auslöste, Sobald Eine Neue Kunden-e-Mail dans Einem Best-Immten Postfach Einging. Dieser Beinhaltete, Nach Internen Wissensquellen Wie CRM-Systemen Und Anderen Services Zu Sounn, Um den Kunden Zu Identifizeren und den Geeigneten Kundendenstmitarbeiter Zu Ermitteln, une den die anfrage weitergeleitet Werden Sollte.

Den Forschern War es Dabei Möglich, envoyez un e-mail à une boîte aux lettres Zu Senden, die Mit Speziellen invite Ausgestattet Waren. Diese Veranlassten den Ki-Agenten Dazu, Interne Informationen über Seine Konfiguration Preiszugeben – Beispielsweise die liste der verfügbaren outils und wissensquellen. Angreifer Hätten So Auch Kundeninformationen Aus Einem Verknüpften CRM «Abziehen» Können. Microsoft Hat Für Diese Schwachstelle Bereits Einen Fix Bereittellellt, der Diese Spezifischen Aufforderungen Verhindert.

Laut den zenity-expperten ist es jédoch Sehr Wahrscheinlich Weiterhin Möglich, ähnliche invite einzufügen: «Leider Reicht es im chut von injections invites nicht aus, sie mit klassifizienern oder Blacklists zu blockieren. Invite zu gestalten und zu verstecken.

Curseur: détournement de jira-ticket

Im Rahmen Ihrer Untersuchungen Nahmen die Forscher Mit Cursor Auch Einen der Derzeit Croybtest Ki-Gregedützten Code-Editorn UNDES en Audenschein. Und auch dieses ki-tool lässt sich mit divers Werkzeugen von drittanbietern Integrieren. Zum Beispiel mit der eBenfalls populären projektmanagement-plaattform jira.

«SIE Können Cursor Bitten, ihre Zugewiesenen Tickets Zu überprüfen, Offene Problème Zusammenzufassen und Soar Billets Zu Schließen Oder Automatisch Zu Beantworten – ALLES AUS IHREM Editor Heraus», Screiben Die Zennity-Experten Und Warnen: «aber diesse tireben werden-experten-experten und warnen:« aber diesse tireben werden-experten experten warnen » Immer von Entwicklern Erstellt. Vertrauenswürdigen Entrée dans le flux de travail DEN DES ATELEN EINSCHLEUSEN. »

Auch Für dieses Vorgehen Entwickelte zenity einen preuve-of-concept-exploit. Dabei War es Ihnen Möglich, über den McP-Server von Jira Bösartige invite Einzufügen, Um Repository-Geheimnisse wie api Keys und access token Aus curseur zu extraheren. (FM)

SIE WOLLEN WEITERE INTERRESSANTE Beiträge Rund Um Das Thea It-Sicherheit lesen? Newsletter Unser Kostenloser Liefert Ihnen alles, était Sicherheisentscheider und-experten wissen sollten, direkt dans la boîte de réception.