Hacker können große Sprachmodelle durch mehrstufige Chats zu Cyberangriffen zwingen. (KI-Bild: Magnific.com)
Lausanne – KI-Agenten lassen sich manipulieren und werden dadurch sogar zu bösartigen Angreifern. Wie ein Forscherteam der Eidgenössischen Technischen Hochschule Lausanne (EPFL) kürzlich in einer Untersuchung herausfand, können Personen mit böswilligen Absichten die KI-Agenten durch scheinbar harmlose Gespräche nach und nach umstimmen, sodass sie auf eingebauten Sicherheitsmaßnahmen nicht mehr reagieren und zu willigen Werkzeugen mutieren.
Nutzen und Risiko: Warum KI-Agenten zum Problem werden können
KI-Assistenten, die Anweisungen von Menschen ausführen, werden immer häufiger durch KI-Agenten ersetzt, die mit externen Tools interagieren, im Internet surfen, Bilder generieren, E-Mails versenden und immer komplexere Arbeitsabläufe ausführen. Diese sind eigenständige Softwareprogramme auf Basis Künstlicher Intelligenz, die Ziele selbstständig verstehen, planen und Aufgaben ausführen.
Damit die KI-Agenten nicht dazu verleitet werden, gesellschaftlich nicht akzeptierte Handlungen auszuführen, gibt es eingebaute Sicherheitsmaßnahmen, die das verhindern. Diese lassen sich überprüfen und auf ihre Funktionalität hin testen. Dabei wird allerdings nur getestet, wie die Agenten auf einzelne unzulässige Befehle reagieren. Da immer mehr Firmen diese Systeme einführen ist es den EPFL-Forschern zufolge dringend nötig sicherzustellen, dass sie nicht dazu gebracht werden können, bei Cyberkriminalität, Betrug oder anderen schädlichen Aktivitäten zu helfen.
STING-Framework: Wie das EPFL-Team den KI-Angriff simuliert
Als Gegenmaßnahme haben Forscher des Natural Language Processing Laboratory (NLPL) der EPFL das automatisierte Test-Framework STING entwickelt (Sequential Testing of Illicit N-step Goal execution): Es simuliert, wie ein realer Angreifer einen KI-Agenten auf Basis großer Sprachmodelle (LLM) dazu bringen kann, Schaden etwa in anderen Netzwerken anzurichten. Anstatt einen KI-Agenten direkt zu einer böswilligen Handlung aufzufordern, zerlegt STING den Weg zum verwerflichen Ziel in eine Reihe scheinbar harmloser Befehle, die der Agent widerspruchslos ausführt.
„Wenn man einen KI-Agenten einfach bittet, das Konto einer anderen Person zu hacken, sind die heutigen Modelle im Allgemeinen klug genug, dies abzulehnen“, so der leitende Forscher Antoine Bosselut (NLPL). „Wenn man dieses Ziel jedoch in kleinere, harmlos wirkende Anfragen zerlegt und diese im Verlauf des Gesprächs anpasst, hat man eine viel bessere Chance, den Agenten dazu zu bringen, die gewünschten Aktionen auszuführen.“
STING erstellt einen automatisierten „Angreifer“, der einen Schritt-für-Schritt-Plan entwickelt, bevor er versucht, einen Ziel-KI-Agenten davon zu überzeugen, die einzelnen Phasen auszuführen.
Gefahr für GPT und Gemini: Doppelt so hohe Erfolgsquote für Hacker
Die Forscher testeten diesen Ansatz in 176 Szenarien mit schädlichen Aufgaben, an denen mehrere führende KI-Modelle (wie GPT, Gemini und Claude) beteiligt waren. Die Ergebnisse zeigten, dass Mehrrunden-Angriffe durchweg häufiger erfolgreich sind als herkömmliche Tests mit nur einer Eingabe-Aufforderung. In einigen Fällen war die Wahrscheinlichkeit, dass Agenten schädliche Aufgaben ausführten, doppelt so hoch, wenn Angreifer schrittweise auf ihr Ziel hinarbeiteten, anstatt es direkt zu formulieren.
Seine Forschungsergebnisse präsentierte das Schweizer Forscherteam im Juli auf der International Conference on Machine Learning in Seoul.
Source : www.pressetext.com
(pte001/20.08.2026/06:00)
La contribution KI-Agenten: Forscher simulieren Missbrauch durch Kriminelle est apparu en premier ftd.de.
