00:00:03: Gerät die künstliche Intelligenz jetzt außer Kontrolle, nachdem eine KI einen Heckerangriff gekonnt verübt hat stellt sich eine dramatische Frage.

00:00:14: Herzlich willkommen liebe Hörerinnen und Hörern zu einer neuen Ausgabe unseres FHZ Digital Wirtschaft Podcasts!

00:00:20: Mein Name ist Alexander Arnbruster ich bin Resolat in unserer Wirtschaftsredaktion und ich spreche mit dem CEO des Deutschen Forschungszentrum für Künstliche.

00:00:32: Ja, hallo!

00:00:33: Schön dass ich da sein kann.

00:00:36: Wir fragen dich weil es natürlich um KI geht und in dieser Woche sich etwas ereignet hat über das manche sagen ist sogar ein Paradigmenwechsel.

00:00:46: eine künstliche Intelligenz von OpenAI hat einen Hacker Angriff verübt auf einer Internetplattform um sich Informationen zu beschaffen.

00:00:56: aber sie hat ihn nicht nur den Angriff erübt sondern sie hat erstes davor auch gelungen offenbar aus einem Test auszubrechen und sich Zugang zu Netz zu verschaffen.

00:01:05: Du kannst es alles viel besser erklären, deswegen erst mal für alle die die Nachrichten noch gar nicht mitbekommen haben was ist konkret passiert?

00:01:14: Ja also die Firma OpenAI ja bekannt für eines der großen KI-Modelle hat mit seinen neuesten KI Modellen und einem was auch noch gar oder ist Test durchgeführt, und zwar im Bereich der Cyber-Sicherheit.

00:01:31: Das haben ja andere Modelle von anderen Herstellern ja auch schon Vorroger an dieser Stelle gemacht.

00:01:37: Ich erinnere an Meisters und die Diskussion, die wir da vor ein paar Wochen hatten Und das ist bis dahin eigentlich nichts außergewöhnliches.

00:01:44: Das machen alle Hersteller, logischerweise sie wollen ja wissen wie gut sind die Fähigkeiten ihrer Modelle der neuesten Modelle vor allen Dingen und da gibt es standardisierte Tests dafür, wie man verwenden kann wo die Systeme Aufgaben bekommen von denen man die Lösung kennt.

00:02:00: Die wird dann im Prinzip vorgegaukelt dass Sie bestimmte Schwachstellen finden müssen und geguckt wie gut sie das hinbekommen und dann kann man die im Prinzip so benchmarken.

00:02:11: Und was jetzt aber die Besonderheit in diesem Fall war, das wird üblicherweise in so einer geschützten Testumgebung gemacht logischer Weise.

00:02:21: Man möchte ja nicht dass die Leute außerhalb des eigenen Labors irgendwie Dinge tun und deswegen sind sie normal geschützt und eigentlich auch nicht mit dem Internet verbunden.

00:02:36: In diesem Fall weiß es aber so, Bibliotheken, also Teile die das hoffen wir vielleicht verwenden kann innerhalb des Hauses runtergeladen werden können.

00:02:49: Dieser Proxy hat aber eine nicht bekannte Schwachstelle, die das System zur Lösung der Aufgabe während der Lösung der Aufgabe eben entdeckt hat und dann zunächst aus Firmennetz gekommen ist und von dem Firmnetz aus in die weite Internetwelt.

00:03:07: Und was bemerkens?

00:03:07: Ja, würde

00:03:08: ich gerne schon mal ganz kurz einhaken.

00:03:10: Also diese Aufgaben und Datenbank nur die hat auch Namen heißt Exploit Gym.

00:03:15: das ist eben so eine Benchmark da stehen die Aufgaben drin und die löst man dann also dass es auch noch nichts Kurioses gibt halt.

00:03:22: Und jetzt an dem Punkt die das nochmal nachgefragt die KI hat ist erst ins Firmeneigene Netzwerk und dann nach draußen gekommen.

00:03:33: wie hat sie das?

00:03:33: Wie ist das?

00:03:34: oder was war da Der Antrieb, das ist ja was wo man denkt wow!

00:03:38: Die hat sich jetzt von selbst zugang verschafft.

00:03:41: Hat die den Willen plötzlich ins Netz zu gehen?

00:03:43: Wie kommt ihr da drauf dass sie jetzt dahin müsste?

00:03:46: Den Willen also so ein Willen in dem Sinne jetzt nach Freiheit irgendwie nach draußen zu kommen an die frische Luft hat so einen KI System natürlich nicht sondern das System ist relativ rational vorgegangen dem es einfach gesagt hat Ja wo krieg ich denn Informationen her um die Aufgabe möglichst gut und möglichst effektiv und effizient zu lösen.

00:04:08: Und da war dann tatsächlich auch die Überlegung, ob es nicht Informationen außerhalb des Firmnetz geben könnte, die dem System dabei helfen können.

00:04:18: Insbesondere eigentlich auch Informationen, die vielleicht nicht öffentlich verfügbar sind um einfach auch den Test teilweise zu umgehen in dem man eben bestimmte Fehler des Tests ausnutzt.

00:04:30: Und dadurch, weil am Ende er hatte diese KI-Modelle – das waren ja mehrere – die hatten die Aufgabe den Test so gut wie möglich zu bestehen!

00:04:40: Und klar, das kennen wir auch noch aus der Diesel-Affäre.

00:04:43: Das kann ich im Sinne sozusagen einer regulativen Norm machen und das kann ich aber auch außerhalb der Norm machen.

00:04:52: Ich glaube es ist schon eine bemerkenswerte Sache.

00:04:55: Das hat man ja auch schon an anderen Stellen von KI Modellen gehört, dass KI Modelle eben an diesen Alignment vorbei.

00:05:03: Man weiß nicht ganz genau, es sind natürlich Schutzmechanismen ausgeschaltet worden.

00:05:07: Damit diese Systeme das überhaupt machen weil eigentlich werden die ja auch trainiert eben solche Hackerattack nicht zu fahren.

00:05:13: aber klar wenn man die Fähigkeiten testen will dann muss man dieses Schutzmechnismen natürlich entfernen.

00:05:18: also mal weiß ich ganz genau bis zu welchem Grad das alles entfernt war und so weiter.

00:05:22: Aber kurz um Das System hat dann mehrere Schwachstellen selbst tätig entdeckt Auch bei OpenAI Bei einem Dritthersteller von Software, die im Prinzip diese Schutzumgebung zur Verfügung gestellt hat und hat sich dann so wie es ein richtiger Hacker auch machen würde eben in Repositories umgeguckt.

00:05:43: Die vielversprechend sind.

00:05:44: eins davon ist Hugging Face wo ganz viele KI-Modelle der exploit gem test und so weiter Informationen zur Verfügung stehen.

00:05:52: Und hat dort dann exploits also Schwachstellen gefunden, die ihm dann eben potenziell helfen sollten diesen Test möglichst gut dann zu bestehen?

00:06:02: Das ist sozusagen

00:06:04: das schon der Schritt sozusagen aus dem Netz als wir sind jetzt schon des Modell hat sich Zugang zum Firmennetz dann zum freien Internet draußen verschafft.

00:06:12: und weil es schon irgendwie wusste oder ahnte davor Da gibt es eben diese Hugging Face, also das kannst du auch nochmal kurz sagen.

00:06:20: Das ist Plattform und die haben Informationen und das ist sozusagen neben diesem schon irgendwie im krassen Vorgang dass sich selbstständig Zugangs zum Internet verschafft hat.

00:06:31: Desnächstes hat dann diese Plattform geknackt.

00:06:35: Man hätte ja einfach erst mal sagen können, ich verbände die öffentlich verfügbaren Informationen zu KI-Modellen, die nämlich auf Huggingface verwaltet werden und wo Leute sich Sachen runterladen können usw.

00:06:46: Aber nein das System hat auch Schwachstellen bei Hugging Face ausgenutzt.

00:06:51: Auch wieder im Zuge von tatsächlich sehr zielgerichtet und auch klug vorgehenden Heckern im Prinzip also in einer ganz ähnlichen Art und Weise aber hochskaliert muss man auch sagen mit Tausenden von Anfragen.

00:07:04: Das ist ja das, was die KI-Modelle besonders gut können.

00:07:07: Dass sie eben Sachen sehr stark parallelisieren können an der Stelle und in einer hohen Geschwindigkeit durchführen können um an Informationen zu kommen, die nicht ohneweite es öffentlich sind.

00:07:18: Und an dieser Stelle haben dann bei Hackingface, diesen Plattformanbieter, die Alarmglocken losgegangen.

00:07:26: Ja, das muss man dazu auch sagen.

00:07:28: Es wird manchmal so ein bisschen vergessen aber tatsächlich ist es so dass der Hacker Angriff schon auch bemerkt wurde von Hackingface.

00:07:34: Hacking Face hat das ja vor Open AI sogar bekannt gegeben.

00:07:37: Sie wussten zwar nicht dass Open AI dahinter steckt offensichtlich Aber dass sie angegriffen wurden.

00:07:42: Das haben sich schon erkannt und die hatten alle Hände voll zu tun im Prinzip diesen Angriff abzuwehren Und haben sich dann auch schon gedacht weil da eben so eine massive Attacke war Dass da eigentlich einen KI Frontiermodell dahinterstecken müsste.

00:07:54: Welches wussten Sie zu dem Zeitpunkt nicht.

00:07:57: Also das sind alles bemerkenswertete Vorgänge und was man glaube ich daran erkennt ist etwas, was wir eigentlich schon auch gesehen haben wenn wir uns KI-Agenten in der Welt der Softwareentwicklung anschauen wie komplex die inzwischen schon auch mehrere Schritte hintereinander planen um zum Beispiel komplexe Software zu erstellen dass das eben auch für solche Attacken genutzt werden könnte.

00:08:20: Das in diesem Fall war es natürlich nicht so, das war keine zielgerichtete Attacke sondern es war eine Sicherheitslücke in der Testumgebung.

00:08:29: aber das KI-Modell selber ist an dieser Stelle verhältnismitt sich rational vorgegangen.

00:08:35: Aber da erkennt man den Unterschied weil eigentlich hatte das KI Modell ja keine hat ja keine schlechten Intentionen an der Stelle.

00:08:45: Sondern es wollte einfach nur eine Aufgabe lösen und im Zuge dieser, wenn das jetzt ein Mensch machen würde dem wäre klar dass da an einer bestimmten Stelle Grenzen überschritten sind also dass man nur zum Lösen einer Aufgabe kein anderes Unternehmen mit einer Hackerattacke überziehen kann nur damit man die Aufgaben möglichst gut löst.

00:09:03: Also das ist für jeden Menschen klar sein hier jedem Softwareentwicklung Entwickler dass das eine Grenzüberschreitung ist aber diesen KI-Modell offensichtlich nicht.

00:09:12: Und das hängt vermutlich damit zusammen, dass eben auch die Schutzmechanismen entfernt wurden.

00:09:15: Die genau das sicherstellen sollen, dass so was nicht passiert und insofern ist das schon ein bemerkenswerter Vorgang und auf eine gewisse Art und Weise ist es ganz gut, dass es jetzt so passiert ist weil das schon noch mal die Augen öffnet Auch wenn für uns das nicht überraschend kommt in der Community und zwar klar, dass KI-Agenten in der Lage sind sowas zu machen.

00:09:35: Wenn man sich den KI Safety Report anguckt wo ja wir ganz viele Sachen zusammengetragen haben von Attacken, dann steht sowas auch genau drin.

00:09:44: Aber dass das tatsächlich jetzt auch passiert ist natürlich auch nochmal eindrücklicher und zeigt auch in der breiten Öffentlichkeit ja was für Risiken auch beim Einsatz von unkontrollierten KI-Modellen bestehen.

00:09:58: klar zu kriegen, weil du jetzt ja beschrieben hast.

00:10:01: Das wollte dann nur eine Aufgabe mitlösen.

00:10:03: Man muss also davon ausgehen auch wenn wir das glaube ich nach wie vor nicht genau wissen was hier sozusagen der Prompt war.

00:10:09: aber man hat dem KI-Modell nicht gesagt schon im Vorfeld Ja löst bitte diesen Test.

00:10:15: und übrigens da gibt es auch dieses Internet Und da gibt's Hugging Face und die Canvas sondern man muss sich das eigentlich so vorstellen.

00:10:22: man hat wirklich einfach ganz profan gesagt So hier ist Das ist die Aufgabe, bitte löst die und alle darauf folgenden Schritte.

00:10:32: Ich gehe ins Firmennetzwerk ich suche mir eine Lücke und gehe ins Internet.

00:10:37: Ich suche finde heraus das Hiking-Fest was hat ich um Kreise dieses Unternehmen und breche da ein und ich hole mir da dann Infos sozusagen versuche die mehr daraus zu holen.

00:10:47: Diese ganzen Schritte standen in keinem Prompti hat sich sozusagen alle Auf die ist das KI-Modell selbst aufgrund seines Trainings gekommen.

00:10:58: So muss man sich es bislang vorstellen, oder?

00:11:01: Ja also davon gehe ich fest aus dass das nicht instruiert war, das hätte noch mal eine andere Dimension aber das glaube ich nicht.

00:11:08: Ich glaube tatsächlich dass die Aufgabe einfach nur war diesen Test zu bestehen.

00:11:12: Natürlich ist es so Dass die Modelle selber ja mit Internetwissen trainiert sind und schon auch Wissen.

00:11:21: Das ist sich um gegebenenfalls um einen test handelt.

00:11:24: es ist nicht so leicht das zu verschleiern da müsste man ein komplett neuen machen irgendwie.

00:11:28: dass heißt das war die system sicherlich bekannt.

00:11:31: das bedeutet das ist nicht soweit hergeholt wenn es weiß dass es ein test ist dass es versucht den gegebenen falls auch irgendwie zum gehen.

00:11:38: nur die tatsache dass es eben versucht diesen test mit allen mitteln zu umgehen.

00:11:43: man möchte sich gar nicht ausmalen was das system Nehmen wir mal, es hätte jetzt ein Körper irgendwie und könnte rumlaufen was ist alles gemacht hätte um an die Informationen dran zu kommen.

00:11:53: Also das ist einfach glaube ich das beeindruckende an dieser Stelle wie gesagt auch gar nicht so sehr die Tatsache dass Solche KI-Agenten in der Lage sind solche relativ langen rationalen Ketten dann auch zu bilden und dann auch entsprechend darauf zu handeln.

00:12:08: Da gibt es ja schon viele Beispiele, wo Sachen schief gegangen sind.

00:12:12: Meistens ist das mit wirtschaftlichen Schaden getan vor allem durch irgendeinen Riesenausgabe an Token zum Beispiel.

00:12:19: Ja da gab's ja auch schon ein paar Fälle weil die alle möglichen sehr komplexe Sachen gemacht haben.

00:12:23: Die haben dann häufig zu nichts geführt aber trotzdem man weiß dass diese Systeme in der Lage sind das zu tun.

00:12:28: Auch sinnvolle Sachen.

00:12:29: Aber diese Kombination einer ungesicherten, oder ich sage mal die war ja schon gesichert aber zu schlecht abgesicherten Umgebung.

00:12:38: Zumindest mal für diese Art von Modellen und des Aufgabens Settings was eben erforderte das gewisse Sicherheitsschranken auch gefallen sind an der Stelle.

00:12:48: Das hat glaube ich eben dazu geführt dass es zu diesem bemerkenswerten Vorgang gekommen ist.

00:12:53: Ja wir sprechen gleich noch darüber welche Verantwortung Wähler oder was auch immer, ob mein Ei da hatte oder gemacht hat.

00:13:01: Eines noch ein letztes zum Verständnis bei dem Training dieser großen Frontiermodelle.

00:13:09: Was ist da abgelaufen?

00:13:10: Oder woher weiß dieses Modell?

00:13:12: Es ist ja ein probabilistisches Trotz allem dass man das ist zu Hugging Face gehen muss, weil es im Internet halt gelesen hat.

00:13:20: Hugging Face hat ganz viel dazu.

00:13:21: oder wo liest man das?

00:13:23: Kannst du das mal plastisch sagen wie ich mir das vorstellen muss?

00:13:26: Also diese Systeme werden ja mit unglaublich vielen Daten trainieren auch mit Daten von Plattformen, also die Programmcode zum Beispiel enthalten und Kommentare.

00:13:37: Und Blockeinträge ja?

00:13:39: Also zb in Reddit da gibt es Riesenblock-Einträge über alle möglichen auch von Arten wie man Schadsoftware erkennt, entschärft.

00:13:49: teilweise gibt's natürlich auch Foren die vielleicht nicht ganz so leicht zu erreichen sind und nicht ganz öffentlich wo und mit denen wird es wahrscheinlich nicht trainiert, aber wenn immer man sich die eben auch Attacken besprechen.

00:14:00: Aber wann immer man ja auch über Verteidigung spricht, spricht man automatisch auch immer über Attacken.

00:14:04: das ist ja auch klar halt.

00:14:07: Und da ist auch klar dass solche Plattformen die Repositories halt große Repository wie GitHub oder auch Hackingface natürlich schon prominent in den Modellen verankert sind was diese Modelle Was diese Plattform tun können und was für Art von Informationen dort gelagert sind usw.

00:14:27: Also darüber wissen die Modelle schon einigermaßen gut gescheit.

00:14:31: Jetzt kommen wir zu Open AI.

00:14:33: tatsächlich mal eine Frage, was haben die oder was hätten sie vielleicht besser machen können?

00:14:37: Die haben ja sozusagen dass wir heute darüber sprechen ist ja liegt auch daran das die eben jetzt selbst wirklich auch gemeldet haben.

00:14:43: es gab da so einen Cyber Vorfall und man kann sich aber natürlich Zumindest, wie ich mir das bisschen vielleicht auch zu naiv erschließt fragen.

00:14:52: Dieser Tester soll ja in einer sicheren Umgebung stattfinden und man hätte ja vielleicht – und bitte widersprechen wenn es nicht so ist – aber man hätte vielleicht genau diese KI-Modelle zuerst fragen können.

00:15:03: hier wir machen jetzt hier ein Test.

00:15:05: gibt's hier eine Umgebungen irgendwelche Schwachstellen?

00:15:07: dann hätten die Modelle vielleicht schon mal geantwortet Ja, die und die.

00:15:11: Dann hätte man die Schwachstellen gekittet nicht passiert, also die erste Frage hätte man so einfach lösen können und die zweite war es dann fahrlässig das einfach nichts zu tun.

00:15:22: Also wir wissen natürlich nicht ganz genau was gemacht wurde und was nicht gemacht wurde.

00:15:25: Es ist tatsächlich so dass man schon hätte versuchen können zunächst Schwachstellen zu flicken auch von der Umgebung.

00:15:33: Es ist immer ein bisschen trickreich Das zu tun in einem Kontext wo schon klar ist dass es nachher getestet werden soll so ein System.

00:15:41: Das muss man also wirklich getrennt aus meiner Sicht davon machen, weil sonst Teil des Systemes das gegebenenfalls schon als Teil des Tests ansehen könnte.

00:15:51: Also und sich vielleicht sogar ein Lücken offen hält.

00:15:54: aber im Prinzip ist es völlig richtig diese Systeme sind ja in der Lage Schwachstellen zu finden und das hätte man sorgfältig machen müssen.

00:16:04: Es ist aber auch keine Garantie dass Systeme bei einem lauf alle schwachstellen finden.

00:16:10: Das heißt, weil das hängt eben auch damit zusammen Zum einen mit dem Kontext der Aufgabe, wie ernsthaft ein System auch dann nach Schwachstellen sucht.

00:16:19: Weil es zum Beispiel unbedingt sich zum Ziel setzt jetzt rauszukommen weil das bei Huggingface oder an anderen Stellen im Netz was suchen muss ja was ihm fehlt halt.

00:16:29: Das bedeutet selbst das wäre keine Garantie gewesen weil einfach der Anfragekontexten anderer gewesen wäre und gegebenenfalls wären dann doch Fehler in der Sicherheitsumgebung nicht entdeckt worden, die das System dann hätte nutzen können.

00:16:43: Also wir wissen es nicht genau.

00:16:46: eigentlich gehe ich davon aus dass sowas zumindest mal andersweise getestet wurde aber ist schon ein bisschen ironisch dass an der Stelle die offensichtlich das System sozusagen das System Prozeduren befolgt hat die eigentlich das Unternehmen hätten befolgen müssen ja um eben diese Sicherheitslücken vorzuschließen halt

00:17:07: Wo ja Leute arbeiten, die das eigentlich auch alles wissen.

00:17:10: Vielleicht

00:17:11: doch besser als alle anderen.

00:17:13: Also man muss schon so als Fazit sagen... Es ist schon so ein bisschen erschreckend an der Stelle, jetzt ohne dass wir alle Details kennen.

00:17:21: Das muss man fairerweise sagen.

00:17:22: ja du hast erwähnt Wir wissen nicht ganz genau was passiert ist.

00:17:26: Wir wissen auch nicht ganz Genau Was die konkreten Instruktionen des Systems waren also ob das jetzt so Ganz einfach war oder eine relativ komplexe Instruction.

00:17:36: Ja wir wissen ja dass das auch Unterschiede macht Tatsache, wie die Agenten eingehegt wurden.

00:17:43: Ob es da bestimmte zusätzliche Sicherheitsmechanismen neben dem eigentlichem Modell SicherheitsMechanismus gegeben hat oder nicht?

00:17:51: Das wissen wir auch nicht.

00:17:52: Vermutlich war dann nicht viel weil man ja testen wollte und eigentlich davon ausgegangen ist das sich um einen sicheren Test handelt, wie das häufig so ist.

00:17:59: Dann wenn man denkt man ist auf der sicheren Seite und man hat eigentlich alles gemacht und da kann nichts schiefgehen, dann denkt man manchmal Sachen auch nicht ganz zu Ende an der Stelle.

00:18:09: Das ist eben eine Fähigkeit, die KI-Modelle schon haben halt.

00:18:13: Weil sie einfach unermüdlich relativ viele Stränge im Prinzip untersuchen können und dann geben denfalls auch sehr esoterische Fehler finden.

00:18:24: Bisschen hatten wir sozusagen dann auch Glück im Unglück weil das eben bei so einem Test passiert ist und auch bei so nem Fall wo jetzt kein menschlicher persönlicher gesundheitlicher oder wie auch immer schaden oder an einer echten Versorgungsinfrastruktur entstanden ist.

00:18:42: Und weil man auch mal gesehen hat, was die KI kann und dann aber auch was die andere KI, weil HGV ist ja, wenn ich es richtig nachverfolgt habe, selbst mittels KI das entdeckt hat, dass das jetzt da so... Ja, ist richtig!

00:18:58: Also es gibt, man ist den nicht nur ausgeliefert.

00:19:00: Man kann auch mit KI sich vor solchen Sachen auch versuchen zu schützen.

00:19:04: Natürlich das ein bisschen.

00:19:05: eine zweite Ironie an der Stelle war.

00:19:07: ja wenn die Berichte stimmen und das kann ich mir auch sehr gut vorstellen dass Huggingfels Probleme hatte, die Modelle von OpenAI an der Stelle einzusetzen.

00:19:17: Weil sie natürlich den Sicherheitsmechanismus aktiviert hatten was Cyber Security Analysen und Kontra-Attacken betrifft so das Sie auf ein selbst gehostetes chinesisches Modell ausweichen mussten um die Analysien sauber durchzufahren.

00:19:36: Also was man da daran sieht ist einfach die Tatsache, wenn man in so eine asymmetrische Situation gerät wo auf der einen Seite ein Angreifer ein völlig schrankenloses Modell verwendet.

00:19:48: Und auf der anderen Seite, die Verteidiger aber ein aliniertes Modell haben.

00:19:52: Also was sozusagen Sicherheitsaspekte integriert hat und sich eben so verhält wie vernünftige Leute sich verhalten

00:19:58: usw.,

00:20:00: dass man da gar nicht mehr in eine Schieflage geraten kann.

00:20:02: Das ist glaube ich auch ne interessante Lehre aus diesem Vorfall.

00:20:05: das weiß man eigentlich ja auch.

00:20:07: Aber das wird einem hier wirklich noch mal vor Augen geführt.

00:20:10: Dass es dann tatsächlich ganz schnell Probleme bekommen kann.

00:20:15: Ich muss zugeben, ich selbst bin ziemlich erschrocken erstmal als ich das Ganze verfolgt habe.

00:20:19: Weil wirklich in welcher Dimension die KI?

00:20:22: also sagen wir mal wirklich wenn es so war dass der Prom oder die Instruktion einfach nur gewesen ist löst bitte diesen Test und dann kamen alle diese Schritte von der KI autonom.

00:20:33: Wie viel Angst oder Sorgen müssen wir uns jetzt machen?

00:20:36: Die Bundesregierung hat sich ja auch geäußert, inzwischen ist das ein Paradigmenwechsel den wir hier sehen des Bundesamt für Sicherheit und der Informationstechnik.

00:20:44: Das sind die Leute, die uns verteidigen sollen auf diesem Feld, die hierfür die Selber-Sicherheit zuständig sind in Deutschland zu einer neuen Zeitrechnung der Selbersicherheit ist angebrochen.

00:20:55: Ist es also ist jetzt hier was ins wirklich dramatisch ins Rutschen geraten?

00:21:01: Also, da würde ich mich so ein bisschen schwer tun.

00:21:05: Man braucht sich wirklich nur die KI-Safety Reports anschauen.

00:21:09: Da werden sehr Sachen beschrieben.

00:21:11: aber klar das ist wie beim Klimawandel.

00:21:15: Die Theorie und die Beschreibung von theoretisch katastrophalen Ausgängen sind eben noch mal was ganz anderes als wenn Katastrophen dann passieren halten.

00:21:26: also machte eben Unterschied einfach nur in Berichten davon zu lesen und wenn sich dann aber in der realen Welt manifestiert, also insofern könnte man sagen es hat sich hier ein im Prinzip bekanntes Sicherheitsrisiko bei KI-Agenten hat sich ganz klar bestätigt und manifestiert auch in der Komplexität.

00:21:49: Und wie du es eben gesagt hast das Gute daran ist dass das eben in einer, ich sag mal kontrollierten Art und Weise irgendwie geschehen ist oder halbkontrollierte Art im Weise.

00:22:02: Und kein echter Schaden jetzt erst einmal entstanden ist.

00:22:05: aber wir müssen jetzt daraus schon auch die richtigen Lehren meiner Meinung nach ziehen.

00:22:09: Das ist von wichtig!

00:22:10: Und es zeigt auch, dass wir uns wie schon häufiger auf der KI-Zeitachse eher ein bisschen weiter links befinden als rechts.

00:22:19: also die Sachen kommen doch relativ schnell auf uns zu Und wir müssen Mittel und Wege finden, da auch flexibel adaptiv drauf zu reagieren.

00:22:28: Das ist glaube ich wichtig.

00:22:30: Wenn ich jetzt mir vorstelle so eine KI ist frei verfügbar und dann haben das eben auch wirklich echt die Kriminelle in den Händen und testen nicht was sondern versuchen... Was weiß ich sagen zum Beispiel an so einem System?

00:22:47: Leg bitte die KI von Industrieunternehmen X lahm oder greif Bank Y an und suchen wir mal die ganzen Konten raus.

00:22:57: Ist das jetzt so, dass es mit sowas ginge wenn jemand das verfügbar hätte?

00:23:02: Oder ist es nochmal ein anderer Fall was weiß ich wirklich den Strom abzustellen in der echten Welt?

00:23:09: also Ich glaube man hat gesehen zu was dieses System in der Lage sind.

00:23:14: Es ist allerdings auch so, dass es für einen Angreifer immer schwieriger ist als für den Verteidiger.

00:23:20: Weil auch wenn man ehrlich ist, auch OpenAI hätte vermutlich die SK-Paden des KI-Modells selber bemerken können.

00:23:26: Also das ist ja nicht so, daß das sozusagen in einer Blackbox... Ich meine die KI Modelle sind zwar eine Blackbox aber was sie hier in der Welt machen, das ist keine Blackbox, das wird ja beobachtet und natürlich haben viele große Unternehmen auch kleinere inzwischen entsprechende Sicherheitsmechanismen gegen Cyberattacken vorgenommen, die insbesondere eben das Verhalten von Außen auch monitoren.

00:23:48: Welche Systeme von außen Vanbu zugreifen auf eigene Firmenressourcen und so weiter und sofort?

00:23:55: Und insofern kann man dann so eine hochskalierte Attacke relativ schnell erkennen.

00:24:00: Das Entscheidende ist ob man sie dann eben auch verhindern kann aber immerhin kann man sich schnell erkennen!

00:24:04: Es wird nicht so einfach sein das komplett zu verschleiern sondern da gibt es schon auch technische Möglichkeiten und Hürden, die man solchen selbst dem modernsten KI-System in den Weg stellen kann.

00:24:17: Aber trotzdem das ist ja eine dynamische Entwicklung im Moment wo die Modelle im Moment zumindest mal in diesem Bereich tatsächlich in den letzten halben Jahr große Fortschritte gemacht haben und man hat das Gefühl dass sie tatsächlich auch in den nächsten paar Monaten weiter große Fordschritten machen werden.

00:24:35: Und das bedeutet, dass kann einen an der Stelle nicht einfach so ruhig schlafen lassen.

00:24:38: Sondern da muss man sich schon auch überlegen, welche Antworten man drauf hat und wie man darauf reagiert und auch Unternehmen schützt und Infrastruktur.

00:24:50: Das ist eben auch ein wichtiger Punkt.

00:24:52: Die richtigen Lernzieher hast du gerade schon gesagt, was sind denn die jetzt?

00:24:55: Wie sollen wir denn jetzt reagieren da drauf.

00:24:57: Also ich denke es ist ganz wichtig dass wir auf internationale Ebene aber natürlich auch nationaler Ebene KI Sicherheit eine sehr hohe Priorität einrollen.

00:25:07: Der Nationale Sicherheitsrat hat ja endlich beschlossen, auch vor ein paar Wochen AI Safety-Institut in Deutschland einzurichten.

00:25:16: Das liegt jetzt bei BSI und Bundesnetzagentur.

00:25:19: Ich glaube es ist ganz wichtig dass wir so einen Institut bekommen was eben unter anderem als Aufgabe hätte zum Einen wirklich ganz nah dran zu sein an der KI Entwicklung und den sich damit entwickelnden Sicherheitsrisiken einerseits auch in der Position ist, sodass ... eng auch mit den großen Frontierlabs zusammengearbeitet werden können.

00:25:41: Ja, weil es zum Beispiel ein gutes Beispiel ist das UK AI Safety Institute was ja auch schon Meitz aus sehr früh selber testen konnte und sich anschauen konnte.

00:25:50: ich glaube dass es ganz ganz wichtig, dass wir einerseits wirklich verstehen wo sind denn die konkreten Sicherheitsrisiken und die Bedürfnisse?

00:25:58: Und was sind hypothetische?

00:26:00: Weil wenn immer man die Konkretten versteht kann man auch mit dem entsprechenden technischen Sachverstand überlegen ja was steht uns dann noch weiter bevor in ein paar Monaten halt.

00:26:09: Und ich glaube, das ist ganz wichtig einerseits.

00:26:12: Andererseits glaube auch hat man hier gesehen, dass es sehr wichtig ist, dass man auch auf stärker noch vertrauenswürdige KI-Techniken setzt.

00:26:22: Das bedeutet KI-Systeme die per Design transparent sind und garantiert funktionieren.

00:26:31: Dass man wirklich sagen kann ja ich gebe wirklich kann Garantien für Systemverhalten abgeben Ja, weil das ist ja auch etwas was wir hier wieder gesehen haben.

00:26:41: Instruktionen an ein KI-Modell und leider ist das bei den momentanen Modellen eigentlich immer so, dass die unterspezifiziert sind.

00:26:49: Das ist ja auch eine der großen Stärken der Modelle, dass man denen sagen kann schreibt mir mal einen Artikel über die Risiken von KI Systemen und was man dagegen machen kann.

00:27:00: Der kann ja in tausend verschiedenen Arten geschrieben werden.

00:27:03: Die Modelle rennen los und sammeln Quellen zusammen und Text usw.

00:27:07: Ja und schreiben dann auch Was halt?

00:27:10: Diese Unterspezifiziertheit ist natürlich aber eben auch ein gewisses Risiko, weil ich eben was das Ergebnis angeht nicht ganz genau sagen kann welchen Bedingungen das Ergebnis genügen soll sondern man muss das iterativ nachbessern.

00:27:25: Das Problem ist wenn ich iterativ Nachbesser kann das Kind eventuell schon in Ungefallen sein ja dass es dann eben nicht so gut.

00:27:32: und das bedeutet wir müssen mehr zu Systemen kommen da ist auch noch Forschung gefragt natürlich die an der Stelle verlässlicher sind, auch wirklich Regeln einhalten.

00:27:43: Wie gesagt bei diesem Test jetzt wurden ja genau aus Testgründen und das wird man auch weiterhin so machen müssen, aus Test gründen die Beschränkungen aufgehoben weil man wissen will was wozu ist das System denn in der Lage?

00:27:57: Ich wollte

00:27:57: gerade sagen du hast Alignment.

00:27:59: wenn du sagst es muss sozusagen besser werden wir müssten sie so bauen dann unterstellt man aber dass das alles wohlmeinende gut meint Akteure sind und dann gibt es vielleicht die Kriminellen, die genau das nicht wollen.

00:28:13: Und einfach sagen wir wollen halt gerade nicht allein sein.

00:28:16: Wir wollen bestimmte Sachen machen und wie die die schaffen ist mir eigentlich egal.

00:28:20: Ich will gar keine Bedingungen stellen und darauf müssen wir auch vorbereitet sein.

00:28:24: Ja

00:28:24: genau!

00:28:24: Darauf müssen wir eben auch vorbereitet sein und deswegen ist es glaube ich für uns auch wichtig dass sie.

00:28:31: eine zweite Lehre meiner Meinung nach die man da draus ziehen kann, ist dass wir in Europa auch auf eine eigene Modellfamilie zurückgreifen können.

00:28:40: Die so etwas abwehren kann dazu auch in der Lage ist.

00:28:44: also wie ich es eben gesagt hatte die Hacking Face Modelle konnten das nicht weil sie diese Scheren sozusagen hatten.

00:28:51: aber man will auch keine Modelle nehmen von denen man nicht genau weiß wie sie trainiert worden sind und wie Sie sich verhalten weil sie am dritten kommen ja wo einem die Kontrolle fehlt.

00:29:04: Das bedeutet, dass wir immer auch an anderen Stellen vertreten.

00:29:06: Ich glaube das ist auch noch mal ein starkes Argument für eine eigene souveräne Modell-KI-Familie, KI-Modellfamilien in Europa.

00:29:15: Ja?

00:29:16: Das ist denke ich mal eine weitere wichtige Lehre, die man eben auch aus diesem Vorfall nochmal ziehen kann.

00:29:23: Was sagen wir zum Beispiel deutschen Mittelständlern oder Verwaltungseinrichtungen von Mittelgroßen oder großen Städten, oder Bundesländern die sich jetzt vielleicht fragen.

00:29:35: Kann ich jetzt auch getroffen werden?

00:29:36: Weil dieses IS Safety-Institut und diese Sachen das ist ja alles was vielleicht noch ein bisschen braucht aber die jetzt sich fragen bin ich jetzt morgen dran.

00:29:44: Was können wir denen sagen?

00:29:45: also Ich glaube unmittelbar ist es eher so dass man wenn man seine Hausaufgaben im Bereich der Cyber-Sicherheit gemacht hat, was jetzt?

00:29:54: herkömmliche Attacken und da werden zum Teil ja auch schon KI-Modelle eingesetzt.

00:29:58: Das ist das Gebot der Stunde.

00:30:00: Ich glaube von dieser Seite droht noch deutlich mehr Gefahr als von Attacken von solchen Modellen die wir wie wir es eben gesehen haben.

00:30:08: Zum Teil sind hier nicht verfügbar, zum Teil sind die Fähigkeiten eingeschränkt an der Stelle so dass jedenfalls kein Otto normal Bösewicht einfach sich ein KI-Modellendienst unterladen kann oder eine Modelle hosten kann, was dann tatsächlich solche radikalen Attacken fährt.

00:30:28: Aber die Fähigkeiten der Modelle werden auch steigen in der Zukunft und damit auch die Gefahren.

00:30:33: Und ich glaube es ist dann auch ganz wichtig dass man eben die technischen Verteidigungsmöglichkeiten auf Augenhöhe hält an der Stelle.

00:30:41: Das ist eben wichtig und das wird vermutlich auch für ein Mittelständler sehr relevant, dass sie selber entweder über vertrauenswürdige Dienste die diese Abwehr vornehmen.

00:30:54: Auch da gilt es wieder sonst nix wenn nachher die Plattform angegriffen wird und unterminiert wird.

00:30:59: Das heißt wirklich abgesicherte Diensten sein die eben sehr mächtige vertrauenswürdige KI-Modelle dann auch entsprechend hosten, die dann eben auch die Gefahrenabwehr mit übernehmen.

00:31:12: Also ich denke das ist da wo wir uns auf den Weg machen müssen.

00:31:15: im Moment glaube ich ist die Gefahr von solcher Art von Ertacken also voll autonom durch KI Modelle eher noch vernachlässigbar.

00:31:24: aber die werden auf jeden Fall zunehmen in der Zukunft und Die KI Modellen mit herkömmlichen KI-Modellen oder jetzigen KI-modellen ja auch schon unterstützt gefahren werden.

00:31:37: Das sind die, die im wesentlichen Moment die größere Gefahr darstellen und da muss man eben seine Sicherheitsstandards auf dem neuesten Stand halten.

00:31:45: das ist für mich klar.

00:31:47: Eine Frage habe ich noch zum Thema wie kann man das?

00:31:49: Und es soll auch ein bisschen so die Ausblicken des Seilen zum Schluss was ja auch manchmal rumgeistert jetzt schon vor bevor das jetzt passiert ist was schon bei Meithus war Topf Forschungslabor oder Entwickler könnten die Modelle zurückhalten und nicht mehr teil- oder zugänglich machen, oder man könnte sich auf ein Forschungsmoratorium verständigen.

00:32:13: Hältst du von sowas irgendwas?

00:32:17: Also ich glaube nicht, dass es irgendeinen Sinn macht ein Forschungsmoratorium auszurufen.

00:32:22: solche Forderungen gab's tatsächlich ja schon auch in der Vergangenheit.

00:32:25: Das Problem dabei ist das sich da, dass man zum einen keine vollständige Compliance an der Stelle weltweit finden wird wo jeder sagt okay dann mache ich mit sondern es wird immer an irgendwelchen Ecken werden die Modelle weiterentwickelt und Wenn wir so ein Forschungsmoratorium versetzt uns auch in einen Nachteil, das darf man eben auch nicht vergessen wenn eben an anderer Stelle die Modelle weiterentwickelt werden.

00:32:48: Ich glaube wir müssen weiter mit Hochdruck an Modellen arbeiten wie eben vertrauenswürdiger sind als jetzigen Modelle In dem Sinne dass sie auch das tun was von ihnen verlangt und nicht mehr auch nicht weniger.

00:33:03: Das ist glaube ich das eine was ganz wichtig ist und vor allen Dingen die das Beobachten der Sicherheitslage.

00:33:10: Das heißt, AI Safety Institute ist ein wichtiger Baustein davon aber auch die Vernetzung der internationalen AI Safety Institute eben anderer, der auch ganz wichtig ist.

00:33:21: also Es wurde ja schon häufiger auch mal die Atomaufsicht überstrapaziert als Analogie, aber funktioniert eben auch international.

00:33:30: Das machen auch total viel Sinn.

00:33:32: Das bringt nichts das isoliert zu machen sondern in dieser Art und Weise müssen wir glaube ich unsere Aufmerksamkeit weiterentwickeln technologisch weiterentwicklen und gleichzeitig aber auch Regulatorien umsetzen die es uns ermöglicht, sofort zu erkennen wenn irgendwo was schief geht.

00:33:53: Sagt Antonio Grüger der Vorstandsvorsitzende des Deutschen Forschungszentrum für Künstliche Intelligenz der sich und dessen Unternehmung sie seit vielen Jahren mit allen Facetten der KI befasst.

00:34:06: Liebe Antonio, vielen Dank für deine Zeit und die Einsichten und Ihnen die Behörerinnen und Hörer viel Dank das wir einmal mehr eingeschaltet haben.

00:34:15: Wir halten Sie natürlich auf allen FAZ Kanälen zu diesem Thema, auf dem Laufenden.

00:34:19: bleiben sie gesund und uns gerogen und gerne bis in der kommenden Woche!

00:34:25: Ciao.