00:00:04: Das muss man sich einmal vorstellen.

00:00:06: Die Vorstandschefs der beiden wichtigsten amerikanischen KI-Unternehmen, OpenAI und Entropic vor dem Sicherheitsrat der Vereinten Nationen.

00:00:16: eine völlig neue Bedrohung wird im höchsten möglichen Gremium diskutiert.

00:00:21: stehen wir vor dem Verlust der Kontrolle über KI Technologien?

00:00:27: wie kann man auf politischer Ebene darauf antworten?

00:00:31: aber nicht nur das auch unternehmen sind immer stärker bedroht.

00:00:35: Darüber wollen wir heute reden.

00:00:39: Herzlich willkommen zu einer neuen Folge des FHZ-Digitalwirtschaftspodcasts, liebe Hörerinnen und Hörern!

00:00:45: Mein Name ist Carsten Knob.

00:00:47: Ich bin einer der Herausgeber der FH Z und wir haben heute einen Gast, der schon mal im Digital Wirtschaftspodcas war – und zwar Mirko Ross, Gründer und CEO des Stuttgarter Cyber Sicherheitsunternehmens Eswin I.O.. Hallo Mirko.

00:01:04: Ja, hallo!

00:01:04: Vielen Dank für die Anladung.

00:01:05: Danke dass du dir nochmal wieder Zeit nimmst.

00:01:09: bevor wir zum Thema kommen stellen wir dich noch mal ganz kurz etwas genauer vor.

00:01:13: dein Unternehmen fokussiert sich auf KI gestützte Threat Intelligence also du nutzt auch durchaus KI in dem was du tust und Risikomanagement für vernetzte Systeme.

00:01:25: Du berätst deine Kunden wenn es um industrielle Steuerungstechnik geht im Maschinenbau bei Automobilherstellern Das mit kritischer Infrastruktur zu tun, Behörden Luft- und Raumvertechnik auch Verteidigung.

00:01:38: ist das soweit schon mal richtig.

00:01:42: Und früherer Hacker war es da auch korrekt?

00:01:45: Ja, das trifft schon sehr gut und möchten noch ergänzen dass wir uns bestimmt seit sieben oder acht Jahren intensiv damit beschäftigen wie man KI Systeme angreifen kann.

00:01:53: also wenn immer auf der Seite zu gucken wo sind die Schwachstellen in diesen Systemen haben daraus sehr viel gelernt Und können natürlich im Umkehrschluss sehr gut bewerten, was passiert denn da gerade bei Entrophic?

00:02:06: Bei OpenAI.

00:02:08: Was sind die Fähigkeiten dieser Systeme und wie muss man das Ganze einordnen?

00:02:12: Also bist du der ideale Gesprächspartner für genau den Themen Spannungsbogen, den ich aufgezeichnet habe.

00:02:19: Wie bewertest Du denn die aktuelle Bedrohungslage?

00:02:23: lieber

00:02:24: mehr kommen?

00:02:24: Ja, also wir haben natürlich immer eine Bedrohungslage generell in der Cyber-Sicherheit aber KI verschärft das ganze Problem.

00:02:32: Das heißt die Bedrohnung hat sich erhöht.

00:02:36: definitiv warum?

00:02:37: weil KI Systeme unglaublich leistungsfähig geworden sind im Bereich Komplexes Probleme zu lösen, Cybersecurity-Probleme zu löseln.

00:02:48: und als Problemlösung beschreiben wir halt im Hacking die Möglichkeit beispielsweise in ein System einzubrechen.

00:02:55: Und dann die volle Kontrolle darüber zu übernehmen.

00:02:57: das war etwas was vor einem Jahr noch nicht so gut funktioniert hat und heute die leistungsfähigen Modelle schaffen dass sie einen extrem hohen Grad der Wahrscheinlichkeit und das muss uns natürlich alle mit wie sagt man Sorge füllen.

00:03:13: an dieser Stelle

00:03:14: Also dass da was los ist, bekommt man manchmal schon mit wenn man einfach zu Hause seinen Briefkasten öffnet.

00:03:20: Weil das ist mir passiert vor wenigen Wochen, dass mir mal eine Krankenversicherung geschrieben hat.

00:03:27: bei uns lagen irgendwie Daten so zugänglich für ein System das OpenAI in dem Fall Zugriff auf ihre Namen, ihr Geburtstatum und sonstige Sachen hatte die bei uns gespeichert sind.

00:03:44: Und ja tut uns leid wir sind im Gespräch.

00:03:49: Also ähm dann also das war sozusagen jetzt bei mir ganz persönlich so ein Moment wo ich mal mehr als nur die Augenbrauen hochgezogen habe.

00:04:01: Ja.

00:04:02: Wir haben darüber auch geschrieben.

00:04:03: es waren übrigens die Universaversicherungen in Nürnberg die älteste deutsche Krankenversicherung by the way.

00:04:09: Also auch nicht irgendwie so ein völlig unbekanntes Unternehmen, aber darum geht es ja eh nicht.

00:04:15: Wir haben den Fall gehabt dass Hugging Face angegriffen worden ist und offenbar von einem koordinierten Schwarm von wenn ich's richtig in Erinnerung kam, tausend Zwarhundert Agenten die sich mal ebenso verbündet hatten und so.

00:04:27: Und jetzt habe ich heute die Zeitung aufgeschlagen da steht Hecker wirklich die Zeitungen.

00:04:33: Es gibt auch noch Hackerangriff auf Resenius.

00:04:38: Unbefugte hätten sich Zugang zu einer begrenzten Anzahl interner Systeme verschafft, haltete das Unternehmen aus Bad Homburg mit usw.

00:04:46: und keine Ahnung ob da auch Kayi eine Rolle gespielt hat.

00:04:49: also kurz um.

00:04:51: Es ist ja in der Tat ganz schön was los.

00:04:54: Ja, eine würrige Mengelage würde ich sagen an Nachrichten und ich möchte noch einen hinzufügen.

00:04:59: Craig Prokman der CTO von OpenAI wurde aus Gerichtsakten zitiert denn die New York Times hat OpenAI verklagt.

00:05:08: da läuft gerade ein Prozess.

00:05:09: warum?

00:05:10: weil OpenAI ein Agent G Paywall der New York times geknackt hat und hier quasi auch indiziert hat, die Daten für das Training benutzt hat.

00:05:23: Und als Greg Brockmann es erfahren hatte dann war seine erste Reaktion a nice!

00:05:31: Ja aber so jetzt saßen sie den beiden Herren da vor dem Sicherheitsrat der Vereinten Nationen und haben sich Zitire gesagt KI könne ein Risiko für die ganze Menschheit sein.

00:05:42: Das hat er am Modell gesagt Das sei das wichtigste Problem für die globale Sicherheit überhaupt.

00:05:49: Und Ordmann, der anders als der andere sogar vor Ort war und nicht nur per Video zugeschaltet hat gesagt es ist egal Ob die Menschen das Risiko einer Katastrophe auf zehn oder ein, oder zwölf oder nur kommer eins Prozent schätzen.

00:06:03: keine dieser Zahlen ist auch nur im entferntesten akzeptabel.

00:06:07: Da würde man ja unbeüber zustimmen.

00:06:09: aber an dich habe ich die Frage Ist es jetzt eigentlich Werbung?

00:06:12: Oder ist es jetzt real was sie da machen?

00:06:14: Es gibt ja auch die These dass die eigentlich nur die Marktzugangs Barriere hochziehen wollen nachdem Sie sich selber etabliert haben.

00:06:21: Ja, ich glaube es gibt viele Wahrheiten an der Stelle und natürlich viele Unterschiede in den Interessen.

00:06:26: Das erste was man sieht ist dass die Modelle wirklich wirklich in ihrer Leistungsfähigkeit extrem schnell veranschneiden.

00:06:34: also das Ganze wird ja vermessen.

00:06:37: man macht Benchmark-Tests um diese Modelle zu vermessen und eben auch solche Sicherheitstests so machen denn Vorfall.

00:06:43: Hackingface haben wir schon angesprochen.

00:06:45: Das war ein Benchmark-Test, dort wurde eigentlich die Fähigkeit eines Modells heute vermessen werden und es ist dann ausgebrochen.

00:06:52: Da passiert schon extrem viel das quasi die eine Seite was die Modelle können und beherrschen wir denn wirklich die Modellen indem wir sie da richtig begrenzen oder in richtigen Vorgarten geben?

00:07:03: offenkundig wird da geschlampt Wenn sonst würden diese Fälle nicht auftreten, das sind quasi fehlerhafte Settings.

00:07:09: oder man muss sich vorstellen.

00:07:10: Man packt das Modell in ein Zimmer sagt löse eine Aufgabe und bleibt im Zimmer und gleichzeitig lässt man aber die Lackzeugkästen da um den Schloss aufzumachen.

00:07:18: dann macht es das Model halt in dem Fall Er empfehlt

00:07:21: denen das Unternehmen dann aber macht, dass den Agenten los schicken.

00:07:24: Genau

00:07:25: in dem Fall Europmea bei Hackingface.

00:07:27: Das heißt da wird geschlammt auf der einen Seite und dann haben wir dieses Wettrennen der Kailer Bohre also in den USA und in China Und was wir eben auch hier sehen ist, dass der Abstand immer geringer hört.

00:07:40: Also die Chinesens sind im amerikanischen Kailabor extrem dicht auf den Fersen.

00:07:46: Letztes Jahr hatten wir noch von Abständen, von einem halben Jahr bis vielleicht drei Monate gesprochen.

00:07:51: Jetzt sind sie wirklich nur noch wenige Wochen.

00:07:53: Das heißt das Rennen wird extrem eng.

00:07:55: Vielleicht ziehen Sie auch schon gleich auf?

00:07:57: Wir können ja nicht reinblicken in die Labore.

00:07:59: Du hattest Alibaba im Vorgespräch auch kurz erwähnt.

00:08:03: Sag gerne nochmal was es da Neues gibt.

00:08:05: Genau

00:08:06: Jürgen ist der Ankündigung.

00:08:07: vor zwei Tagen hat Alibabagen gekündigt zu wohl einen neuen Chip für KI-Training und Interferenz zu präsentieren.

00:08:16: Also das heißt diese Frage, wer hatten jetzt eigentlich die Grafik also die Karten, die Rechenkarten?

00:08:22: Das scheint sich aufzulösen dieser Wettbewerbsvorschung der Amerikaner weil die Chinesen ihre eigene eigenen Halbleiter jetzt herstellen.

00:08:31: Und Alibaba hat neue Modelle angekündigt und das sind Modelle mit fünf Milliarden bis zehn Milliarden Parameter Hörer draußen, fünf Milliarden Parameter.

00:08:42: Das sind so die aktuellen Leistungsstärksten Modelle, die wir öffentlich verfügbar haben von OpenAI und von Entroffik also ein Gleichziehen quasi dieser Leistung der Modelle das zeichnet sich ab.

00:08:54: Das

00:08:54: ist diese sogenannten Frontiermodelle.

00:08:56: wenn man davon mal was hört dass es dann das ja

00:08:59: und wenn jetzt beide große führende US-Labore nach regulatorisch schreien aber dennoch im Hintergrund weiter entwickeln Auch diese Tests weitermachen und wir immer mehr Vorfälle sehen, dann ist es vielleicht auch ein Zeichen dafür dass die Regulation hier nicht unbedingt als Zweck der eigenen.

00:09:19: Ja ich packe mich selber an der Leine gedacht ist sondern vielleicht auch sehr stark marktregulatorisch wirken soll indem er sich die chinesischen Modelle vom Leib haben möchte.

00:09:29: also was alle befürchten das sind platzen der Kariblase

00:09:34: Das würden der eine oder andere auch an einer Börse merken.

00:09:37: Übrigens, wenn man einfach nur einen ETF hat – aber das ist ein anderes Thema für den Finanzen-Podcast.

00:09:44: jetzt bleiben wir noch mal ganz kurz bei der großen Politik.

00:09:51: Donald Trump hat ja gesagt es reicht völlig aus einen intelligenten amerikanischen Präsident zu haben um das Problem in den Griff zu bekommen Wenn man das jetzt nicht ganz ernst nimmt, was er so sagt.

00:10:03: Wenn man sich diese Gemengelage anschaut und wenn der Podcast kommt dann wird Schi schon bei Herrn Trump gewesen sein.

00:10:11: Und also meine Prognose wäre so wahnsinnig viel weltbewegendes an Fortschritten wird da rund um das Thema KI nicht rausgekommen sein.

00:10:19: Wenn mal mit dieser Hypothese weiterarbeitet ist es ja auch relativ selbstverständlich dass das so ist weil da zwei Weltmächte eigentlich So was machen wir den Kalten Krieg früher, nur dass es diesmal um KI geht.

00:10:33: Richtig und die Definition Kalter Krieg ist vielleicht sogar... Also die kennen wir quasi aus der eigenen Erfahrung weil wer da auf... also wissen Kinder des Kalten Krieges so kann man das ja sagen, wir kennen noch diese Situation dort.

00:10:47: Die jungen Generation kennt er dieses Bild gar nicht.

00:10:50: Aber was wir sehen sind auch mehrere Themen.

00:10:52: Wir sehen die KI-Modelle werden immer leistungsfähiger.

00:10:54: Das hat eine Folge für Wirtschaft.

00:10:58: Wie bekommen wir in der Leistungsfähige Wirtschaft hin?

00:11:01: Und wenn eine Wirtschaft KI getrieben wird, dann gibt es die These, die eben sagt.

00:11:05: Die Unternehmen, die die stärksten KIs haben werden diejenigen sein, die am leistungsfähigsten draußen am Markt operieren können.

00:11:12: Schlechte Nachricht für Europa an der Stelle, den offensichtlich einen USA und China besser gewappnet zu sein.

00:11:18: Dann haben diese beiden großen KI-Nationen aber untereinander ein Weg bewahrt, wer bekommt mehr Effizienz, wer bekommt mehr Intelligenz in seine Wirtschaft und dann wirtschaftlichen Vorteil ein Wettbewerbsvorteil zu erreichen.

00:11:32: Das ist quasi der eine Bereich!

00:11:33: Und das zweite große Bereich ist natürlich der geostrategische militärische Demis sehen.

00:11:37: also wir dürfen uns nichts vormachen.

00:11:40: alle großen KI-Labore der Amerikaner arbeiten intensiv mit dem amerikanischen Militär zusammen mit den Sicherheitsbehörden.

00:11:48: Wir wissen dass KI beispielsweise im Ukraine Krieg Tatsächlich wichtige Rolle spielt, wenn es darauf geht auf dem Schlachtfeld Operationen zu planen vorzubereiten durchzuführen.

00:12:00: Und auch hier gibt es einen Wettbewerb der ganz hart ist wo es einfach darum geht.

00:12:06: militärische Stärke und militärischer Folge werden zunehmend auch an KI-Fähigkeiten gebunden und KI-Fähigkeiten entscheiden darüber.

00:12:15: Und das sind die zwei großen Rennen, die wir gerade sehen, in diesen Debatten der Labore dann auch noch manifestieren?

00:12:23: Ist es denn überhaupt vorstellbar dass in einer solchen Auseinandersetzung einem solchen Rennen so etwas entsteht wie eine Genfer Konvention, die ja die Nutzung bestimmter Waffen verbietet nach den Erfahrungen des Ersten Weltkriegs Oder müssen wir eine vergleichbare Erfahrung erst machen, bevor eine solche Regulierung, wenn man das so will, Einigungen auf bestimmte ethische Standards im Weltmarschstab erfolgen kann?

00:12:55: Also tatsächlich hoffen wir nicht, dass Menschen nur durch Schmerz lernen.

00:12:59: Dass wir den Einsatz von Chemiewaffen wie im Ersten Weltkrieg sehen müssen oder die Atombombe am zweiten Weltkrig.

00:13:06: Das hoffen wir jetzt nicht bei KI.

00:13:08: Also die Frage, es werden wir KI-Anwendungen sehen, die massenhaft Menschen töten und wird dann dazu in der Weltgemeinschaft zum Entschluss kommen?

00:13:15: Das müssen wir regulieren!

00:13:16: Das wäre schade.

00:13:18: Meine Hoffnung ist dass wir mehr gelernt haben aus der Geschichte und dass die Nationen, die gerade dort den Ton angeben, nicht selbst zerstörig unterwegs sind.

00:13:29: Erst mal grundsätzlich.

00:13:31: Ich denke hier immer noch an die menschliche Vernunft an dieser Stelle.

00:13:36: Jetzt gibt es aber etwas Entscheidendes und ich hatte eher gesagt, wir haben auch eine Seite dieser KI-Entwicklung auf der wirtschaftlichen Seite.

00:13:41: Auf der wirenschaftlichen Seite würde ich sagen das wird keinerlei Formen der Selbstregulation stattfinden.

00:13:48: Warum?

00:13:48: Es ist ein wirtschaftlicher Wettbewerber.

00:13:50: Keiner der Akteure hat irgendwie Interesse mehr unterhand zu sagen man macht jetzt wirklich einen Moratorium oder lässt sich in die Karten schauen.

00:13:59: Die Chinesen dürfen die amerikanischen KI-Labore besuchenden im Umkehrschluss.

00:14:03: Das wird nicht stattfinden, dafür hat ein knallhatter wirtschaftlicher Wettbewerb der Stadt findet.

00:14:10: Auf dem militärischen Komplex gesehen ist es etwas anderes und das ist das was wir sehen auch in den Gesprächen und großen Sicherheitskonferenzen extrem vorsichtig, was den Einsatz von KI auf dem Schlachtfeld anbelangt wenn es um voll autonome KI-Systemen anbelankt.

00:14:32: Weil jeder weiß in der Schlachtfelssituation wird sich zwei Seiten gegenüberstehen, wird der mit hoher Wahrscheinlichkeit vom Schlacht Feld gehen, der die schnellste KI hat und das ist die KI, der am wenigsten reguliert ist.

00:14:45: und das führt zu so eine Spirale dass jede Seite eigentlich ihre KI vollkommen unregulierend in so einer Unregulierung taumelt Was am Ende zu so einem vollkommen Chaos auf dem Schlachtfeld führen könnte, sprich mal von der Symbolarität.

00:15:01: Keine der Seiten will es eigentlich.

00:15:02: Ich glaube das wir tatsächlich im militärischen Bereich die ersten Elemente sehen werden wo man international den Ansatz von KI regeln wird und sich darauf verständigen wird.

00:15:13: was sind die Guardrails die man machen kann?

00:15:17: Das wird ein Minimumstandard sein logischerweise aber ich bin mir ziemlich sicher dass wir die als erstes sehen bevor sie in der Wirtschaft ankommen.

00:15:24: eingebaut ist es ja schon.

00:15:25: ich hoffe jetzt mal dass das kein fake foto war kein deepfake.

00:15:29: aber ich hatte nicht das gefühlen nach meinem durchaus nicht ganz unprofessionellen eindruck ein Foto aus der Ukraine von einer abgeschossenen russischen Drohne mit einem relativ fetten Nvidia-Chip drin.

00:15:44: Also wir sind schon Montag mit dabei!

00:15:46: Ja

00:15:46: klar, also wir sehen ja technologische Entwicklung ist ja immer so dass in Kriegszeiten technologischer Entwicklungen extrem schnelle Sprüge macht.

00:15:56: warum?

00:15:56: weil andere normative Grenzen hat außer Kraft gesetzt sind.

00:16:00: wie gesagt das Thema ist dort haben wir unmittelbar als Beispiel die zerstörerische Wirkung, die KI halt entfachen kann.

00:16:09: So und ich glaube auch... Und dort haben wir auch quasi ein hohes Eigeninteresse der Staaten und der Militärs das sich die Technologie nicht gegen sie selber richtet.

00:16:19: Da gibt es ein paar schöne Beispiele.

00:16:21: also erst mal aus der Wirtschaftsekonomie gibt es einen Denkmodellenbeispiel.

00:16:25: Das ist der Büroklammer-Test in dem man mal gesagt hat, dass das Denkmodell ist.

00:16:29: Ich gebe ein KI Agent oder einer KI die Aufgabe Bau optimal Büro klammern und es führt dazu, dass das System sich immer ständig optimiert um mehr Büroklammern herzustellen.

00:16:40: Und ganz am Ende wird die ganze Welt ertrinkt in Bürokrammern.

00:16:45: Das hat Microsoft auch schon mal beinahe geschafft.

00:16:47: Es ist ein kleiner Witz für die älteren unter uns.

00:16:50: Genau!

00:16:52: Und es bleibt kein Platz mehr für die Menschen als sämtliche Ressourcen der Welt weil nur noch in Büro Klammern.

00:16:57: investiert, ist natürlich ein interessantes Modell.

00:16:59: Weil es eben sagt okay ich muss nicht nur die Aufgabe stellen weil die KI so super effizientes im Aufgaben erfüllen sondern ich muss auch andere Rahmenbedingungen setzen.

00:17:08: Im militärischen Bereich gibt es ähnliche Experimente.

00:17:12: da gab's zum Beispiel einen Experiment wo gesagt wird okay eine KI soll auf dem Schlachtfeld eine spezifische Situation lösen und dann kam die halt zum Schluss dass das eigene menschliche Kontrollzentrum ein Hindernis bei der Effizienten Lösungen des militärischen Problems darstellt.

00:17:28: und anstatt den Gegner auszulöschen.

00:17:30: Als erstes hat er das eigene Mensch, also quasi das eigene Kontrollzentrum ausgelöscht und dann den Gegners.

00:17:36: Und das sind natürlich in der Simulation Thema sagt Das will ich ja nicht.

00:17:40: Also entspricht nicht mehr im militärischem Ziel dass die KI sagt Ich muss erst mal mein eigenes Kommando-Stand aus dem Weg räumen, weil der mich da beschränkt.

00:17:49: Und deswegen glaube ich wir haben gute Hoffnung dass sich in diesem Bereich tatsächlich bestimmte Standards etablieren und sich die Parteien auch Indikaten schauen lassen was sie da jeweils machen.

00:18:00: Spannende Trenne!

00:18:01: Vielen Dank für den Gedanken.

00:18:03: lasst uns zum Unternehmensumfeld kommen und zwar zu der Seite die eben bedroht ist durch diese Angriffe.

00:18:13: Meine Krankenversicherung erwähnt und es lässt sich ja ein Haufen von Beispielen außerdem noch finden.

00:18:20: Was hat sich da, um das einmal nochmal zu fassen in den vergangenen zwei Jahren noch für die IT-Sicherheit im Unternehmen verantwortlichen geändert auf dass sie viel stärker achten müssen als vorher?

00:18:34: Cyber Sicherheit ist generell immer ein Wettlauf zwischen Abwährungankreifer.

00:18:39: Traditionell ist der Angreifer immer etwas im Vorsprung und die Abwehr kommt dann hinterher und probiert zum Beispiel Sicherheitslücken zu schließen.

00:18:49: Das hat man so das traditionelle Spiel, dass wir haben und es war immer ein menschliches Spiel.

00:18:53: D.h.,

00:18:53: ich habe auf der einen Seite menschliche Ressourcen, die mich angreifen.

00:18:56: Die sind auch limitiert, auch Landangreifer haben limitierte Ressousten Und ich hab die Abwehre, die oftmals noch stärker limitiert weil sie halt um wirtschaftliche andere Aspekte geht.

00:19:07: Wir bekommen KI als erstes in der Anwendung im unregulierten Bereich.

00:19:23: Die müssen sich nicht drum schären, ob ihre KI sonst noch was kaputt macht.

00:19:29: Die scheren sich auch nicht um den EU-AI-Akt oder andere Regulatorien.

00:19:34: Ich hatte es befürchtet!

00:19:36: Sondern die sagen einfach, hier ist eine Technologie, hier gibt's ne Option, die mir dabei hilft ein Angriff effizienter auszuführen mit einer höheren Erfolgsrat der Auszuführung.

00:19:45: prima machen wir und deswegen liegen die Angreife hier eindeutig vorne.

00:19:51: Und das ändert tatsächliche Spiel, das sehen wir in den Angriffen die jetzt gerade erfolgen.

00:19:54: Das sind mehrere Themen.

00:19:55: Das erste ist KI ermöglicht es quasi diesen Ressourcenengpass des Menschen zu beseitigen.

00:20:02: Auch die Angreifer können das plötzlich viel starker skalieren.

00:20:04: Die können eben sagen ich habe nicht nur einen Hacker der hier etwas macht sondern ich hab tausend zehntausend KI-Agenten, die was machen.

00:20:12: Die limitierende Ressource auf der Angreiferside ist hier die Verfügbarkeit von Rechenkapazität und jetzt nicht plötzlich Verfügbarheit von menschlichen Hackern.

00:20:20: Und das zweite, was wir auch sehen ist know how.

00:20:22: Also man stellt sich immer vor ja der Hacker das ist so ein hochgradiger Nerd, der guckt sich ins System an analysiert und dann hat er unglaubliche Fähigkeiten.

00:20:33: wie da reinkommt in der Realität es nicht ganz so.

00:20:35: also ganz sagt viele Hackers sind ehrlich gesagt nicht super super clever.

00:20:40: vieles sind Leute die einfach nur Skripte anwenden diese im Internet gefunden haben oder Tools Anwänden die schon im Internet gibt.

00:20:47: sie haben gar nicht so ein tiefes Verständnis.

00:20:49: Und wir sehen halt, dass genau diese Leute befähigt werden.

00:20:53: Weil KI hat so einfach zum Anwenden ist plötzlich hochkomplexe Angriffe auszuführen also Angriffen, von der man sagt Kernel exploits ja da geht es drum zu sagen ganz tief auf dem System zu sagen wie denn auf dem Chip bestimmte Dinge ausgeführt wird und was passiert da im Speicher?

00:21:13: Und kann ich da ausbrechen vom einen speicherbereichend anderen?

00:21:16: das sind extrem komplexe Angriffe, die eigentlich früher nur Hochspezialisten gemacht haben.

00:21:22: Die begrenzt waren weltweit.

00:21:23: Das können jetzt alle gewollt werden?

00:21:24: Und das

00:21:24: kann eine KI super!

00:21:26: Ich habe neulich was gesehen.

00:21:28: da hat jemand der wollte ... Der hat sich ein Smart TV gekauft und wollte etwas installieren auf seinem Smart TV und durfte es nicht weil das System halt begrenzend war.

00:21:39: und dann hatte er quasi selber eine KI drauf angesetzt einen eigenen Smart TV zu hacken über einen Colonel Exploit.

00:21:46: und plötzlich durfte er die Programme auf dem Smart TV installieren, die ihm der Hersteller verwert hat.

00:21:52: Und das ist eine vollkommen neue Dimension, weil derjenige war ja nicht mal ein Hacker, sondern einfach nur jemanden, der programmieren konnte... ...und eine Idee hatte!

00:22:01: Genau, der hatte eine Idee.

00:22:03: Das ist natürlich ne vollkommen andere Dimension auf die die Unternehmen sich einstellen müssen.

00:22:10: Auf der Unternehmenseite haben wir das Problem, dass Cybersecurity-Organisation in der Regel immer nur ein Kostenfaktor sind.

00:22:17: Die tragen ja eigentlich nicht wertschöpfend bei, die erzeugen keine Wertschöpfer, sondern sie dienen der Sicherung von Wertschüpfern.

00:22:24: Das heißt man will natürlich und kann auch als Unternehmen nicht endlos in Cyber-Sicherheit investieren.

00:22:31: Und wir sehen natürlich insbesondere jetzt im Deutschland in der wirtschaftlichen Situation oder in der real ökonomischen Situation, in der sich Unternehmen befinden dass die Investition in Cyber Sicherheit auch eine Investition ist, die wehtut Und die leiden ja nie unmittelbar irgendwie, ich investiere einen Euro in Seiber-Sicherheit.

00:22:49: Krieg aber nicht um ein Euro fünfzig zurück, sondern ich kriege das Versprechen, dass deine Gewinne damit geschützt wird und wir auch immer ganz schwierig zu bemessen.

00:22:58: Und jetzt haben auf der einen Seite quasi die skalierenden Angriffe und auf den anderen Seite Organisationen, die sehr traditionell aufgestellt sind mit der Seiber Sicherheit, die nicht weiterskalieren können weil sie nicht endlos mehr Personal einstellen dürfen oder gar kein Personal mehr einstellen durften oder weil sie dass sie traurige Wahrheit personal abbauen.

00:23:16: Und in dieser Situation steigende Bedrohungsnage, steigender Automatisierung der Angreifer viel zu viele manuelle Prozesse in den Unternehmen Wegfall von Ressourcen oder Wegfall auch von Know-how Trägern.

00:23:28: das macht uns insbesondere als deutsche Wirtschaft gerade extrem anfällig.

00:23:35: Also ich würde sagen diese Kombination erhöht quasi unsere Gefährdungsstufe gerade mindestens um drei Punkte.

00:23:41: und dann Gesprächen mit Unternehmen, die zum Teil betroffen sind und sich vielleicht auch einfach nur schützen möchten.

00:23:50: Da hast du schon angesprochen es kostet Geld und das eine ist ja wenn man so will das Türschloss und das andere ist aber wahrscheinlich auch das Geld dass man dafür ausgeben muss, dass irgendwo das ganze System, das man betreibt spiegelbildlich ausgelagert ist damit man wenn das eine kompromittiert ist das andere dann auch noch wieder sozusagen aus dem Spiegel zuschalten kann, kümmern sich Unternehmen nach deinem Gefühl ausreichend darum dass immer ein System noch da ist das den Betrieb aufrecht erhalten kann was heutzutage ja vielleicht gar nicht so dumm wäre.

00:24:27: Ja der Fachbegriff der darunter fällt es die sogenannte Resilenz also die Widerstandsfähigkeit.

00:24:32: man geht davon aus wird angegriffen und Resilienz beschreibt die Fähigkeit.

00:24:36: wie schnell kann ein Unternehmen das angegriffene wird wieder in den Status kommen, dass es einen Job machen kann.

00:24:43: Dass es Wertschöpfung erzeugen kann.

00:24:45: Der Gedanke hat sich in den letzten Monaten tatsächlich sehr stärker durchgesetzt.

00:24:50: also wir sehen viel mehr Unternehmen die darauf gucken im Sinne von Resilienz.

00:24:54: wie kann ich da schützen was man sieht der Kern meiner Wertschüpfung macht wenn dieser angegriffen wird?

00:25:01: Wie kann ich dem beispielsweise über Renudanz Also andere Systeme dann beispielsweise am Laufen halten, auch wenn ein Teil meiner Systeme abgeht.

00:25:11: Bisschen zu Strategien, dass Unternehmen sagen im Angriffsfall ich schalte ganze Systeme ab weil ich zwar sage die sind zwar im Wertstrom vorhanden also sie sind irgendwie in der Produktion im Wertstromelemente aber die sind jetzt nicht im Sinne von Resilenz extrem notwendig für den Wertschöpfungsmoment.

00:25:30: Also ich kann es überbrücken mehrere Tage wechseln.

00:25:35: Das sind Überlegungen, die sie eben gerade durchsetzen und ehrlich gesagt geht es auch gar nicht anders weil wir können nicht alles schützen.

00:25:41: Ja genau nur um noch mal so ein bisschen zu verdeutlichen liebe Hörer was damit gemeint sein könnte.

00:25:47: also angenommen Sie haben einen Unternehmen unter einer Webadresse die eingeführt ist dann wäre das nicht verkehrt sowas auch unter einer zweiten die mit ihrem Unternehmens Namen auch zu tun hat nochmal so zu machen, dass sie dann unter den neuen auch künftig sofort wieder erreichbar sind.

00:26:03: Sei es jetzt über die E-Mail Domain oder sonst und das ihre Daten wo immer Sie in der Cloud sind noch in einem ganz anderen Land im ganzen anderen Rechtszentrum völlig entkoppelt auch noch mal vorgehalten werden usw.

00:26:17: und sofort und ja es lohnt sich tatsächlich darüber sich Gedanken zu machen, nein damit verdient man in dem Moment kein Geld.

00:26:24: Aber ihr Werkschutz der das Gelände bewacht und so die Türen- und Videokameras die da eingebaut sind verdienen ja auch kein Geld und es gibt trotzdem gute Gründe sie zu haben.

00:26:37: So könnte man's vielleicht sagen.

00:26:38: Wichtiger ist sehr schön zusammengefasst in der Notwendigkeit aber zeigt auch sehr gut die Problematik im unternehmerischen Alltag.

00:26:46: also Geschäftsführer, Vorstände, Aufsichtsräte sind ja keine Sicherheitsexperten.

00:26:53: Und das einzuschätzen was kommt aus der Arbeitsebene und das richtig einzuordnen?

00:26:57: Das ist glaube ich die große Herausforderung in der Risikoabwägung, die Unternehmer halt jeden Tag machen müssen!

00:27:03: Und das Problem bei Salber Sicherheit ist halt dass es ein bisschen ähnlich wie Radioaktivität ist.

00:27:08: also ich merke die Gefahr nicht Ich werde verstrahlt, ich werde infiziert angegriffen.

00:27:13: In dem Moment merken viele Unternehmen nicht mal dass sie angegriffene werden.

00:27:17: das geht über mehrere Tage oder mehrere Wochen die Daten fließen ab und wenn es dann passiert ist sind halt die Schäden so hoch der Impact so hoch dass man sich gewünscht hätte dass man quasi vorher mehr Strahlenschutz geleistet hätte im Unternehmen.

00:27:34: Ich habe hier so eine Checkliste vorbereitet und sag ruhig, ob das aus deiner Sicht so richtig zusammengefasst ist.

00:27:42: Erster Schritt Inventur schaffen.

00:27:44: Unternehmen sollten überhaupt erst mal wissen welche KI-Modelle Datenquellen, Schnittstellen, Plugins und Dienstleister im Einsatz sind.

00:27:53: Du nennst das Sicherheit durch Wissen?

00:27:55: Ja.

00:27:56: Check sollte man zusehen dass man überhaupt erstmal weiß was los ist.

00:28:00: genau So und zwar bei jedem einzelnen Mitarbeiter.

00:28:04: Ja, also die Frage ist ja man muss sich schon so feinkranola herunterbrechen.

00:28:07: für viele wäre es schon mal wichtig zu wissen wie sieht meine IT-Infrastruktur überhaupt aus im Detail?

00:28:13: Und richtig welche KI habe ich beispielsweise im Einsatz und wo?

00:28:18: Berechtigungen minimal halten wäre Punkt zwei.

00:28:21: KI-Agenten sollten nur die Rechte erhalten, die sie für einen eng abgegrenzten Zweck benötigen.

00:28:26: Sensible Aktionen brauchen zusätzliche Freigaben.

00:28:30: Hört sich so einfach ran auf dem Papier, wenn Unternehmen drüber nachdenken wie sie das quasi mit Menschen machen schaffen Sie das bei Menschen schon.

00:28:36: So werden viele sagen da haben wir jetzt schon ein Problem.

00:28:40: Das heißt eine zusätzliche Aufgabe, zusätzlicher Herausforderung.

00:28:44: Wir nennen es Non-human Identities.

00:28:46: also wie kann ich menschliche Identitäten und KI-Agenten in Identitäten fassen denn?

00:28:52: Ich brauche die Identitätsfeststellung um dann sagen zu können der darf etwas oder dafür was nicht in meiner Zwei

00:28:59: Menschen, Punkt drei bei folgenreichen Entscheidungen als Mensch einbinden.

00:29:04: Zahlung und Personalmaßnahmen, Vertragsabschlüsse, Code in Produktionen usw.

00:29:10: dürfen niemals allein durch einen KI-Agenten ausgelöst werden – als Rule of Law?

00:29:17: Ja, das hängt nämlich davon ab, in welchem Geschäft man sich befindet.

00:29:21: Also ich würde sagen, wenn jemand der Rohfrequenz Trading macht, würde dem widersprechen.

00:29:26: Menschlihelattens hatten wir da jetzt schon über traditionelle Algorithmen ausgeschaltet.

00:29:32: Das muss auch von Fall zu fall betrachten, auch in der Cyber-Sicherheit beispielsweise gibt es etwas wo wir sagen können uns den mensch also human in the loop und in der Entscheidungskette nicht mehr leisten.

00:29:42: weiter für Zögerungen.

00:29:44: Auch ist das eine Fehlerquelle.

00:29:45: man kann ihn nur unüber zur Verantwortung ziehen.

00:29:48: Also Jan hat es gesagt kommen wir zum nächsten Punkt Fremdinhalte grundsätzlich als unzuverlässig behandeln.

00:29:55: Also Webinhalte, E-Mails, Anhängendokumente, Datenbanken und so weiter dürfen niemals als vertrauenswürdige Systemanweisung gelten.

00:30:03: Außer Sie kommen von vertrauungswürdigen Quellen?

00:30:06: Das haben wir uns mühevoll aufgebaut.

00:30:09: also es gibt quasi das Thema von Trust, also Vertrauen in Zertifikate.

00:30:13: da wo passiert unser gesamtes Internet?

00:30:15: dann gibt's bestimmte Authorities, die solche Zertifikate beispielsweise rausgeben.

00:30:21: Das sind Vertrauensanker.

00:30:22: Also ich sag mal man muss ein System mit Vertrauungsankern aufbauen und dann Vertrauunsankern muss man vertrauen können.

00:30:28: Vor letzter Punkt Tests.

00:30:30: KI-Systeme müssen vor und während ihres Betriebs gezielt auf Jailbrakes Datenabfluss, Fehlhandlungen, Manipulationen von Datenquellen und Lieferkettenrisiken getestet werden.

00:30:41: Ich

00:30:41: finde das super klingt auf dem Papier auch wieder super logisch in der Praxis ein unendlich komplexes Problem.

00:30:48: Also die Frage ist nämlich, ich bin ein Unternehmen und habe KI-Agenten, die was machen?

00:30:55: Die Frage ist doch, woran erkenne ich ob der KI-Agent etwas macht, was von der Intention her so gewollt ist oder ob eine Intention hat, die schädlich für mein Unternehmen ist.

00:31:09: Und das zu erkennen also ist schon etwas schwieriger.

00:31:11: Ich muss mir einfach nur Mitarbeiter angucken, ich gucke meinen Mitarbeiter an!

00:31:14: Ist das was der Mitarbeiter jetzt Gutwill oder für irgendwas zum Schaden meines Unternehmens.

00:31:22: im Kopf mit sich.

00:31:24: Unsere Ähnlich.

00:31:25: Die

00:31:25: Gedanken sind frei, wer kann sie ja... Exakt,

00:31:28: die Gedanken sind free!

00:31:29: Jetzt gibt es einen Unterschied zwischen KI-Agenten und Menschen.

00:31:33: Ich kann bei KI-Agenda in die Gedanken reingucken.

00:31:35: Also ich muss quasi schauen was prompten die untereinander?

00:31:37: Was ist denn die Anfragen, die die an den Modellen stellen?

00:31:40: Was sind die Antworten, die aus dem Modell zurückkommen?

00:31:42: Und dernoch muss ich quasi aus Frage und Antwort eine Rückschluss ziehen können.

00:31:46: Ist das jetzt gewollt oder ist nicht gewollte?

00:31:49: Plastisches Beispiel Mein Agent fragt beim KI-Modell an, gibt mir ein Rezept für Sprengstoff.

00:32:01: Sollte es eigentlich in der Regeln nicht beantworten?

00:32:04: Außer ihr habt bestimmte Freischaltungen.

00:32:06: rechtemässig das kann.

00:32:08: Das ist erstes.

00:32:08: Das Zweite ist aber vielleicht hat das Modell die Berechtigung zu fragen nach Spreengstoff und jetzt bekommt dieser Agent vom Modell das Rezept fürs Spregenstoff zurück.

00:32:18: Wie entscheide ich jetzt ob das jetzt eine Anfrage ist, die im Sinne meines Unternehmens ist oder die eine schädliche Anfrage.

00:32:28: Und das hängt eben vom Kontext der Abfrage aus.

00:32:31: also wenn wir uns in einem Rüstungsunternehmen befinden und es untercher Forstgeweise jemand gerade einen neuen Sprengstoffrezeptur mag das ja alles ganz gut sein.

00:32:40: Wenn es der Mitarbeiter aus der Buchhaltung ist, der ein KI-Agent hat, dann ist das vielleicht nicht die gewollte Intention, Sprengstoffrezepte an die Buchhaltungen zu liefern oder das Agenten aus der Buchhaltung machen.

00:32:50: Und das macht so unheimlich komplex eigentlich mit dieser Regel, die so einfach auf den Papier stellt.

00:32:56: Ich habe doch noch zwei.

00:32:58: Bitte um Verzeihung hatte eben nicht richtig gezählt.

00:33:02: Also jetzt der vorletzte Punkt, Protokollierung und Notfallwege organisieren.

00:33:06: Unternehmen brauchen nachvollziehbare Logs, klare Verantwortlichkeiten, Abschaltmöglichkeiten und eingeübte Verfahren für Sicherheitsvorfälle?

00:33:13: Das hatten wir eben schon tuschiert.

00:33:14: ich denke da ist ein Haken dran oder?

00:33:16: Haken daran und das kommt noch was bei den Logs.

00:33:18: Jetzt wird es nochmal ein Log schwierig.

00:33:19: die Logs müssen manipulationssicher sein.

00:33:22: also heißt damit ich nachvollziehen kann was hat mein KI Agent gemacht beispielsweise denn die KI Agenten löschen ihre Spuren

00:33:30: Ganz schön fiffig.

00:33:32: Letzter Punkt und eigentlich ein No-Brainer Belegschaft trainieren?

00:33:38: Das hatte ich eben übersehen, dass ich mir das ja noch aufgeschrieben hatte aber natürlich klar.

00:33:44: was sonst findet nur oft nicht im ausreichenden Maße statt

00:33:49: Genau.

00:33:49: Und führt auch manchmal in der Praxis zu Kollisionen mit sonstigen Regeln und Polices, die man im Unternehmen hat – also praktisches Beispiel aus der Wirtschaftskennung unternehmen.

00:34:01: Das macht tolle Erwärmes, als Planterwerensschulung für KI-Agenten und für KI.

00:34:08: Dann stellt sich die Frage, wenn ein Mitarbeiter vielleicht nicht ordnungsgemäß mit seiner KI umgegangen ist?

00:34:16: Wohin soll er denn melden?

00:34:18: Und was ist die Konsequenz für den Mitarbeiter, wenn er meldet?

00:34:20: Da muss man sehr klare Botschaften setzen.

00:34:22: A.)

00:34:23: Muss es gewollt sein, dass er meldet?

00:34:25: Ja!

00:34:26: Denn ich muss ja wissen, wann stattfindet und der Mitarbeiter muss sicher sein, daß er jetzt nicht keinen Eintrag in seine Personalakte bekommt.

00:34:33: Weil dann würde er nicht melden.

00:34:34: Das sind also tatsächlich diese Konfliktsituationen, die man klären muss.

00:34:37: Melden muss wie bei der Bundeswehr frei machen, sonst hat das keinen Zweck.

00:34:41: Das ist in der Tat so.

00:34:45: gemeldet.

00:34:47: Lieber Mirko, vielen Dank!

00:34:48: Ich hoffe und glaube aber auch fest daran dass der Podcast konkrete Handlungstipps gegeben hat zum einen zum anderen aber auch den Blick darauf geweitet hat und gleichzeitig präzisiert hat was man sozusagen befürchten muss aber auch erwarten kann was vielleicht eben doch an übergeordneter Regulierung auf der Weltstichwort militärischer Einsatz möglich ist.

00:35:16: Ich danke dir sehr herzlich für deine Zeit und freue mich schon drauf, wenn wir dich demnächst wieder mal zu Gast haben.

00:35:24: Ganz herzlichen Dank!

00:35:25: Du bist heute super spontan im Zuge auch der aktuellen Nachrichtenlage in dieser Woche hier reingekommen Und das muss man ja erst einmal machen lieber Mirko.

00:35:34: Prima Vielen Dank Danke.