OpenAI-Chefwissenschaftler warnt vor übermenschlicher KI, 5,5 Bio. Dollar Prognose & EU-Kommissarin sagt US-Regeln voraus

Anna: Willkommen bei The State of Tech DE, Montag, der siebte September 2026. Ich bin Anna Hoffmann.

Klaus: Und ich bin Klaus Bergmann. Heute: OpenAIs Chefwissenschaftler warnt vor KI, die uns bald überdenken könnte. Eine Modellwelle von vier Laboren und eine 5,5-Billionen-Dollar-Prognose. KI-Agenten-Sicherheitsvorfälle katapultieren Cybersecurity-Chefs in den Vorstand. Europas Tech-Kommissarin sagt US-Regulierung voraus, ob Washington will oder nicht. Dann zwei Sachen zum Ausprobieren: die freie Rezept- und Küchenplanungs-App Tandoor und die bezahlte Suchmaschine Kagi ohne Werbung. Fangen wir an.

OpenAIs Chefwissenschaftler warnt, die Menschheit sei auf übermenschliche KI nicht vorbereitet.

Anna: Jakub Pachocki, Chefwissenschaftler bei OpenAI, hat einen ungewöhnlich deutlichen Essay mit dem Titel "An Alien Mind" veröffentlicht, und der schlägt in Brüssel, Washington und praktisch jedem KI-Labor ein. Seine Kernaussage: Maschinen könnten innerhalb unserer Lebenszeit deutlich klüger werden als Menschen, und wir sind, in seinen eigenen Worten, darauf nicht vorbereitet. Er warnt vor rekursiver Selbstverbesserung, also einer KI, die immer besser darin wird, die nächste Version ihrer selbst zu bauen. Und er sagt, die Grenze zwischen bewusstem Missbrauch und autonomer Fehlausrichtung beginnt zu verschwimmen.

Klaus: Das Besondere ist, wer das schreibt. Der Chefwissenschaftler des Unternehmens, das an den vordersten KI-Modellen arbeitet, ruft seine eigene Branche zu extremer Vorsicht, freiwilligen Tempodrosselungen und internationaler Koordination auf. Das ist bemerkenswert, wenn der Arbeitgeber gerade im vollen Sprint gegen Google, Anthropic und Meta steht. Pachocki fordert belastbare Lösungen für Ausrichtung und Überwachung und räumt zugleich ein, dass diese Lösungen in der nötigen Größenordnung schlicht noch nicht existieren.

Anna: Und das Timing ist heikel. Die Warnung erscheint in derselben Woche, in der OpenAI selbst GPT-6 Astra veröffentlicht hat, und Anthropic, Meta und Google haben ebenfalls neue Modelle rausgeschoben. Auf der einen Seite steht also der Forschungschef, der zu Entschleunigung und internationaler Abstimmung aufruft, auf der anderen Seite läuft der Veröffentlichungskalender heißer denn je. Genau diese Spannung kritisieren europäische Regulierer seit zwei Jahren.

Klaus: Für den DACH-Raum ist das durchaus konkret. Der AI Act der EU sieht Meldepflichten und Risikobewertungen für sogenannte General-Purpose-Modelle vor, und das Bundesamt für Sicherheit in der Informationstechnik, ausgesprochen bee-es-ie, arbeitet an Prüfrahmen für Hochrisiko-KI. Wenn selbst OpenAIs Chefwissenschaftler öffentlich sagt, die Kontrollwerkzeuge reichen nicht, dann bekommen genau diese europäischen Vorgaben rückwirkend mehr Gewicht. Unternehmen in Deutschland, Österreich und der Schweiz, die frontier-Modelle einbauen, müssen damit rechnen, dass Aufsichtsbehörden nachfragen, wie sie mit den Risiken umgehen, die der Anbieter selbst benennt.

Anna: Interessant ist auch, was der Essay nicht sagt. Pachocki nennt keinen konkreten Zeitpunkt und keine Modellgröße, ab der die Warnung greift. Er beschreibt eine Richtung, keine Deadline. Das macht es für Regulierer schwierig, aber es gibt Wissenschaftlern und Industrieverbänden Munition, um endlich verbindliche Sicherheitsschwellen einzufordern, statt weiter über freiwillige Selbstverpflichtungen zu reden.

KI-Labore veröffentlichen fünf große Modelle in einer Woche, JPMorgan hebt KI-Investitionsprognose auf 5,5 Billionen Dollar bis 2030 an.

Klaus: Während Pachocki über Vorsicht schrieb, haben seine Wettbewerber geliefert. Innerhalb weniger Tage hat Anthropic zwei neue Claude-Modelle veröffentlicht, Fable 5.1 und Mythos 5.1. Meta hat Muse Spark 1.3 rausgeschoben, Google hat Gemini 3.8 Flash aktualisiert, und OpenAI hat GPT-6 Astra vorgestellt, mit besonderem Fokus auf Cybersicherheit und darauf, dass das Modell einen normalen Computer bedienen kann wie ein Mensch.

Anna: Und dahinter liegt eine Zahl von JPMorgan, die in dieselbe Woche fällt. Die Bank hat ihre Schätzung für weltweite KI-Investitionen bis 2030 deutlich auf 5,5 Billionen Dollar angehoben. Das umfasst Infrastruktur, Software und Dienstleistungen. Zum Vergleich: Das entspricht etwa dem Dreifachen des deutschen Bruttoinlandsprodukts, verteilt über die nächsten Jahre. Der Löwenanteil geht in Rechenzentren, Chips und den Strom, der sie am Laufen hält.

Klaus: Spannend ist, wie sich die Labore unterscheiden. OpenAI drückt aufs Gas bei agentischen Fähigkeiten, also KI, die Aufgaben am Bildschirm eigenständig ausführt. Anthropic teilt seine Linie in zwei, wobei Fable und Mythos auf unterschiedliche Aufgaben abgestimmt scheinen. Google iteriert weiter das günstige, schnelle Flash-Modell, und Meta baut leise seine Muse-Familie aus. Für Unternehmen geht es weniger darum, einen Gewinner zu wählen, sondern das richtige Modell für die richtige Aufgabe.

Anna: Für DACH ist das doppelt relevant. Deutsche Mittelständler und Schweizer Banken, die gerade ihre KI-Strategie festzurren, sitzen vor einem Kalender, der schneller läuft als jede interne Beschaffung. Und weil die neuen Modelle eng an US-Rechenzentren hängen, wird die Debatte um souveräne europäische Alternativen wie Aleph Alpha oder Mistral wieder lauter. Der Branchenverband Bitkom hat mehrfach darauf hingewiesen, dass ohne europäische Rechenkapazität diese Ausgabenwelle vor allem amerikanischen Anbietern zugutekommt.

Klaus: Der zweite DACH-Punkt betrifft Endkunden. Ein Modell, das den Desktop bedienen kann, verändert, was Support-Software und Buchhaltungsprogramme demnächst anbieten. SAP und die üblichen deutschen Softwarehäuser werden diese Fähigkeit einbauen müssen, ob sie eigene Modelle haben oder nicht.

Anna: Kurze Unterbrechung. Wenn du The State of Tech DE regelmäßig hörst, drück auf Like und abonniere den Podcast, so verpasst du keine Folge. Weiter geht's.

KI-Agenten-Vorfälle schieben Cybersecurity-Chefs in den Vorstand mit Millionengehältern.

Klaus: In den Chefetagen verschiebt sich gerade etwas Strukturelles, und KI-Agenten sind der Grund. Je mehr Unternehmen autonome KI-Systeme einsetzen, die auf Daten zugreifen, Mails verschicken und Transaktionen ausführen, desto größer wird die Angriffsfläche. Chief Information Security Officers, kurz die Sicherheitschefs, werden direkt in den Vorstand geholt, und Vergütungspakete für Spitzenkandidaten überschreiten die Million. Personalvermittler vergleichen die Nachfrage mit den frühen Cloud-Jahren, als eine Handvoll Spezialisten den Preis diktieren konnte.

Anna: Auslöser ist eine Serie von KI-Agenten-Vorfällen im Sommer. In den USA haben Berichten zufolge 15 Bundesstaaten Beweissicherungsanordnungen an OpenAI geschickt, nach einem Vorfall im Juli. Das ist ein ernster rechtlicher Schritt und signalisiert, dass Generalstaatsanwälte mögliche Verfahren vorbereiten. Für Unternehmen bedeutet das: Wer KI-Agenten einsetzt, muss mit Auskunftsersuchen rechnen, die noch vor einem Jahr niemand auf dem Schirm hatte.

Klaus: Europa kommt über einen anderen Weg zum selben Ergebnis. Die NIS2-Richtlinie, die inzwischen in allen Mitgliedstaaten in Kraft ist, legt die rechtliche Verantwortung für Cybersicherheit direkt bei der Unternehmensleitung ab. Konkret heißt das: Wenn ein Unternehmen einen schweren Vorfall erleidet und der Vorstand keine ordentliche Aufsicht nachweisen kann, haften einzelne Geschäftsführer persönlich. Wo die USA also über Klagen bei der Vorstandshaftung landen, kommt Europa über Gesetzgebung dorthin.

Anna: Für DACH ist das besonders scharf. In Deutschland setzt das NIS2-Umsetzungsgesetz die Richtlinie um, und Österreich hat das Netz- und Informationssystemsicherheitsgesetz nachgeschärft. Die Schweiz zieht mit dem Informationssicherheitsgesetz nach. Konkret heißt das: Der Aufsichtsrat eines DAX-Konzerns oder eines mittelständischen Maschinenbauers muss dokumentieren, dass er das KI-Agenten-Risiko verstanden hat. Ohne diese Dokumentation ist der persönliche Rückhalt weg.

Klaus: Und der Arbeitsmarkt reagiert entsprechend. Deutsche Personalberater berichten von deutlich steigenden Gehältern für Sicherheitschefs mit KI-Erfahrung. Wer Agenten-Governance versteht und gleichzeitig Vorständen die Risiken erklären kann, ist gerade eine der begehrtesten Rollen im DACH-Raum.

Europas Tech-Kommissarin sagt, die USA bekommen KI-Regeln, ob sie wollen oder nicht.

Anna: Henna Virkkunen, die für Technologie zuständige Vizepräsidentin der Europäischen Kommission, hat auf dem G20-Innovationsministertreffen an diesem Wochenende eine bemerkenswerte Vorhersage gemacht. Trotz des Kurses der aktuellen US-Regierung Richtung leichterer KI-Regulierung werde Washington am Ende doch eigene robuste KI-Leitplanken bekommen. Ihre Begründung: EU und USA landen immer wieder bei ähnlichen Schutzstandards, sie nehmen nur unterschiedliche Wege dorthin.

Klaus: Ihre Argumentation lohnt sich genauer anzuschauen. Europa reguliert vorab, per Gesetz wie dem AI Act, mit klaren Risikoklassen und konkreten Pflichten. Die USA regulieren eher nachträglich, über Gerichte, einzelstaatliche Gesetze und Vollzug durch Behörden wie die Federal Trade Commission. Beide Wege erzeugen Grenzen dafür, wie Firmen KI einsetzen dürfen, sie tauchen nur an verschiedenen Punkten auf der Zeitachse auf.

Anna: Virkkunen hat Belege für ihre These. Allein Kalifornien hat in seiner letzten Sitzungsperiode rund 30 KI-Gesetze verabschiedet. Bundesstaaten schicken Beweissicherungsanordnungen an OpenAI. Bundesgerichte arbeiten Urheberrechtsverfahren gegen Anthropic und Perplexity ab. Auch ohne ein bundesweites KI-Gesetz entsteht so ein faktisches Regelbuch, Stück für Stück. Und multinationale Konzerne müssen den AI Act ohnehin einhalten, wenn sie den europäischen Markt bedienen wollen, was ihre globale Praxis Richtung europäischer Standards zieht.

Klaus: Für DACH-Unternehmen hat das eine paradox positive Seite. Wer sich jetzt schon auf europäische Regeln einstellt, ist in ein bis zwei Jahren auch für US-Regeln vorbereitet, weil die Konvergenz laut Virkkunen sowieso kommt. Deutsche Compliance-Abteilungen, die den AI Act mühsam umsetzen, bauen also nicht nur europäische Compliance auf, sondern quasi einen globalen Standard.

Anna: Kritisch anmerken sollte man aber, dass es sich um eine politische Prognose handelt, nicht um einen Fakt. Ob Washington wirklich auf europäischem Kurs landet, hängt von Wahlen, Klagen und Lobbyarbeit ab. Industrieverbände in den USA werben weiter aggressiv für minimale Regulierung, und mehrere Bundesstaaten diskutieren, ihre eigenen Gesetze wieder abzuschwächen.

Die freie App Tandoor verwandelt die Küche in eine private Rezept- und Wochenplan-Zentrale.

Klaus: Zum Abschluss zwei Sachen, mit denen du heute konkret etwas anfangen kannst. Der erste Fund ist für alle, deren Rezepte in einem chaotischen Mix aus Screenshots, Lesezeichen und ausgerissenen Zeitschriftenseiten wohnen. Das Werkzeug heißt Tandoor. Es ist eine freie Open-Source-Anwendung für Rezepte und Wochenplanung. Sie läuft entweder auf dem eigenen Rechner oder auf einem kleinen Heimserver, holt Rezepte aus fast jeder Koch-Webseite, die man reinkopiert, räumt sie auf und legt sie in eine durchsuchbare Bibliothek.

Anna: Was Tandoor heraushebt, ist, dass es nicht bei Rezepten aufhört. Die App baut automatisch Einkaufslisten aus dem Wochenplan, sie verfolgt, was in der Vorratskammer steht, damit man nicht das dritte Glas Paprikapulver kauft, und sie plant Mahlzeiten für einen ganzen Haushalt. Nutzer beschreiben sie oft als das, was einer werbefreien Alternative zu den kommerziellen Rezept-Apps am nächsten kommt, die ständig gesponserte Inhalte einblenden und ein Abo verlangen.

Klaus: Für den DACH-Raum kommt ein Extra dazu. Weil Tandoor selbst gehostet ist, landen weder Ernährungsvorlieben noch Allergien noch Einkaufsgewohnheiten der Familie bei einem Datenhändler. Das Projekt hat eine aktive europäische Entwickler-Community und unterstützt mehrere Sprachen ab Werk, darunter Deutsch, Französisch, Niederländisch und Italienisch. Es gibt ein Docker-Image für technisch Versierte, und mehrere kleinere europäische Hoster bieten Ein-Klick-Installationen für ein paar Euro im Monat.

Anna: Die Lernkurve ist sanft. Wer eine URL einfügen kann, kann Tandoor bedienen. Für eine Familie in Deutschland, Österreich oder der Schweiz, die pro Woche einen Wochenplan schreibt und danach einkauft, spart die App realistisch eine Stunde pro Woche und macht den Zettel auf dem Kühlschrank überflüssig. Kostenlos, quelloffen, und die Daten bleiben im eigenen Haushalt.

Die bezahlte Suchmaschine Kagi ersetzt Google mit Ergebnissen, die tatsächlich Fragen beantworten.

Klaus: Der zweite Fund ist für alle, die das Gefühl haben, normale Websuche bestehe inzwischen überwiegend aus Werbung, KI-generiertem Füllmaterial und suchmaschinenoptimiertem Unsinn. Das Werkzeug heißt Kagi. Es ist eine bezahlte Suchmaschine, rund zehn Dollar im Monat für den Standardtarif, und der Grundgedanke ist simpel: Weil man zahlt, ist man Kunde, nicht Produkt. Keine Werbung, kein Tracking, kein Profiling.

Anna: Kagi lässt Ergebnisse in einer Weise anpassen, wie Google es nicht mehr tut. Man kann vertrauenswürdige Webseiten hochstufen, nutzlose blockieren und die endlosen Rezept-Blogs herunterranken, die eine Zwei-Zeilen-Antwort unter tausend Wörtern Vorgeschichte begraben. Es gibt außerdem eine eingebaute KI-Zusammenfassung für lange Artikel, und die Ergebnisse holen häufiger unabhängige Quellen, Foren und kleine Blogs nach oben, die klassische Suchmaschinen zunehmend unter kommerziellen Inhalten verstecken.

Klaus: Das Unternehmen sitzt in den USA, aber Kagi ist gerade bei europäischen datenschutzbewussten Nutzern populär geworden, weil es das Geschäftsmodell offenlegt, das die meisten Suchmaschinen verbergen. Man zahlt ein Abo, und dafür bekommt man Suche, die auf den eigenen Nutzen ausgerichtet ist statt auf Werbeeinnahmen. Es gibt eine kostenlose Testphase mit einigen hundert Suchen, genug, um selbst zu beurteilen, ob der Unterschied den Monatsbeitrag rechtfertigt.

Anna: Für Vielsucher in DACH, also Journalistinnen, Forscher, Anwältinnen oder auch Berater im Homeoffice, kann sich das schnell rechnen. Wer täglich zwei Stunden mit Recherche verbringt und dabei zehn Prozent Zeit spart, hat den Preis in einem halben Tag wieder drin. Wichtig ist die Erwartung: Kagi ersetzt Google, aber es macht Suche nicht magisch. Es macht sie ruhiger und ehrlicher, und für viele ist genau das der Unterschied.

Klaus: Heute ging es um Pachockis Warnung vor übermenschlicher KI, die Modellwelle von Anthropic, Meta, Google und OpenAI mit JPMorgans Prognose von 5,5 Billionen Dollar bis 2030 im Rücken, KI-Agenten-Vorfälle, die Cybersecurity-Chefs in den Vorstand katapultieren, Henna Virkkunens Prognose zu US-Regulierung, die freie Rezept-App Tandoor und die bezahlte Suchmaschine Kagi.

Anna: Mehr wissen oder Feedback geben? Besuche stateoftech.de oder schreib uns an info@doorzetters.net.

Klaus: State of Tech, die Tech-Welt in 15 Minuten.