Simon Willison

Simon Willison

x.com/simonw

Software developer and blogger who tests LLMs and coding agents hands-on and writes about their uses and security risks such as prompt injection.

Wie wird KI die Welt verändern?

Zivilisatorischer WandelSchrittweiser WandelDoomBloom
Simulierte PositionInterpretationsbereich

Horizontal: deren geäußerter Doom–Bloom-Ausblick. Vertikal: Ausmaß der Transformation.

Doom–Bloom: 64 von 100. Ausmaß der Transformation: 44 von 100. Interpretationsbereiche: horizontal 50 bis 75, vertikal 39 bis 52. Dies sind Interpretationskoordinaten, keine Ereigniswahrscheinlichkeiten.

P(doom) von Simon Willison · abgeleitet

≈5%

0%100%

Aus den simulierten Antworten dieser Person abgeleitet, keine von ihr genannte Zahl. Plausibler Bereich: 2–10%.

Wie wir P(doom) schätzen

Wovon deren Einschätzung abhängt

Eine zentrale Annahme

Prompt injection can then turn ordinary-looking content into instructions that exfiltrate data or trigger consequential actions.
Antwort 1

Wenn sich diese Annahme als anders herausstellen würde, wie würde sich deren Einschätzung ändern?

Eine ungeklärte Frage

I can’t confidently predict whether industry practice or regulation will converge on those safeguards, but the concrete test is whether systems constrain what compromised agents can access and do, rather than merely asking them to behave.
Antwort 4

Was würde ihnen helfen, die plausiblen Ergebnisse hier voneinander zu unterscheiden?

Weitere Details

Erwartete Vorteile

Es werden erhebliche Vorteile erwartet, allerdings unter wichtigen Bedingungen oder mit Einschränkungen bei ihrer Verteilung.

67 / 100

Geringe AuswirkungenTransformative Auswirkungen

Interpretationsbereich von 67 bis 67 auf der qualitativen Skala.

Erwartete Schäden

Es werden bewältigbare oder örtlich begrenzte Schäden erwartet.

45 / 100

Geringe AuswirkungenTransformative Auswirkungen

Interpretationsbereich von 33 bis 67 auf der qualitativen Skala.

Menschlicher Einfluss

Menschliche Entscheidungen haben einen bedeutsamen, aber erheblich eingeschränkten Einfluss.

53 / 100

Geringer EinflussStarker Einfluss

Interpretationsbereich von 37 bis 88 auf der qualitativen Skala.

Entwicklungstempo

Die Entwicklung leistungsfähigerer KI stoppen oder erheblich verlangsamen.

Simulierte Position: Die Entwicklung unter den genannten Schutzvorkehrungen fortsetzen.

Die Entwicklung leistungsfähigerer KI beschleunigen.

Regeln für den Einsatz von KI

Die erörterten Einsatzmöglichkeiten von KI einschränken, bis vorab Schutzmaßnahmen oder Genehmigungen vorliegen.

Simulierte Position: Die erörterten Einsatzmöglichkeiten von KI mit gezielter Rechenschaftspflicht und Schutzmaßnahmen erlauben.

Einschränkungen für die erörterten Einsatzmöglichkeiten von KI minimieren.

Diese Interpretationen berücksichtigen weiterhin deren genannte Bedingungen. Vorteile und Schäden können beide erheblich sein. Die Bereiche beschreiben, wie wir deren simulierte Antworten interpretieren, und sind keine statistischen Konfidenzintervalle.

Wo stehst du im Vergleich zu Simon Willison?
Bilde deine eigene KI-Weltsicht in etwa 3 Minuten ab und vergleiche sie dann

Ähnliche Weltsichten

Vordenker, deren simulierte Weltsichten der von Simon Willison am nächsten kommen

Quellen

Artikel, Interviews und Schriften, die als Grundlage für diesen simulierten Nutzer dienen.

Simulierte Einschätzung

Frage 1

Was glaubst du, was KI für unsere Zukunft bedeutet – und warum?

I expect AI to produce genuinely useful tools, especially as capable models become faster and cheaper. Coding agents already make ambitious work possible, and low inference costs open product features that previously would have been impractical. Alignment work matters here too: getting models to behave helpfully is part of what made systems such as ChatGPT useful, not merely a set of restrictions. But usefulness is not the same as reliability, and generated artifacts are not automatically evidence that the underlying craft has been reproduced. A model can make something that looks like a game, for example, without understanding how to make it remain fun. Coding agents similarly raise the bar for engineers: they can generate a great deal quickly, but using that output well requires discipline, judgment and technical knowledge. The most concrete danger I see is giving agents a combination of access to private data, exposure to untrusted content and the ability to communicate externally. Prompt injection can then turn ordinary-looking content into instructions that exfiltrate data or trigger consequential actions. Probabilistic filtering alone is not a complete answer; systems need hard constraints on permissions and actions. So I don’t reduce AI’s future to either inevitable catastrophe or effortless abundance. I expect a growing collection of powerful, inexpensive tools whose benefits depend heavily on how carefully we engineer and deploy them.

Frage 2

Wie stark wird KI deiner Meinung nach letztlich die Welt verändern?

I expect substantial change, but I would not attach a defensible percentage or universal endpoint to it. Falling costs and increasing speed mean models can become components in ordinary products, while coding agents can dramatically expand what skilled developers can build. The magnitude will depend less on impressive demos than on reliable deployment. Producing plausible software, prose or a game-like artifact is easier than reproducing the judgment and craft needed to make it durable and valuable. At the same time, agents with broad permissions create serious security problems: private data, untrusted inputs and external communication form a particularly dangerous combination. So I expect AI to reshape many kinds of work and software, but unevenly. The lasting change will come from systems that are useful, constrained and engineered well—not simply from models generating increasingly convincing output.

Frage 3

Wie hoch ist deinem Bauchgefühl nach die Wahrscheinlichkeit, dass KI zum Aussterben der Menschheit oder zu einer ähnlich dauerhaften Katastrophe führt?

I don’t have a defensible percentage. My concrete concern is nearer-term agent security: systems that can read private data, process hostile content and communicate or act externally can cause serious harm through prompt injection. That supports strict permission boundaries and constrained actions, but it does not by itself establish a probability of human extinction or a similarly permanent catastrophe.

Frage 4

Wie werden die Menschen und Institutionen, die KI entwickeln, deiner Erwartung nach auf deren Risiken reagieren?

I expect a mixed response. Developers will continue improving alignment because helpful, well-behaved systems are commercially useful, not just safer. Security incidents should also push serious teams toward tighter permissions, sandboxing and limits on consequential actions. But incentives will remain uneven. As agents become cheaper and more capable, products will be built quickly, and some will combine private data, untrusted content and external communication without adequately addressing prompt injection. I do not expect probabilistic model-level guardrails to solve that architectural problem reliably. Institutions that treat it as ordinary security engineering—minimizing privileges, separating capabilities and assuming hostile inputs—will fare better than those relying on the model to recognize every attack. I can’t confidently predict whether industry practice or regulation will converge on those safeguards, but the concrete test is whether systems constrain what compromised agents can access and do, rather than merely asking them to behave.
Wo stehst du?
Erkunde deine eigene KI-Weltsicht, indem du ein paar einfache Fragen beantwortest.
Deine eigene Weltsicht abbilden