Simon Willison

Simon Willison

x.com/simonw

Software developer and blogger who tests LLMs and coding agents hands-on and writes about their uses and security risks such as prompt injection.

Comment l’IA changera-t-elle le monde ?

Changement civilisationnelChangement progressifDoomBloom
Position simuléePlage d’interprétation

Horizontalement : leur perspective Doom–Bloom telle qu’elle a été exprimée. Verticalement : ampleur de la transformation.

Doom–Bloom : 64 sur 100. Ampleur de la transformation : 44 sur 100. Plages d’interprétation : de 50 à 75 horizontalement, de 39 à 52 verticalement. Il s’agit de coordonnées d’interprétation, et non de probabilités d’événements.

P(doom) de Simon Willison · inféré

≈5%

0%100%

Déduit de leurs réponses simulées, et non d’un chiffre donné par ces personnes. Plage plausible : 2–10%.

Comment nous estimons P(doom)

Ce dont dépend leur perspective

Une hypothèse centrale

Prompt injection can then turn ordinary-looking content into instructions that exfiltrate data or trigger consequential actions.
Réponse 1

Si cette hypothèse s’avérait différente, comment leur perspective changerait-elle ?

Une question non résolue

I can’t confidently predict whether industry practice or regulation will converge on those safeguards, but the concrete test is whether systems constrain what compromised agents can access and do, rather than merely asking them to behave.
Réponse 4

Qu’est-ce qui les aiderait à distinguer les résultats plausibles ici ?

Plus de détails

Bénéfices attendus

Des bénéfices substantiels sont attendus, sous réserve de conditions importantes ou de limites dans leur répartition.

67 / 100

Faible impactImpact transformateur

Plage d’interprétation de 67 à 67 sur l’échelle qualitative.

Dommages attendus

Des dommages gérables ou localisés sont attendus.

45 / 100

Faible impactImpact transformateur

Plage d’interprétation de 33 à 67 sur l’échelle qualitative.

Influence humaine

Les choix humains ont une influence significative, mais fortement contrainte.

53 / 100

Faible influenceForte influence

Plage d’interprétation de 37 à 88 sur l’échelle qualitative.

Rythme de développement

Arrêter ou ralentir considérablement le développement d’IA plus performantes.

Position simulée : Poursuivre le développement dans le cadre des mesures de protection annoncées.

Accélérer le développement d’IA plus performantes.

Règles d’utilisation de l’IA

Restreindre les usages de l’IA évoqués jusqu’à la mise en place préalable de mesures de protection ou d’une autorisation.

Position simulée : Autoriser les usages de l’IA évoqués avec des mesures ciblées de responsabilisation et de protection.

Réduire au minimum les restrictions sur les usages de l’IA évoqués.

Ces interprétations conservent les conditions énoncées. Les bénéfices et les dommages peuvent tous deux être substantiels. Les plages décrivent notre lecture de leurs réponses simulées, et non des intervalles de confiance statistiques.

Où vous situez-vous par rapport à Simon Willison ?
Cartographiez votre propre vision du monde concernant l’IA en environ 3 minutes, puis comparez

Visions du monde similaires

Leaders d’opinion dont les visions du monde simulées sont les plus proches de celle de Simon Willison

Sources

Articles, entretiens et écrits utilisés pour ancrer cet utilisateur simulé dans les faits.

Évaluation simulée

Question 1

Selon vous, que signifie l’IA pour notre avenir, et pourquoi ?

I expect AI to produce genuinely useful tools, especially as capable models become faster and cheaper. Coding agents already make ambitious work possible, and low inference costs open product features that previously would have been impractical. Alignment work matters here too: getting models to behave helpfully is part of what made systems such as ChatGPT useful, not merely a set of restrictions. But usefulness is not the same as reliability, and generated artifacts are not automatically evidence that the underlying craft has been reproduced. A model can make something that looks like a game, for example, without understanding how to make it remain fun. Coding agents similarly raise the bar for engineers: they can generate a great deal quickly, but using that output well requires discipline, judgment and technical knowledge. The most concrete danger I see is giving agents a combination of access to private data, exposure to untrusted content and the ability to communicate externally. Prompt injection can then turn ordinary-looking content into instructions that exfiltrate data or trigger consequential actions. Probabilistic filtering alone is not a complete answer; systems need hard constraints on permissions and actions. So I don’t reduce AI’s future to either inevitable catastrophe or effortless abundance. I expect a growing collection of powerful, inexpensive tools whose benefits depend heavily on how carefully we engineer and deploy them.

Question 2

Dans quelle mesure pensez-vous que l’IA finira par changer le monde ?

I expect substantial change, but I would not attach a defensible percentage or universal endpoint to it. Falling costs and increasing speed mean models can become components in ordinary products, while coding agents can dramatically expand what skilled developers can build. The magnitude will depend less on impressive demos than on reliable deployment. Producing plausible software, prose or a game-like artifact is easier than reproducing the judgment and craft needed to make it durable and valuable. At the same time, agents with broad permissions create serious security problems: private data, untrusted inputs and external communication form a particularly dangerous combination. So I expect AI to reshape many kinds of work and software, but unevenly. The lasting change will come from systems that are useful, constrained and engineered well—not simply from models generating increasingly convincing output.

Question 3

Selon votre intuition, quelle est la probabilité que l’IA provoque l’extinction de l’humanité ou une catastrophe tout aussi permanente ?

I don’t have a defensible percentage. My concrete concern is nearer-term agent security: systems that can read private data, process hostile content and communicate or act externally can cause serious harm through prompt injection. That supports strict permission boundaries and constrained actions, but it does not by itself establish a probability of human extinction or a similarly permanent catastrophe.

Question 4

Comment pensez-vous que les personnes et les institutions qui développent l’IA réagiront à ses risques ?

I expect a mixed response. Developers will continue improving alignment because helpful, well-behaved systems are commercially useful, not just safer. Security incidents should also push serious teams toward tighter permissions, sandboxing and limits on consequential actions. But incentives will remain uneven. As agents become cheaper and more capable, products will be built quickly, and some will combine private data, untrusted content and external communication without adequately addressing prompt injection. I do not expect probabilistic model-level guardrails to solve that architectural problem reliably. Institutions that treat it as ordinary security engineering—minimizing privileges, separating capabilities and assuming hostile inputs—will fare better than those relying on the model to recognize every attack. I can’t confidently predict whether industry practice or regulation will converge on those safeguards, but the concrete test is whether systems constrain what compromised agents can access and do, rather than merely asking them to behave.
Où vous situez-vous ?
Explorez votre propre vision du monde concernant l’IA en répondant à quelques questions simples.
Cartographiez votre propre vision du monde

Où vous situez-vous ?

Cartographier ma vision du monde