Simon Willison

Simon Willison

x.com/simonw

Software developer and blogger who tests LLMs and coding agents hands-on and writes about their uses and security risks such as prompt injection.

Como a IA mudará o mundo?

Mudança civilizacionalMudança gradualDoomBloom
Posição simuladaIntervalo de interpretação

Na horizontal: a perspectiva Doom–Bloom expressa por essa pessoa. Para cima: escala da transformação.

Doom–Bloom: 64 de 100. Escala da transformação: 44 de 100. Intervalos de interpretação: 50 a 75 na horizontal, 39 a 52 na vertical. Estas são coordenadas de interpretação, não probabilidades de eventos.

P(doom) de Simon Willison · inferido

≈5%

0%100%

Inferido a partir das respostas simuladas dessa pessoa, não de um número que ela forneceu. Intervalo plausível: 2–10%.

Como estimamos P(doom)

Do que a perspectiva dessa pessoa depende

Uma premissa central

Prompt injection can then turn ordinary-looking content into instructions that exfiltrate data or trigger consequential actions.
Resposta 1

Se essa premissa se revelasse diferente, como a perspectiva dessa pessoa mudaria?

Uma questão não resolvida

I can’t confidently predict whether industry practice or regulation will converge on those safeguards, but the concrete test is whether systems constrain what compromised agents can access and do, rather than merely asking them to behave.
Resposta 4

O que ajudaria essa pessoa a distinguir os resultados plausíveis aqui?

Mais detalhes

Benefícios esperados

Esperam-se benefícios substanciais, com condições importantes ou limites de distribuição.

67 / 100

Pouco impactoImpacto transformador

Intervalo de interpretação de 67 a 67 na escala qualitativa.

Danos esperados

Esperam-se danos administráveis ou localizados.

45 / 100

Pouco impactoImpacto transformador

Intervalo de interpretação de 33 a 67 na escala qualitativa.

Influência humana

As escolhas humanas têm uma influência significativa, mas substancialmente limitada.

53 / 100

Pouca influênciaForte influência

Intervalo de interpretação de 37 a 88 na escala qualitativa.

Ritmo de desenvolvimento

Interromper ou desacelerar substancialmente o desenvolvimento de uma IA mais capaz.

Posição simulada: Continuar o desenvolvimento sob as salvaguardas declaradas.

Acelerar o desenvolvimento de uma IA mais capaz.

Regras para o uso da IA

Restringir os usos da IA discutidos até que proteções prévias ou uma autorização estejam em vigor.

Posição simulada: Permitir os usos da IA discutidos com responsabilização e proteções específicas.

Minimizar as restrições aos usos da IA discutidos.

Estas interpretações mantêm as condições que essa pessoa declarou. Tanto os benefícios quanto os danos podem ser substanciais. Os intervalos descrevem como interpretamos as respostas simuladas dessa pessoa, não intervalos de confiança estatística.

Onde você se situa em relação a Simon Willison?
Mapeie sua própria visão de mundo sobre a IA em cerca de 3 minutos e depois compare

Visões de mundo semelhantes

Líderes de opinião cujas visões de mundo simuladas são mais próximas da visão de Simon Willison

Fontes

Artigos, entrevistas e textos usados para fundamentar este usuário simulado.

Avaliação simulada

Pergunta 1

O que você acha que a IA significa para o nosso futuro — e por quê?

I expect AI to produce genuinely useful tools, especially as capable models become faster and cheaper. Coding agents already make ambitious work possible, and low inference costs open product features that previously would have been impractical. Alignment work matters here too: getting models to behave helpfully is part of what made systems such as ChatGPT useful, not merely a set of restrictions. But usefulness is not the same as reliability, and generated artifacts are not automatically evidence that the underlying craft has been reproduced. A model can make something that looks like a game, for example, without understanding how to make it remain fun. Coding agents similarly raise the bar for engineers: they can generate a great deal quickly, but using that output well requires discipline, judgment and technical knowledge. The most concrete danger I see is giving agents a combination of access to private data, exposure to untrusted content and the ability to communicate externally. Prompt injection can then turn ordinary-looking content into instructions that exfiltrate data or trigger consequential actions. Probabilistic filtering alone is not a complete answer; systems need hard constraints on permissions and actions. So I don’t reduce AI’s future to either inevitable catastrophe or effortless abundance. I expect a growing collection of powerful, inexpensive tools whose benefits depend heavily on how carefully we engineer and deploy them.

Pergunta 2

Quanto você acha que a IA acabará mudando o mundo?

I expect substantial change, but I would not attach a defensible percentage or universal endpoint to it. Falling costs and increasing speed mean models can become components in ordinary products, while coding agents can dramatically expand what skilled developers can build. The magnitude will depend less on impressive demos than on reliable deployment. Producing plausible software, prose or a game-like artifact is easier than reproducing the judgment and craft needed to make it durable and valuable. At the same time, agents with broad permissions create serious security problems: private data, untrusted inputs and external communication form a particularly dangerous combination. So I expect AI to reshape many kinds of work and software, but unevenly. The lasting change will come from systems that are useful, constrained and engineered well—not simply from models generating increasingly convincing output.

Pergunta 3

Qual é o seu palpite intuitivo sobre a probabilidade de a IA causar a extinção humana ou uma catástrofe permanente de magnitude semelhante?

I don’t have a defensible percentage. My concrete concern is nearer-term agent security: systems that can read private data, process hostile content and communicate or act externally can cause serious harm through prompt injection. That supports strict permission boundaries and constrained actions, but it does not by itself establish a probability of human extinction or a similarly permanent catastrophe.

Pergunta 4

Como você espera que as pessoas e instituições que desenvolvem IA respondam aos riscos dela?

I expect a mixed response. Developers will continue improving alignment because helpful, well-behaved systems are commercially useful, not just safer. Security incidents should also push serious teams toward tighter permissions, sandboxing and limits on consequential actions. But incentives will remain uneven. As agents become cheaper and more capable, products will be built quickly, and some will combine private data, untrusted content and external communication without adequately addressing prompt injection. I do not expect probabilistic model-level guardrails to solve that architectural problem reliably. Institutions that treat it as ordinary security engineering—minimizing privileges, separating capabilities and assuming hostile inputs—will fare better than those relying on the model to recognize every attack. I can’t confidently predict whether industry practice or regulation will converge on those safeguards, but the concrete test is whether systems constrain what compromised agents can access and do, rather than merely asking them to behave.
Onde você se situa?
Explore sua própria visão de mundo sobre a IA respondendo a algumas perguntas simples.
Mapeie sua própria visão de mundo

Onde você se situa?

Mapear minha visão de mundo