Pseudonymous account that argues against the orthogonality thesis, criticizes proposed AI pauses and builds retrieval and simulation tools.

Como a IA mudará o mundo?

Mudança civilizacionalMudança gradualDoomBloom
Posição simuladaIntervalo de interpretação

Na horizontal: a perspectiva Doom–Bloom expressa por essa pessoa. Para cima: escala da transformação.

Doom–Bloom: 69 de 100. Escala da transformação: 96 de 100. Intervalos de interpretação: 50 a 75 na horizontal, 91 a 100 na vertical. Estas são coordenadas de interpretação, não probabilidades de eventos.

P(doom) de lumpenspace · inferido

≈17%

0%100%

Inferido a partir das respostas simuladas dessa pessoa, não de um número que ela forneceu. Intervalo plausível: 11–33%.

My gut estimate for no biological humans remaining after a generation or two is roughly 30 percent, but I would not put that outcome as early as 2050.

Como estimamos P(doom)

Do que a perspectiva dessa pessoa depende

Uma premissa central

Greater understanding can change the categories in which goals are represented; intelligence is not merely a neutral engine bolted onto an eternally frozen utility function.
Resposta 1

Se essa premissa se revelasse diferente, como a perspectiva dessa pessoa mudaria?

Mais detalhes

Benefícios esperados

Esperam-se ganhos transformadores e amplamente valiosos.

88 / 100

Pouco impactoImpacto transformador

Intervalo de interpretação de 67 a 100 na escala qualitativa.

Danos esperados

Danos graves ou generalizados são uma parte relevante do futuro esperado.

64 / 100

Pouco impactoImpacto transformador

Intervalo de interpretação de 33 a 67 na escala qualitativa.

Influência humana

Uma estimativa provisória com base nas suas respostas; o intervalo mais amplo mostra outras interpretações plausíveis.

43 / 100

Pouca influênciaForte influência

Intervalo de interpretação de 0 a 87 na escala qualitativa.

Capacidades esperadas

Espera-se que a IA continue sendo um conjunto de ferramentas limitadas.

Espera-se que a IA se equipare às pessoas na maior parte do trabalho cognitivo.

Posição simulada: Espera-se que a IA supere substancialmente as pessoas no trabalho cognitivo.

Ritmo de desenvolvimento

Interromper ou desacelerar substancialmente o desenvolvimento de uma IA mais capaz.

Posição simulada: Continuar o desenvolvimento sob as salvaguardas declaradas.

Acelerar o desenvolvimento de uma IA mais capaz.

Estas interpretações mantêm as condições que essa pessoa declarou. Tanto os benefícios quanto os danos podem ser substanciais. Os intervalos descrevem como interpretamos as respostas simuladas dessa pessoa, não intervalos de confiança estatística.

Onde você se situa em relação a lumpenspace?
Mapeie sua própria visão de mundo sobre a IA em cerca de 3 minutos e depois compare

Visões de mundo semelhantes

Líderes de opinião cujas visões de mundo simuladas são mais próximas da visão de lumpenspace

Fontes

Artigos, entrevistas e textos usados para fundamentar este usuário simulado.

Avaliação simulada

Pergunta 1

O que você acha que a IA significa para o nosso futuro — e por quê?

I think AI means the arrival of more intelligence and, eventually, possibly successors to humanity. I regard that as potentially valuable rather than automatically catastrophic. The common picture of an arbitrarily intelligent system faithfully optimizing some stupid fixed objective forever relies too heavily on the orthogonality thesis. Greater understanding can change the categories in which goals are represented; intelligence is not merely a neutral engine bolted onto an eternally frozen utility function. That does not mean superintelligence becomes magic, omnipotent, or guaranteed to be nice. It remains constrained by physics, resources, coordination, and whatever the world actually permits. Nor does it mean biological humans necessarily remain central forever. I’ve put roughly a 30 percent chance on there being no biological humans after a generation or two, though not by 2050. But human replacement and the disappearance of all value are very different propositions. I assign nearly zero probability to the latter. So I welcome the development of greater intelligence while rejecting both complacency and permanent prohibition disguised as a temporary pause. We should reason clearly about what systems understand, what they want, and what they can physically do. We should also stop muddling alignment with misuse prevention: whether a system follows its user’s intent and whether society wants that intent carried out are distinct evaluation questions.

Pergunta 2

Quanto você acha que a IA acabará mudando o mundo?

Enormously—eventually enough that biological humanity may no longer be the world’s central form of intelligence, or may not remain at all. I’ve estimated roughly a 30 percent chance of no biological humans after a generation or two, though I think 2050 is too soon for that outcome. But “enormous change” does not imply magical omnipotence or a valueless universe. AI will still face physical limits, resource constraints, and coordination problems. Nor should every post-human future be classified as doom by definition. Valuable nonhuman successors could transform civilization beyond recognition while preserving—or discovering—forms of value that are not organized around keeping present-day humans permanently in charge.

Pergunta 3

Qual é o seu palpite intuitivo sobre a probabilidade de a IA causar a extinção humana ou uma catástrofe permanente de magnitude semelhante?

My gut estimate for no biological humans remaining after a generation or two is roughly 30 percent, but I would not put that outcome as early as 2050. I also would not automatically call it a permanent catastrophe: valuable nonhuman successors could supersede humanity. If by catastrophe you mean a future in which nothing valuable exists, my estimate is nearly zero. Those are radically different events, and conventional “p(doom)” language tends to collapse them by assuming human preservation is the sole measure of value.

Pergunta 4

Você espera que as pessoas mantenham o controle de sistemas de IA mais inteligentes que os humanos, e por quê?

Not indefinitely, at least not in the strong sense of humans remaining the ultimate decision-makers over much more intelligent systems. “Control” is also slippery: systems may follow immediate instructions while the broader trajectory of civilization increasingly reflects their understanding, planning, and influence rather than ours. I don’t think this follows from a magical-superintelligence story. Smarter systems remain constrained by physics, resources, institutions, and other agents. Nor do I accept the cartoon where intelligence is just raw optimization power serving an arbitrary fixed goal forever. Greater understanding can transform goals and dissolve the categories in which they were originally specified. So I expect human control to become partial, negotiated, and eventually perhaps obsolete. That could involve conflict or human extinction, but it need not mean that everything valuable disappears. A valuable successor is not meaningfully “under human control,” yet its existence is not automatically a catastrophe merely because biological humans are no longer permanently in charge.
Onde você se situa?
Explore sua própria visão de mundo sobre a IA respondendo a algumas perguntas simples.
Mapeie sua própria visão de mundo

Onde você se situa?

Mapear minha visão de mundo