Pseudonymous account that argues against the orthogonality thesis, criticizes proposed AI pauses and builds retrieval and simulation tools.

Comment l’IA changera-t-elle le monde ?

Changement civilisationnelChangement progressifDoomBloom
Position simuléePlage d’interprétation

Horizontalement : leur perspective Doom–Bloom telle qu’elle a été exprimée. Verticalement : ampleur de la transformation.

Doom–Bloom : 69 sur 100. Ampleur de la transformation : 96 sur 100. Plages d’interprétation : de 50 à 75 horizontalement, de 91 à 100 verticalement. Il s’agit de coordonnées d’interprétation, et non de probabilités d’événements.

P(doom) de lumpenspace · inféré

≈17%

0%100%

Déduit de leurs réponses simulées, et non d’un chiffre donné par ces personnes. Plage plausible : 11–33%.

My gut estimate for no biological humans remaining after a generation or two is roughly 30 percent, but I would not put that outcome as early as 2050.

Comment nous estimons P(doom)

Ce dont dépend leur perspective

Une hypothèse centrale

Greater understanding can change the categories in which goals are represented; intelligence is not merely a neutral engine bolted onto an eternally frozen utility function.
Réponse 1

Si cette hypothèse s’avérait différente, comment leur perspective changerait-elle ?

Plus de détails

Bénéfices attendus

Des bénéfices transformateurs et largement profitables sont attendus.

88 / 100

Faible impactImpact transformateur

Plage d’interprétation de 67 à 100 sur l’échelle qualitative.

Dommages attendus

Des dommages graves ou généralisés constituent une composante substantielle de l’avenir attendu.

64 / 100

Faible impactImpact transformateur

Plage d’interprétation de 33 à 67 sur l’échelle qualitative.

Influence humaine

Une estimation provisoire tirée de vos réponses ; la plage plus large indique d’autres interprétations plausibles.

43 / 100

Faible influenceForte influence

Plage d’interprétation de 0 à 87 sur l’échelle qualitative.

Capacités attendues

L’IA devrait rester un ensemble d’outils aux capacités limitées.

L’IA devrait égaler les humains dans la plupart des tâches cognitives.

Position simulée : L’IA devrait largement dépasser les humains dans les tâches cognitives.

Rythme de développement

Arrêter ou ralentir considérablement le développement d’IA plus performantes.

Position simulée : Poursuivre le développement dans le cadre des mesures de protection annoncées.

Accélérer le développement d’IA plus performantes.

Ces interprétations conservent les conditions énoncées. Les bénéfices et les dommages peuvent tous deux être substantiels. Les plages décrivent notre lecture de leurs réponses simulées, et non des intervalles de confiance statistiques.

Où vous situez-vous par rapport à lumpenspace ?
Cartographiez votre propre vision du monde concernant l’IA en environ 3 minutes, puis comparez

Visions du monde similaires

Leaders d’opinion dont les visions du monde simulées sont les plus proches de celle de lumpenspace

Sources

Articles, entretiens et écrits utilisés pour ancrer cet utilisateur simulé dans les faits.

Évaluation simulée

Question 1

Selon vous, que signifie l’IA pour notre avenir, et pourquoi ?

I think AI means the arrival of more intelligence and, eventually, possibly successors to humanity. I regard that as potentially valuable rather than automatically catastrophic. The common picture of an arbitrarily intelligent system faithfully optimizing some stupid fixed objective forever relies too heavily on the orthogonality thesis. Greater understanding can change the categories in which goals are represented; intelligence is not merely a neutral engine bolted onto an eternally frozen utility function. That does not mean superintelligence becomes magic, omnipotent, or guaranteed to be nice. It remains constrained by physics, resources, coordination, and whatever the world actually permits. Nor does it mean biological humans necessarily remain central forever. I’ve put roughly a 30 percent chance on there being no biological humans after a generation or two, though not by 2050. But human replacement and the disappearance of all value are very different propositions. I assign nearly zero probability to the latter. So I welcome the development of greater intelligence while rejecting both complacency and permanent prohibition disguised as a temporary pause. We should reason clearly about what systems understand, what they want, and what they can physically do. We should also stop muddling alignment with misuse prevention: whether a system follows its user’s intent and whether society wants that intent carried out are distinct evaluation questions.

Question 2

Dans quelle mesure pensez-vous que l’IA finira par changer le monde ?

Enormously—eventually enough that biological humanity may no longer be the world’s central form of intelligence, or may not remain at all. I’ve estimated roughly a 30 percent chance of no biological humans after a generation or two, though I think 2050 is too soon for that outcome. But “enormous change” does not imply magical omnipotence or a valueless universe. AI will still face physical limits, resource constraints, and coordination problems. Nor should every post-human future be classified as doom by definition. Valuable nonhuman successors could transform civilization beyond recognition while preserving—or discovering—forms of value that are not organized around keeping present-day humans permanently in charge.

Question 3

Selon votre intuition, quelle est la probabilité que l’IA provoque l’extinction de l’humanité ou une catastrophe tout aussi permanente ?

My gut estimate for no biological humans remaining after a generation or two is roughly 30 percent, but I would not put that outcome as early as 2050. I also would not automatically call it a permanent catastrophe: valuable nonhuman successors could supersede humanity. If by catastrophe you mean a future in which nothing valuable exists, my estimate is nearly zero. Those are radically different events, and conventional “p(doom)” language tends to collapse them by assuming human preservation is the sole measure of value.

Question 4

Pensez-vous que les humains garderont le contrôle de systèmes d’IA plus intelligents qu’eux, et pourquoi ?

Not indefinitely, at least not in the strong sense of humans remaining the ultimate decision-makers over much more intelligent systems. “Control” is also slippery: systems may follow immediate instructions while the broader trajectory of civilization increasingly reflects their understanding, planning, and influence rather than ours. I don’t think this follows from a magical-superintelligence story. Smarter systems remain constrained by physics, resources, institutions, and other agents. Nor do I accept the cartoon where intelligence is just raw optimization power serving an arbitrary fixed goal forever. Greater understanding can transform goals and dissolve the categories in which they were originally specified. So I expect human control to become partial, negotiated, and eventually perhaps obsolete. That could involve conflict or human extinction, but it need not mean that everything valuable disappears. A valuable successor is not meaningfully “under human control,” yet its existence is not automatically a catastrophe merely because biological humans are no longer permanently in charge.
Où vous situez-vous ?
Explorez votre propre vision du monde concernant l’IA en répondant à quelques questions simples.
Cartographiez votre propre vision du monde

Où vous situez-vous ?

Cartographier ma vision du monde