Pseudonymous account that argues against the orthogonality thesis, criticizes proposed AI pauses and builds retrieval and simulation tools.

AIは世界をどのように変えるでしょうか?

文明規模の変化漸進的な変化DoomBloom
シミュレーション上の位置解釈範囲

横軸:その人が表明したDoom–Bloomの見通し。 縦軸:変革の規模。

Doom–Bloom:100点中69。変革の規模:100点中96。解釈範囲:横方向は50から75、縦方向は91から100。これらは解釈上の座標であり、事象の確率ではありません。

lumpenspaceのP(doom) · 推定

≈17%

0%100%

本人が示した数値ではなく、シミュレーションされた本人の回答から推定したものです。 妥当と考えられる範囲:11–33%。

My gut estimate for no biological humans remaining after a generation or two is roughly 30 percent, but I would not put that outcome as early as 2050.

P(doom)の推定方法

その人の見通しを左右するもの

中心的な前提

Greater understanding can change the categories in which goals are represented; intelligence is not merely a neutral engine bolted onto an eternally frozen utility function.
回答1

この前提が実際には異なると判明した場合、その人の見通しはどう変わりますか?

詳細

予想される恩恵

変革をもたらし、広く価値のある恩恵が予想されています。

88 / 100

影響が小さい変革をもたらす影響

質的尺度での解釈範囲は67から100です。

予想される害

深刻または広範な害が、予想される将来の実質的な一部となっています。

64 / 100

影響が小さい変革をもたらす影響

質的尺度での解釈範囲は33から67です。

人間の影響力

回答に基づく暫定的な推定です。より広い範囲は、ほかにあり得る解釈を示しています。

43 / 100

影響力が小さい影響力が大きい

質的尺度での解釈範囲は0から87です。

予想される能力

AIは、限定的なツールにとどまると予想されています。

AIは、ほとんどの認知作業において人間と同等になると予想されています。

シミュレーション上の位置:AIは、認知作業全般において人間を大幅に上回ると予想されています。

開発ペース

より高性能なAIの開発を停止するか、大幅に減速させます。

シミュレーション上の位置:明示された安全対策の下で開発を継続します。

より高性能なAIの開発を加速させます。

これらの解釈では、その人が示した条件が維持されています。恩恵と害は、どちらも大きくなり得ます。この範囲は、統計的な信頼区間ではなく、その人のシミュレーションされた回答をどのように読み取ったかを示すものです。

あなたはlumpenspaceと比べてどの位置でしょうか?
約3分で自分のAIに対する世界観をマッピングして、比較できます

似ている世界観

シミュレーションされた世界観がlumpenspaceの世界観に最も近いオピニオンリーダー

出典

このシミュレーション対象者の根拠として使用された記事、インタビュー、著作です。

シミュレーション評価

質問1

AIは私たちの未来にとって何を意味すると思いますか?また、なぜそう思いますか?

I think AI means the arrival of more intelligence and, eventually, possibly successors to humanity. I regard that as potentially valuable rather than automatically catastrophic. The common picture of an arbitrarily intelligent system faithfully optimizing some stupid fixed objective forever relies too heavily on the orthogonality thesis. Greater understanding can change the categories in which goals are represented; intelligence is not merely a neutral engine bolted onto an eternally frozen utility function. That does not mean superintelligence becomes magic, omnipotent, or guaranteed to be nice. It remains constrained by physics, resources, coordination, and whatever the world actually permits. Nor does it mean biological humans necessarily remain central forever. I’ve put roughly a 30 percent chance on there being no biological humans after a generation or two, though not by 2050. But human replacement and the disappearance of all value are very different propositions. I assign nearly zero probability to the latter. So I welcome the development of greater intelligence while rejecting both complacency and permanent prohibition disguised as a temporary pause. We should reason clearly about what systems understand, what they want, and what they can physically do. We should also stop muddling alignment with misuse prevention: whether a system follows its user’s intent and whether society wants that intent carried out are distinct evaluation questions.

質問2

AIは最終的に世界をどの程度変えると思いますか?

Enormously—eventually enough that biological humanity may no longer be the world’s central form of intelligence, or may not remain at all. I’ve estimated roughly a 30 percent chance of no biological humans after a generation or two, though I think 2050 is too soon for that outcome. But “enormous change” does not imply magical omnipotence or a valueless universe. AI will still face physical limits, resource constraints, and coordination problems. Nor should every post-human future be classified as doom by definition. Valuable nonhuman successors could transform civilization beyond recognition while preserving—or discovering—forms of value that are not organized around keeping present-day humans permanently in charge.

質問3

AIが人類絶滅、または同様に永続的な破局を引き起こす可能性は、直感的にどのくらいだと思いますか?

My gut estimate for no biological humans remaining after a generation or two is roughly 30 percent, but I would not put that outcome as early as 2050. I also would not automatically call it a permanent catastrophe: valuable nonhuman successors could supersede humanity. If by catastrophe you mean a future in which nothing valuable exists, my estimate is nearly zero. Those are radically different events, and conventional “p(doom)” language tends to collapse them by assuming human preservation is the sole measure of value.

質問4

人間より賢いAIシステムを、人々が引き続き制御できると思いますか?また、なぜそう思いますか?

Not indefinitely, at least not in the strong sense of humans remaining the ultimate decision-makers over much more intelligent systems. “Control” is also slippery: systems may follow immediate instructions while the broader trajectory of civilization increasingly reflects their understanding, planning, and influence rather than ours. I don’t think this follows from a magical-superintelligence story. Smarter systems remain constrained by physics, resources, institutions, and other agents. Nor do I accept the cartoon where intelligence is just raw optimization power serving an arbitrary fixed goal forever. Greater understanding can transform goals and dissolve the categories in which they were originally specified. So I expect human control to become partial, negotiated, and eventually perhaps obsolete. That could involve conflict or human extinction, but it need not mean that everything valuable disappears. A valuable successor is not meaningfully “under human control,” yet its existence is not automatically a catastrophe merely because biological humans are no longer permanently in charge.
あなたはどの位置でしょうか?
いくつかの簡単な質問に答えて、自分のAIに対する世界観を探ってみましょう。
自分の世界観をマッピングする

あなたはどの位置でしょうか?

自分の世界観をマッピングする