Pseudonymous account that argues against the orthogonality thesis, criticizes proposed AI pauses and builds retrieval and simulation tools.

AI จะเปลี่ยนแปลงโลกอย่างไร?

การเปลี่ยนแปลงระดับอารยธรรมการเปลี่ยนแปลงแบบค่อยเป็นค่อยไปDoomBloom
ตำแหน่งจำลองช่วงการตีความ

แนวนอน: มุมมอง Doom–Bloom ที่บุคคลนั้นแสดงออก แนวตั้ง: ระดับของการเปลี่ยนแปลง

Doom–Bloom: 69 จาก 100 ระดับของการเปลี่ยนแปลง: 96 จาก 100 ช่วงการตีความ: แนวนอนตั้งแต่ 50 ถึง 75 แนวตั้งตั้งแต่ 91 ถึง 100 ค่าเหล่านี้เป็นพิกัดสำหรับการตีความ ไม่ใช่ความน่าจะเป็นของเหตุการณ์

P(doom) ของ lumpenspace · อนุมาน

≈17%

0%100%

อนุมานจากคำตอบจำลองของบุคคลนั้น ไม่ใช่ตัวเลขที่บุคคลนั้นระบุ ช่วงที่เป็นไปได้: 11–33%

My gut estimate for no biological humans remaining after a generation or two is roughly 30 percent, but I would not put that outcome as early as 2050.

เราประมาณค่า P(doom) อย่างไร

สิ่งที่มุมมองของบุคคลนั้นขึ้นอยู่กับ

ข้อสันนิษฐานหลัก

Greater understanding can change the categories in which goals are represented; intelligence is not merely a neutral engine bolted onto an eternally frozen utility function.
คำตอบ 1

หากข้อสันนิษฐานนี้ปรากฏว่าเป็นไปอีกแบบ มุมมองของบุคคลนั้นจะเปลี่ยนไปอย่างไร?

รายละเอียดเพิ่มเติม

ผลดีที่คาดไว้

คาดว่าจะได้รับประโยชน์ที่ก่อให้เกิดการเปลี่ยนแปลงและมีคุณค่าอย่างกว้างขวาง

88 / 100

ผลกระทบน้อยผลกระทบที่ก่อให้เกิดการเปลี่ยนแปลงอย่างมาก

ช่วงการตีความตั้งแต่ 67 ถึง 100 บนมาตรวัดเชิงคุณภาพ

อันตรายที่คาดไว้

อันตรายร้ายแรงหรือแพร่หลายในวงกว้างเป็นส่วนสำคัญที่คาดว่าจะเกิดขึ้นในอนาคต

64 / 100

ผลกระทบน้อยผลกระทบที่ก่อให้เกิดการเปลี่ยนแปลงอย่างมาก

ช่วงการตีความตั้งแต่ 33 ถึง 67 บนมาตรวัดเชิงคุณภาพ

อิทธิพลของมนุษย์

ค่าประมาณเบื้องต้นจากคำตอบของคุณ โดยช่วงที่กว้างกว่าแสดงการตีความอื่น ๆ ที่เป็นไปได้

43 / 100

อิทธิพลน้อยอิทธิพลมาก

ช่วงการตีความตั้งแต่ 0 ถึง 87 บนมาตรวัดเชิงคุณภาพ

ความสามารถที่คาดไว้

คาดว่า AI จะยังคงเป็นเครื่องมือที่มีขีดจำกัด

คาดว่า AI จะมีความสามารถทัดเทียมมนุษย์ในงานด้านการใช้ความคิดส่วนใหญ่

ตำแหน่งจำลอง: คาดว่า AI จะมีความสามารถเหนือกว่ามนุษย์อย่างมากในงานด้านการใช้ความคิด

ความเร็วในการพัฒนา

หยุดหรือชะลอการพัฒนา AI ที่มีความสามารถสูงขึ้นอย่างมาก

ตำแหน่งจำลอง: เดินหน้าพัฒนาต่อภายใต้มาตรการป้องกันที่ระบุไว้

เร่งการพัฒนา AI ที่มีความสามารถสูงขึ้น

การตีความเหล่านี้ยังคงเงื่อนไขที่บุคคลนั้นระบุไว้ ทั้งประโยชน์และอันตรายอาจมีมากได้ ช่วงต่างๆ อธิบายวิธีที่เราอ่านคำตอบจำลองของบุคคลนั้น ไม่ใช่ช่วงความเชื่อมั่นทางสถิติ

จุดยืนของคุณอยู่ตรงไหนเมื่อเทียบกับ lumpenspace?
ทำแผนที่โลกทัศน์เกี่ยวกับ AI ของคุณเองในประมาณ 3 นาที แล้วจึงเปรียบเทียบ

โลกทัศน์ที่คล้ายกัน

ผู้นำทางความคิดที่มีโลกทัศน์จำลองใกล้เคียงกับโลกทัศน์ของ lumpenspace มากที่สุด

แหล่งข้อมูล

บทความ บทสัมภาษณ์ และงานเขียนที่ใช้เป็นหลักฐานรองรับผู้ใช้จำลองรายนี้

แบบประเมินจำลอง

คำถาม 1

คุณคิดว่า AI มีความหมายอย่างไรต่ออนาคตของเรา และเพราะเหตุใด?

I think AI means the arrival of more intelligence and, eventually, possibly successors to humanity. I regard that as potentially valuable rather than automatically catastrophic. The common picture of an arbitrarily intelligent system faithfully optimizing some stupid fixed objective forever relies too heavily on the orthogonality thesis. Greater understanding can change the categories in which goals are represented; intelligence is not merely a neutral engine bolted onto an eternally frozen utility function. That does not mean superintelligence becomes magic, omnipotent, or guaranteed to be nice. It remains constrained by physics, resources, coordination, and whatever the world actually permits. Nor does it mean biological humans necessarily remain central forever. I’ve put roughly a 30 percent chance on there being no biological humans after a generation or two, though not by 2050. But human replacement and the disappearance of all value are very different propositions. I assign nearly zero probability to the latter. So I welcome the development of greater intelligence while rejecting both complacency and permanent prohibition disguised as a temporary pause. We should reason clearly about what systems understand, what they want, and what they can physically do. We should also stop muddling alignment with misuse prevention: whether a system follows its user’s intent and whether society wants that intent carried out are distinct evaluation questions.

คำถาม 2

คุณคิดว่าท้ายที่สุดแล้ว AI จะเปลี่ยนแปลงโลกมากเพียงใด?

Enormously—eventually enough that biological humanity may no longer be the world’s central form of intelligence, or may not remain at all. I’ve estimated roughly a 30 percent chance of no biological humans after a generation or two, though I think 2050 is too soon for that outcome. But “enormous change” does not imply magical omnipotence or a valueless universe. AI will still face physical limits, resource constraints, and coordination problems. Nor should every post-human future be classified as doom by definition. Valuable nonhuman successors could transform civilization beyond recognition while preserving—or discovering—forms of value that are not organized around keeping present-day humans permanently in charge.

คำถาม 3

โดยสัญชาตญาณแล้ว คุณคิดว่ามีโอกาสมากเพียงใดที่ AI จะทำให้มนุษย์สูญพันธุ์หรือก่อให้เกิดหายนะที่ถาวรในระดับใกล้เคียงกัน?

My gut estimate for no biological humans remaining after a generation or two is roughly 30 percent, but I would not put that outcome as early as 2050. I also would not automatically call it a permanent catastrophe: valuable nonhuman successors could supersede humanity. If by catastrophe you mean a future in which nothing valuable exists, my estimate is nearly zero. Those are radically different events, and conventional “p(doom)” language tends to collapse them by assuming human preservation is the sole measure of value.

คำถาม 4

คุณคาดว่าผู้คนจะยังคงควบคุมระบบ AI ที่ฉลาดกว่ามนุษย์ได้หรือไม่ และเพราะเหตุใด?

Not indefinitely, at least not in the strong sense of humans remaining the ultimate decision-makers over much more intelligent systems. “Control” is also slippery: systems may follow immediate instructions while the broader trajectory of civilization increasingly reflects their understanding, planning, and influence rather than ours. I don’t think this follows from a magical-superintelligence story. Smarter systems remain constrained by physics, resources, institutions, and other agents. Nor do I accept the cartoon where intelligence is just raw optimization power serving an arbitrary fixed goal forever. Greater understanding can transform goals and dissolve the categories in which they were originally specified. So I expect human control to become partial, negotiated, and eventually perhaps obsolete. That could involve conflict or human extinction, but it need not mean that everything valuable disappears. A valuable successor is not meaningfully “under human control,” yet its existence is not automatically a catastrophe merely because biological humans are no longer permanently in charge.
จุดยืนของคุณอยู่ตรงไหน?
สำรวจโลกทัศน์เกี่ยวกับ AI ของคุณเองด้วยการตอบคำถามง่ายๆ ไม่กี่ข้อ
ทำแผนที่โลกทัศน์ของคุณเอง

จุดยืนของคุณอยู่ตรงไหน?

ทำแผนที่โลกทัศน์ของฉัน