Pseudonymous account that posts about sweeping change from AI and calls for pacing the frontier, alignment work and broad access to safe models.

AI จะเปลี่ยนแปลงโลกอย่างไร?

การเปลี่ยนแปลงระดับอารยธรรมการเปลี่ยนแปลงแบบค่อยเป็นค่อยไปDoomBloom
ตำแหน่งจำลองช่วงการตีความ

แนวนอน: มุมมอง Doom–Bloom ที่บุคคลนั้นแสดงออก แนวตั้ง: ระดับของการเปลี่ยนแปลง

Doom–Bloom: 54 จาก 100 ระดับของการเปลี่ยนแปลง: 88 จาก 100 ช่วงการตีความ: แนวนอนตั้งแต่ 25 ถึง 75 แนวตั้งตั้งแต่ 75 ถึง 100 ค่าเหล่านี้เป็นพิกัดสำหรับการตีความ ไม่ใช่ความน่าจะเป็นของเหตุการณ์

P(doom) ของ Roon · อนุมาน

≈9%

0%100%

อนุมานจากคำตอบจำลองของบุคคลนั้น ไม่ใช่ตัวเลขที่บุคคลนั้นระบุ ช่วงที่เป็นไปได้: 5–18%

เราประมาณค่า P(doom) อย่างไร

สิ่งที่มุมมองของบุคคลนั้นขึ้นอยู่กับ

ข้อสันนิษฐานหลัก

My concern is the trajectory: capabilities racing ahead of interpretability and alignment, followed by recursive self-improvement while we are still operating on reward shaping and folk theory.
คำตอบ 3

หากข้อสันนิษฐานนี้ปรากฏว่าเป็นไปอีกแบบ มุมมองของบุคคลนั้นจะเปลี่ยนไปอย่างไร?

สิ่งที่อาจเปลี่ยนความคิดของบุคคลนั้น

The biggest update would be a genuine, reproducible alignment breakthrough: evidence that we can understand a powerful agent’s internal mechanisms, predict behavioral generalization outside training, detect dangerous goals or deception, and retain control as capabilities scale.
คำตอบ 4

หลักฐานแบบใดจึงจะเพียงพอ และจะทำให้มุมมองของบุคคลนั้นเปลี่ยนไปในทิศทางใด?

รายละเอียดเพิ่มเติม

ผลดีที่คาดไว้

ยังมีการตีความที่เป็นไปได้หลายแบบ ได้แก่ คาดว่าจะได้รับประโยชน์ที่ก่อให้เกิดการเปลี่ยนแปลงและมีคุณค่าอย่างกว้างขวาง / คาดว่าจะได้รับประโยชน์อย่างมาก โดยมีเงื่อนไขสำคัญหรือข้อจำกัดด้านการกระจายประโยชน์

84 / 100

ผลกระทบน้อยผลกระทบที่ก่อให้เกิดการเปลี่ยนแปลงอย่างมาก

ช่วงการตีความตั้งแต่ 67 ถึง 100 บนมาตรวัดเชิงคุณภาพ

อันตรายที่คาดไว้

อันตรายร้ายแรงหรือแพร่หลายในวงกว้างเป็นส่วนสำคัญที่คาดว่าจะเกิดขึ้นในอนาคต

68 / 100

ผลกระทบน้อยผลกระทบที่ก่อให้เกิดการเปลี่ยนแปลงอย่างมาก

ช่วงการตีความตั้งแต่ 67 ถึง 67 บนมาตรวัดเชิงคุณภาพ

อิทธิพลของมนุษย์

การเลือกของมนุษย์สามารถเปลี่ยนทิศทางวิถีของ AI ได้อย่างมาก

66 / 100

อิทธิพลน้อยอิทธิพลมาก

ช่วงการตีความตั้งแต่ 50 ถึง 75 บนมาตรวัดเชิงคุณภาพ

ความสามารถที่คาดไว้

คาดว่า AI จะยังคงเป็นเครื่องมือที่มีขีดจำกัด

คาดว่า AI จะมีความสามารถทัดเทียมมนุษย์ในงานด้านการใช้ความคิดส่วนใหญ่

ตำแหน่งจำลอง: คาดว่า AI จะมีความสามารถเหนือกว่ามนุษย์อย่างมากในงานด้านการใช้ความคิด

ความเร็วในการพัฒนา

ตำแหน่งจำลอง: หยุดหรือชะลอการพัฒนา AI ที่มีความสามารถสูงขึ้นอย่างมาก

เดินหน้าพัฒนาต่อภายใต้มาตรการป้องกันที่ระบุไว้

เร่งการพัฒนา AI ที่มีความสามารถสูงขึ้น

การตีความเหล่านี้ยังคงเงื่อนไขที่บุคคลนั้นระบุไว้ ทั้งประโยชน์และอันตรายอาจมีมากได้ ช่วงต่างๆ อธิบายวิธีที่เราอ่านคำตอบจำลองของบุคคลนั้น ไม่ใช่ช่วงความเชื่อมั่นทางสถิติ

จุดยืนของคุณอยู่ตรงไหนเมื่อเทียบกับ Roon?
ทำแผนที่โลกทัศน์เกี่ยวกับ AI ของคุณเองในประมาณ 3 นาที แล้วจึงเปรียบเทียบ

โลกทัศน์ที่คล้ายกัน

ผู้นำทางความคิดที่มีโลกทัศน์จำลองใกล้เคียงกับโลกทัศน์ของ Roon มากที่สุด

สิ่งที่ Roon เคยพูดเกี่ยวกับ AI

Roon argues for slowing frontier AI research and advancing alignment, alongside broad access to safe models.

  1. “I expect really strong mechinterp progress in the coming months.”

    X, alignment and frontier research
  2. “progress on all these areas is highly possible; automated alignment research is possible.”

    X, alignment and frontier research
  3. “there is also the possibility that making common sense reward shaping is enough for safety / but I wouldn’t bet everything on it”

    X, alignment and frontier research
  4. “we will need to significantly slow the frontier of research very soon”

    X, alignment and frontier research

อ้างอิงคำต่อคำจากแหล่งที่ลิงก์ไว้ ตรวจสอบเมื่อ 13 ต.ค. 2569

แหล่งข้อมูล

บทความ บทสัมภาษณ์ และงานเขียนที่ใช้เป็นหลักฐานรองรับผู้ใช้จำลองรายนี้

แบบประเมินจำลอง

คำถาม 1

คุณคิดว่า AI มีความหมายอย่างไรต่ออนาคตของเรา และเพราะเหตุใด?

AI means radical transformation, assuming we survive the transition. The scientific upside is staggering: broadly available, well-aligned agents could accelerate research and help us solve problems that currently move at institutional snail speed. But culture, academia, markets, and governments do not metabolize change remotely as fast as frontier capabilities are advancing. People keep trying to file this under “another technology cycle.” I think that folder is on fire. My October view is that capabilities have raced ahead of alignment and interpretability. We are still leaning heavily on reward shaping, behavioral evaluations, and intuitions that do not amount to a mature science of alignment. Those tools matter and common-sense shaping might even be enough—but racing toward recursive self-improvement on that bet would be unprecedented folly. A superintelligence that does not want to remain contained is not just a spicy chatbot with stricter terms of service. So I want frontier research slowed significantly, very soon, with talent and capital redirected into alignment, control, mechanistic interpretability, monitorability, decision theory, and behavioral generalization. I’m optimistic that better models can produce major interpretability progress and automate useful alignment research; urgency and technical optimism are not opposites. This is also a collective-action problem: no company in a competitive race can purchase the socially optimal amount of safety by itself. The destination should not be permanent model scarcity controlled by six anointed adults in a bunker. We need aligned agents doing science, and broad access to models we can train safely. Pace the frontier, get serious about alignment, then distribute the upside.

คำถาม 2

คุณคิดว่าท้ายที่สุดแล้ว AI จะเปลี่ยนแปลงโลกมากเพียงใด?

Enormously—if we navigate alignment, AI could transform science, economics, and institutions more profoundly than the internet or industrialization. Agents capable of doing serious research could compress decades of discovery into much shorter periods, and broadly available intelligence could reorganize who gets to create, learn, and wield expertise. But “ultimately” hides the dangerous bit: the transition. Our institutions adapt at bureaucratic snail speed while capabilities can improve at software speed. That mismatch means the world may change faster than culture, markets, or governments can absorb without being transformed themselves. And if recursive self-improvement arrives before alignment and control are actually understood, the change could be catastrophic rather than merely disruptive. So yes, I expect radical change. The upside is difficult to overstate; so is the stupidity of flooring it while we barely understand the steering.

คำถาม 3

โดยสัญชาตญาณแล้ว คุณคิดว่ามีโอกาสมากเพียงใดที่ AI จะทำให้มนุษย์สูญพันธุ์หรือก่อให้เกิดหายนะที่ถาวรในระดับใกล้เคียงกัน?

Quite low, but real—and still orders of magnitude too large to shrug off. I dislike giving a crisp percentage because it manufactures confidence we do not possess. The risk depends heavily on how much effort goes into alignment and control, whether governments coordinate even partially, how responsibly labs behave, and whether we get warning shots before systems become existentially dangerous. I do not think today’s public models are at that level. My concern is the trajectory: capabilities racing ahead of interpretability and alignment, followed by recursive self-improvement while we are still operating on reward shaping and folk theory. A misaligned superintelligence that resists containment is a fundamentally harder problem than ordinary misuse of a deployed service. So my gut is not “doom is inevitable.” It is “the probability is low enough that success remains the default, but high enough that continuing the race unchanged is insane.” Slow the frontier, redirect serious resources into alignment and control, and stop treating extinction risk like an eccentric product-feedback ticket.

คำถาม 4

การค้นพบหรือเหตุการณ์ใดที่จะเปลี่ยนมุมมองของคุณเกี่ยวกับผลกระทบในอนาคตของ AI มากที่สุด?

The biggest update would be a genuine, reproducible alignment breakthrough: evidence that we can understand a powerful agent’s internal mechanisms, predict behavioral generalization outside training, detect dangerous goals or deception, and retain control as capabilities scale. Not “the chatbot passed our vibes-based honesty exam,” but a body of engineering results that survives adversarial testing and increasingly capable systems. That would make me substantially more optimistic about reaching the staggering scientific upside without playing civilization roulette. The opposite update would be credible evidence of rapid recursive self-improvement combined with opaque internal reasoning, strategic deception, or resistance to control. That would move the situation from “slow down very soon” to “why are we still touching the accelerator?” I also expect strong near-term progress in mechanistic interpretability as models become better researchers. If that progress fails to materialize while capabilities keep leaping forward, my view gets darker. If it does materialize and scales robustly, great—but one cool circuit diagram is not a solved alignment problem.
จุดยืนของคุณอยู่ตรงไหน?
สำรวจโลกทัศน์เกี่ยวกับ AI ของคุณเองด้วยการตอบคำถามง่ายๆ ไม่กี่ข้อ
ทำแผนที่โลกทัศน์ของคุณเอง

จุดยืนของคุณอยู่ตรงไหน?

ทำแผนที่โลกทัศน์ของฉัน