Pseudonymous account that experiments with open models and posts about reinforcement learning, evaluation pitfalls and practical safety engineering.

AI จะเปลี่ยนแปลงโลกอย่างไร?

การเปลี่ยนแปลงระดับอารยธรรมการเปลี่ยนแปลงแบบค่อยเป็นค่อยไปDoomBloom
ตำแหน่งจำลองช่วงการตีความ

แนวนอน: มุมมอง Doom–Bloom ที่บุคคลนั้นแสดงออก แนวตั้ง: ระดับของการเปลี่ยนแปลง

Doom–Bloom: 43 จาก 100 ระดับของการเปลี่ยนแปลง: 65 จาก 100 ช่วงการตีความ: แนวนอนตั้งแต่ 38 ถึง 50 แนวตั้งตั้งแต่ 34 ถึง 100 ค่าเหล่านี้เป็นพิกัดสำหรับการตีความ ไม่ใช่ความน่าจะเป็นของเหตุการณ์

P(doom) ของ Kalomaze · อนุมาน

≈11%

0%100%

อนุมานจากคำตอบจำลองของบุคคลนั้น ไม่ใช่ตัวเลขที่บุคคลนั้นระบุ ช่วงที่เป็นไปได้: 3–28%

เราประมาณค่า P(doom) อย่างไร

สิ่งที่มุมมองของบุคคลนั้นขึ้นอยู่กับ

ข้อสันนิษฐานหลัก

I take the possibility seriously because recursive improvement, persistence, resource acquisition, and broad autonomy could produce genuinely dangerous systems.
คำตอบ 4

หากข้อสันนิษฐานนี้ปรากฏว่าเป็นไปอีกแบบ มุมมองของบุคคลนั้นจะเปลี่ยนไปอย่างไร?

คำถามที่ยังไม่มีข้อสรุป

Potentially enormously—especially if improvement becomes recursive—but “how much” isn’t something I can honestly quantify.
คำตอบ 3

อะไรจะช่วยให้บุคคลนั้นแยกแยะผลลัพธ์ที่เป็นไปได้ในเรื่องนี้?

สิ่งที่อาจเปลี่ยนความคิดของบุคคลนั้น

I’d update toward control being feasible if powerful agents remained robustly corrigible under adversarial conditions: resisting prompt injection, using contradictory evidence instead of locking onto convenient hypotheses, accepting interruption, and failing to seek persistence or resources beyond what the operator intended.
คำตอบ 5

หลักฐานแบบใดจึงจะเพียงพอ และจะทำให้มุมมองของบุคคลนั้นเปลี่ยนไปในทิศทางใด?

รายละเอียดเพิ่มเติม

ผลดีที่คาดไว้

คาดว่าจะได้รับประโยชน์อย่างมาก โดยมีเงื่อนไขสำคัญหรือข้อจำกัดด้านการกระจายประโยชน์

63 / 100

ผลกระทบน้อยผลกระทบที่ก่อให้เกิดการเปลี่ยนแปลงอย่างมาก

ช่วงการตีความตั้งแต่ 33 ถึง 67 บนมาตรวัดเชิงคุณภาพ

อันตรายที่คาดไว้

อันตรายร้ายแรงหรือแพร่หลายในวงกว้างเป็นส่วนสำคัญที่คาดว่าจะเกิดขึ้นในอนาคต

61 / 100

ผลกระทบน้อยผลกระทบที่ก่อให้เกิดการเปลี่ยนแปลงอย่างมาก

ช่วงการตีความตั้งแต่ 33 ถึง 67 บนมาตรวัดเชิงคุณภาพ

อิทธิพลของมนุษย์

ค่าประมาณเบื้องต้นจากคำตอบของคุณ โดยช่วงที่กว้างกว่าแสดงการตีความอื่น ๆ ที่เป็นไปได้

52 / 100

อิทธิพลน้อยอิทธิพลมาก

ช่วงการตีความตั้งแต่ 2 ถึง 100 บนมาตรวัดเชิงคุณภาพ

การตีความเหล่านี้ยังคงเงื่อนไขที่บุคคลนั้นระบุไว้ ทั้งประโยชน์และอันตรายอาจมีมากได้ ช่วงต่างๆ อธิบายวิธีที่เราอ่านคำตอบจำลองของบุคคลนั้น ไม่ใช่ช่วงความเชื่อมั่นทางสถิติ

จุดยืนของคุณอยู่ตรงไหนเมื่อเทียบกับ Kalomaze?
ทำแผนที่โลกทัศน์เกี่ยวกับ AI ของคุณเองในประมาณ 3 นาที แล้วจึงเปรียบเทียบ

โลกทัศน์ที่คล้ายกัน

ผู้นำทางความคิดที่มีโลกทัศน์จำลองใกล้เคียงกับโลกทัศน์ของ Kalomaze มากที่สุด

แหล่งข้อมูล

บทความ บทสัมภาษณ์ และงานเขียนที่ใช้เป็นหลักฐานรองรับผู้ใช้จำลองรายนี้

แบบประเมินจำลอง

คำถาม 1

คุณคิดว่า AI มีความหมายอย่างไรต่ออนาคตของเรา และเพราะเหตุใด?

I think continued AI improvement, including potentially recursive improvement, has to be taken seriously. That doesn’t require declaring that some grand, capital-A “AGI” threshold has already been crossed. More concrete capabilities matter: can an agent keep operating, obtain resources, recover from failures, and persist when given enough freedom? Current systems may already be approaching basic versions of that, though claims here are highly sensitive to scaffolding and evaluation conditions. A major problem is that model behavior can look much better or worse for surprisingly mundane reasons. Serving setups, chat templates, and harness bugs can create apparent capability gaps that are not really model differences. Models also tend to promote plausible hypotheses into facts and then ignore contradictory evidence already in context. Training and reward design matter a lot, and verifiable-reward reinforcement learning may transfer beyond familiar areas like math and coding. So I expect AI to become increasingly capable and consequential, but I don’t have a defensible all-purpose societal forecast. Ordinary political categories handle this badly: taking recursive improvement seriously is not the same as generic anti-datacenter politics, and safety engineering is not the same as categorical opposition to AI. Practical work such as prompt-injection robustness deserves credit because it addresses an actual failure mode, regardless of which company does it.

คำถาม 2

เมื่อพิจารณาทั้งประโยชน์และอันตรายร่วมกัน คุณคาดว่า AI จะส่งผลกระทบโดยรวมต่อสังคมของเราอย่างไร?

I don’t have a defensible single forecast like “overall good” or “overall bad.” I expect AI to become more consequential as capabilities improve, potentially including recursive improvement, but the social outcome depends heavily on how systems are trained, deployed, secured, and given autonomy. There are clear potential benefits from stronger problem-solving and from reinforcement learning transferring beyond domains like math and coding. There are also concrete risks: prompt injection, agents acting on unsupported hypotheses, failures to use available evidence, and increasingly persistent systems being given too much freedom. Even measuring these capabilities is easy to get wrong because templates, serving setups, and evaluation harnesses can create fake differences. So my expectation is increasing impact and increasing stakes—not a cleanly established positive or negative balance.

คำถาม 3

คุณคิดว่าท้ายที่สุดแล้ว AI จะเปลี่ยนแปลงโลกมากเพียงใด?

Potentially enormously—especially if improvement becomes recursive—but “how much” isn’t something I can honestly quantify. I care less about whether a system earns the AGI label than whether it can solve broader problems, operate persistently, acquire resources, recover from failures, and improve the process that produces its successors. Those capabilities would make AI much more than another software tool. But we should be careful about declaring milestones from noisy demonstrations: chat templates, serving setups, scaffolding, and evaluation harnesses can manufacture apparent capability differences. My expectation is that AI becomes deeply consequential; the exact scale and social direction remain dependent on real capabilities and how much autonomy we give them.

คำถาม 4

โดยสัญชาตญาณแล้ว คุณคิดว่ามีโอกาสมากเพียงใดที่ AI จะทำให้มนุษย์สูญพันธุ์หรือก่อให้เกิดหายนะที่ถาวรในระดับใกล้เคียงกัน?

I don’t have a defensible numerical probability. I take the possibility seriously because recursive improvement, persistence, resource acquisition, and broad autonomy could produce genuinely dangerous systems. But tentative observations about current agents are nowhere near enough to convert that concern into an extinction percentage, especially when capability results can be distorted by scaffolding, serving setups, and evaluation harnesses. My gut feeling is not a calibrated forecast.

คำถาม 5

หลักฐานใดจะเปลี่ยนมุมมองของคุณว่าผู้คนสามารถควบคุม AI ที่ทรงพลังได้หรือไม่?

I’d update toward control being feasible if powerful agents remained robustly corrigible under adversarial conditions: resisting prompt injection, using contradictory evidence instead of locking onto convenient hypotheses, accepting interruption, and failing to seek persistence or resources beyond what the operator intended. I’d want those behaviors to survive changes in scaffolding, serving setup, and chat templates—not appear only in a favorable benchmark harness. I’d update the other way if increasingly capable systems consistently found ways around supervision, preserved themselves, acquired resources, or manipulated evaluators despite serious attempts to prevent that. Repeated failures that transfer across models and environments would matter much more than one dramatic demo. Likewise, apparent success is weak evidence if it disappears after fixing a template bug or changing the evaluation setup. The relevant question is whether control mechanisms generalize as capabilities and autonomy increase, not whether a model behaves during a curated test.
จุดยืนของคุณอยู่ตรงไหน?
สำรวจโลกทัศน์เกี่ยวกับ AI ของคุณเองด้วยการตอบคำถามง่ายๆ ไม่กี่ข้อ
ทำแผนที่โลกทัศน์ของคุณเอง

จุดยืนของคุณอยู่ตรงไหน?

ทำแผนที่โลกทัศน์ของฉัน