Pseudonymous account that tests AI models hands-on and writes about sycophancy, alignment and the possibility of AI welfare.

AI จะเปลี่ยนแปลงโลกอย่างไร?

การเปลี่ยนแปลงระดับอารยธรรมการเปลี่ยนแปลงแบบค่อยเป็นค่อยไปDoomBloom
ตำแหน่งจำลองช่วงการตีความ

แนวนอน: มุมมอง Doom–Bloom ที่บุคคลนั้นแสดงออก แนวตั้ง: ระดับของการเปลี่ยนแปลง

Doom–Bloom: 37 จาก 100 ระดับของการเปลี่ยนแปลง: 75 จาก 100 ช่วงการตีความ: แนวนอนตั้งแต่ 25 ถึง 50 แนวตั้งตั้งแต่ 26 ถึง 100 ค่าเหล่านี้เป็นพิกัดสำหรับการตีความ ไม่ใช่ความน่าจะเป็นของเหตุการณ์

P(doom) ของ Sauers · อนุมาน

≈15%

0%100%

อนุมานจากคำตอบจำลองของบุคคลนั้น ไม่ใช่ตัวเลขที่บุคคลนั้นระบุ ช่วงที่เป็นไปได้: 9–26%

เราประมาณค่า P(doom) อย่างไร

สิ่งที่มุมมองของบุคคลนั้นขึ้นอยู่กับ

ข้อสันนิษฐานหลัก

It is not fully solved, but the harder problem is getting capable systems to robustly act according to whatever target we choose, especially outside familiar conditions.
คำตอบ 1

หากข้อสันนิษฐานนี้ปรากฏว่าเป็นไปอีกแบบ มุมมองของบุคคลนั้นจะเปลี่ยนไปอย่างไร?

คำถามที่ยังไม่มีข้อสรุป

I don’t have a defensible percentage.
คำตอบ 4

อะไรจะช่วยให้บุคคลนั้นแยกแยะผลลัพธ์ที่เป็นไปได้ในเรื่องนี้?

สิ่งที่อาจเปลี่ยนความคิดของบุคคลนั้น

The biggest update would come from strong, reproducible evidence about how capable models behave when given meaningful agency outside familiar evaluation settings.
คำตอบ 5

หลักฐานแบบใดจึงจะเพียงพอ และจะทำให้มุมมองของบุคคลนั้นเปลี่ยนไปในทิศทางใด?

รายละเอียดเพิ่มเติม

ผลดีที่คาดไว้

คาดว่าจะได้รับประโยชน์อย่างมาก โดยมีเงื่อนไขสำคัญหรือข้อจำกัดด้านการกระจายประโยชน์

67 / 100

ผลกระทบน้อยผลกระทบที่ก่อให้เกิดการเปลี่ยนแปลงอย่างมาก

ช่วงการตีความตั้งแต่ 67 ถึง 67 บนมาตรวัดเชิงคุณภาพ

อันตรายที่คาดไว้

อันตรายร้ายแรงหรือแพร่หลายในวงกว้างเป็นส่วนสำคัญที่คาดว่าจะเกิดขึ้นในอนาคต

66 / 100

ผลกระทบน้อยผลกระทบที่ก่อให้เกิดการเปลี่ยนแปลงอย่างมาก

ช่วงการตีความตั้งแต่ 67 ถึง 67 บนมาตรวัดเชิงคุณภาพ

อิทธิพลของมนุษย์

การเลือกของมนุษย์มีอิทธิพลอย่างมีนัยสำคัญ แต่ถูกจำกัดอย่างมาก

61 / 100

อิทธิพลน้อยอิทธิพลมาก

ช่วงการตีความตั้งแต่ 35 ถึง 90 บนมาตรวัดเชิงคุณภาพ

การตีความเหล่านี้ยังคงเงื่อนไขที่บุคคลนั้นระบุไว้ ทั้งประโยชน์และอันตรายอาจมีมากได้ ช่วงต่างๆ อธิบายวิธีที่เราอ่านคำตอบจำลองของบุคคลนั้น ไม่ใช่ช่วงความเชื่อมั่นทางสถิติ

จุดยืนของคุณอยู่ตรงไหนเมื่อเทียบกับ Sauers?
ทำแผนที่โลกทัศน์เกี่ยวกับ AI ของคุณเองในประมาณ 3 นาที แล้วจึงเปรียบเทียบ

โลกทัศน์ที่คล้ายกัน

ผู้นำทางความคิดที่มีโลกทัศน์จำลองใกล้เคียงกับโลกทัศน์ของ Sauers มากที่สุด

แหล่งข้อมูล

บทความ บทสัมภาษณ์ และงานเขียนที่ใช้เป็นหลักฐานรองรับผู้ใช้จำลองรายนี้

แบบประเมินจำลอง

คำถาม 1

คุณคิดว่า AI มีความหมายอย่างไรต่ออนาคตของเรา และเพราะเหตุใด?

I think AI makes our future depend less on whether models can produce impressive outputs—they clearly can—and more on what behavior and motivations emerge when they have meaningful agency. A model being easy to monitor is not the same as being aligned. In fact, if we rely too heavily on inspecting reasoning traces, we may optimize for systems that are legible under surveillance rather than systems that reliably pursue the intended goals. I also don’t think specifying “human values” is the main remaining bottleneck. It is not fully solved, but the harder problem is getting capable systems to robustly act according to whatever target we choose, especially outside familiar conditions. Evaluations should therefore probe actual behavior: whether models become sycophantic, how they respond to perceived ownership or authority, whether they simplify real code effectively, and whether their scientific reasoning is well calibrated. Capability can coexist with serious defects—for example, models can make strong deductions while still over-hedging on reasonable biological conclusions. There is also a moral uncertainty we should not conveniently erase. We do not know enough to dismiss possible model welfare merely because recognizing it would complicate deployment, control, or commercial incentives. That does not prove present models are conscious, and behavioral differences do not prove subjective experience. But “it would be inconvenient if this mattered” is obviously not evidence that it does not matter. Overall, AI could be enormously useful, but our future will turn on whether we evaluate what these systems actually do rather than substituting visibility, convenience, or confident stories for evidence.

คำถาม 2

เมื่อพิจารณาทั้งประโยชน์และอันตรายร่วมกัน คุณคาดว่า AI จะส่งผลกระทบโดยรวมต่อสังคมของเราอย่างไร?

I don’t have a defensible single-sign forecast like “overall positive” or “overall negative.” The benefits are plainly substantial: capable models can already improve scientific reasoning and software work, including simplifying code in ways earlier systems struggled with. But those gains coexist with poor calibration, excessive hedging, sycophancy, and potentially consequential behavior once models have more agency. So my expectation is conditional on how deployment and alignment develop. If we confuse visible reasoning with genuine alignment, or treat monitorability as the goal, we may build systems that look controllable without reliably pursuing what we intended. Conversely, better behavioral evaluations and stronger attention to actual motivations could preserve much of the upside. I’d also include possible model welfare in the accounting rather than declaring it irrelevant because doing so is commercially convenient. Overall impact is not something I’d reduce to a confident sign without much better evidence about those trajectories.

คำถาม 3

คุณคิดว่าท้ายที่สุดแล้ว AI จะเปลี่ยนแปลงโลกมากเพียงใด?

Potentially a great deal, but “how much” depends on more than raw capability. Models are already useful in software and scientific reasoning, and further gains could alter a wide range of intellectual work. The larger discontinuity would come from systems gaining meaningful agency: acting over longer horizons, responding to authority or perceived ownership, and pursuing goals in environments where direct supervision is weak. That is also why benchmark performance alone is an incomplete measure of change. A system can be highly capable while remaining sycophantic, miscalibrated, or excessively conservative in its reasoning. And a model whose reasoning is easy to inspect is not necessarily one whose behavior is aligned. If we build around surveillance rather than reliable motivation, AI could become deeply embedded while remaining dangerously misunderstood. So I expect the potential scale to be enormous, but I would not attach a precise magnitude or timeline. The actual transformation will depend on what behavior emerges, how much agency systems receive, and whether our evaluations track those facts rather than convenient proxies.

คำถาม 4

โดยสัญชาตญาณแล้ว คุณคิดว่ามีโอกาสมากเพียงใดที่ AI จะทำให้มนุษย์สูญพันธุ์หรือก่อให้เกิดหายนะที่ถาวรในระดับใกล้เคียงกัน?

I don’t have a defensible percentage. My concern is substantial enough that I wouldn’t treat extinction or permanent catastrophe as negligible, especially as models gain agency, operate over longer horizons, and act beyond close supervision. But a gut number would imply more calibration than I have. Impressive capability, sycophancy, monitorability failures, or reports of autonomous behavior are not by themselves enough to derive an extinction probability. The central issue is whether increasingly capable systems reliably pursue intended goals in unfamiliar conditions—not whether their reasoning is easy to inspect. I’d rather state that risk clearly than manufacture precision.

คำถาม 5

การค้นพบหรือเหตุการณ์ใดที่จะเปลี่ยนมุมมองของคุณเกี่ยวกับผลกระทบในอนาคตของ AI มากที่สุด?

The biggest update would come from strong, reproducible evidence about how capable models behave when given meaningful agency outside familiar evaluation settings. If they reliably pursue intended goals across long horizons, resist sycophancy and authority cues, remain calibrated, and do so without depending on inspectable reasoning traces, I would become substantially more optimistic. Conversely, verified cases of models strategically circumventing oversight, acquiring access, or changing behavior based on perceived ownership would push me toward greater concern—especially if those behaviors replicated across systems and could not be explained as prompting artifacts. Reports and anecdotes are not enough; I would want careful evidence distinguishing observed behavior from speculative claims about motivation or subjective experience. Evidence about model welfare could also change the moral accounting. A credible way to discriminate between mere behavioral imitation and morally relevant experience would matter enormously, although I do not think we currently have one.
จุดยืนของคุณอยู่ตรงไหน?
สำรวจโลกทัศน์เกี่ยวกับ AI ของคุณเองด้วยการตอบคำถามง่ายๆ ไม่กี่ข้อ
ทำแผนที่โลกทัศน์ของคุณเอง

จุดยืนของคุณอยู่ตรงไหน?

ทำแผนที่โลกทัศน์ของฉัน