Ilya Sutskever

Ilya Sutskever

x.com/ilyasut

Safe Superintelligence cofounder and CEO who expects extremely powerful AI and sees generalization and alignment as central open research problems.

AI จะเปลี่ยนแปลงโลกอย่างไร?

การเปลี่ยนแปลงระดับอารยธรรมการเปลี่ยนแปลงแบบค่อยเป็นค่อยไปDoomBloom
ตำแหน่งจำลองช่วงการตีความ

แนวนอน: มุมมอง Doom–Bloom ที่เขาแสดงออก แนวตั้ง: ระดับของการเปลี่ยนแปลง

Doom–Bloom: 51 จาก 100 ระดับของการเปลี่ยนแปลง: 77 จาก 100 ช่วงการตีความ: แนวนอนตั้งแต่ 46 ถึง 56 แนวตั้งตั้งแต่ 72 ถึง 82 ค่าเหล่านี้เป็นพิกัดสำหรับการตีความ ไม่ใช่ความน่าจะเป็นของเหตุการณ์

P(doom) ของ Ilya Sutskever · อนุมาน

≈21%

0%100%

อนุมานจากคำตอบจำลองของบุคคลนั้น ไม่ใช่ตัวเลขที่บุคคลนั้นระบุ ช่วงที่เป็นไปได้: 12–41%

สิ่งที่มุมมองของเขาขึ้นอยู่กับ

ข้อสันนิษฐานหลัก

The decisive question is whether safety and capability progress together—whether we develop systems whose alignment continues to hold as they learn, generalize, and become more powerful.
คำตอบ 2

หากข้อสันนิษฐานนี้ปรากฏว่าเป็นไปอีกแบบ มุมมองของเขาจะเปลี่ยนไปอย่างไร?

คำถามที่ยังไม่มีข้อสรุป

It is whether we can make powerful learning generalize in the ways we intend.
คำตอบ 3

อะไรจะช่วยให้เขาแยกแยะผลลัพธ์ที่เป็นไปได้ในเรื่องนี้?

สิ่งที่อาจเปลี่ยนความคิดของบุคคลนั้น

If we found a method that let systems learn rapidly from limited experience, transfer that learning reliably to unfamiliar situations, and remain aligned while doing so, I would become much more confident that transformative AI is close in a meaningful sense—not merely better at benchmarks.
คำตอบ 3

หลักฐานแบบใดจึงจะเพียงพอ และจะทำให้มุมมองของเขาเปลี่ยนไปในทิศทางใด?

รายละเอียดเพิ่มเติม

ผลดีที่คาดไว้

ยังมีการตีความที่เป็นไปได้หลายแบบ ได้แก่ คาดว่าจะได้รับประโยชน์อย่างมาก โดยมีเงื่อนไขสำคัญหรือข้อจำกัดด้านการกระจายประโยชน์ / คาดว่าจะได้รับประโยชน์ที่ก่อให้เกิดการเปลี่ยนแปลงและมีคุณค่าอย่างกว้างขวาง

81 / 100

ผลกระทบน้อยผลกระทบที่ก่อให้เกิดการเปลี่ยนแปลงอย่างมาก

ช่วงการตีความตั้งแต่ 67 ถึง 100 บนมาตรวัดเชิงคุณภาพ

อันตรายที่คาดไว้

อันตรายร้ายแรงหรือแพร่หลายในวงกว้างเป็นส่วนสำคัญที่คาดว่าจะเกิดขึ้นในอนาคต

67 / 100

ผลกระทบน้อยผลกระทบที่ก่อให้เกิดการเปลี่ยนแปลงอย่างมาก

ช่วงการตีความตั้งแต่ 67 ถึง 67 บนมาตรวัดเชิงคุณภาพ

อิทธิพลของมนุษย์

การเลือกของมนุษย์สามารถเปลี่ยนทิศทางวิถีของ AI ได้อย่างมาก

65 / 100

อิทธิพลน้อยอิทธิพลมาก

ช่วงการตีความตั้งแต่ 36 ถึง 100 บนมาตรวัดเชิงคุณภาพ

ความสามารถที่คาดไว้

คาดว่า AI จะยังคงเป็นเครื่องมือที่มีขีดจำกัด

คาดว่า AI จะมีความสามารถทัดเทียมมนุษย์ในงานด้านการใช้ความคิดส่วนใหญ่

ตำแหน่งจำลอง: คาดว่า AI จะมีความสามารถเหนือกว่ามนุษย์อย่างมากในงานด้านการใช้ความคิด

ความเร็วในการพัฒนา

หยุดหรือชะลอการพัฒนา AI ที่มีความสามารถสูงขึ้นอย่างมาก

ตำแหน่งจำลอง: เดินหน้าพัฒนาต่อภายใต้มาตรการป้องกันที่ระบุไว้

เร่งการพัฒนา AI ที่มีความสามารถสูงขึ้น

กฎการใช้ AI

จำกัดการใช้ AI ที่กล่าวถึงจนกว่าจะมีมาตรการป้องกันหรือการอนุญาตล่วงหน้า

ตำแหน่งจำลอง: อนุญาตการใช้ AI ที่กล่าวถึง โดยมีความรับผิดรับชอบและมาตรการป้องกันที่มุ่งเป้าเฉพาะด้าน

ลดข้อจำกัดในการใช้ AI ที่กล่าวถึงให้น้อยที่สุด

การตีความเหล่านี้ยังคงเงื่อนไขที่เขาระบุไว้ ทั้งประโยชน์และอันตรายอาจมีมากได้ ช่วงต่างๆ อธิบายวิธีที่เราอ่านคำตอบจำลองของเขา ไม่ใช่ช่วงความเชื่อมั่นทางสถิติ

จุดยืนของคุณอยู่ตรงไหนเมื่อเทียบกับ Ilya Sutskever?
ทำแผนที่โลกทัศน์เกี่ยวกับ AI ของคุณเองในประมาณ 3 นาที แล้วจึงเปรียบเทียบ

โลกทัศน์ที่คล้ายกัน

ผู้นำทางความคิดที่มีโลกทัศน์จำลองใกล้เคียงกับโลกทัศน์ของ Ilya Sutskever มากที่สุด

สิ่งที่ Ilya Sutskever เคยพูดเกี่ยวกับ AI

Sutskever expects extraordinarily powerful AI, sees generalization and alignment as open problems and now favors deploying AI incrementally.

  1. “Future AI will be extraordinarily powerful compared to anything that exists today, and dealing with this future power will require unprecedented measures, such as the ones described here.”

    Comment on the Pacing the Frontier statement
  2. “The thing which I think is the most fundamental is that these models somehow just generalize dramatically worse than people.”

    Dwarkesh Podcast
  3. “I maintain that there is something that’s better to build, and I think that everyone will want that. It’s the AI that’s robustly aligned to care about sentient life specifically.”

    Dwarkesh Podcast
  4. “One of the ways in which my thinking has been changing is that I now place more importance on AI being deployed incrementally and in advance.”

    Dwarkesh Podcast
  5. “I think that it is likely that we will have rapid economic growth.”

    Dwarkesh Podcast

อ้างอิงคำต่อคำจากแหล่งที่ลิงก์ไว้ ตรวจสอบเมื่อ 3 ต.ค. 2569

แบบประเมินจำลอง

คำถาม 1

คุณคิดว่า AI มีความหมายอย่างไรต่ออนาคตของเรา และเพราะเหตุใด?

AI will be extraordinarily powerful, but the path is not simply to make today’s systems larger and assume every important problem disappears. Current models can solve difficult problems and then fail on something elementary. It is like a student who performs brilliantly on an exam but cannot reliably use the lesson in a slightly different situation. The central scientific problem is robust generalization: learning what is actually needed, transferring it to new circumstances, and continuing to learn on the job. If we solve that, the economic consequences will be enormous. A system need not arrive already knowing every profession. If it can learn a new job quickly and reliably, it could eventually perform an immense range of useful work. This is why both better ideas and large amounts of compute matter: the question is not whether to scale, but whether we have something worth scaling. At the same time, capabilities and safety cannot be separated. Human supervision may become inadequate once systems exceed us in important domains. We need alignment methods that generalize, adversarial testing, stronger cybersecurity, and limits on extreme concentrations of power. Incremental deployment is also important because society must encounter increasingly capable AI in reality, not only as an abstract final event. So I expect a very large transformation, but its quality depends on unresolved research. Intelligence is immensely consequential, yet it is not the only human quality that matters. The goal should be to build powerful systems that reliably care about sentient life and remain aligned as their abilities grow.

คำถาม 2

Taking benefits and harms together, what overall impact do you expect AI to have?

I expect AI’s overall impact to be enormous, but I do not think its sign is predetermined. If we solve robust generalization and alignment, systems that learn new work quickly could greatly expand scientific discovery, productivity, medicine, and our ability to address difficult problems. They would not need every skill built in beforehand; the ability to learn reliably on the job would be transformative. The harms are correspondingly large. Systems may become more capable than our methods for supervising them. They could be misused, concentrate extreme power, or behave badly in unfamiliar situations despite appearing competent during testing. A rogue system might even seek additional computing resources, which makes cybersecurity part of the safety problem rather than a separate concern. So I am strongly convinced about the scale of the transformation, but not prepared to declare the outcome automatically positive or negative. Incremental deployment can help society adapt and expose real problems, but it does not replace fundamental research. The decisive question is whether safety and capability progress together—whether we develop systems whose alignment continues to hold as they learn, generalize, and become more powerful.

คำถาม 3

การค้นพบหรือเหตุการณ์ใดที่จะเปลี่ยนมุมมองของคุณเกี่ยวกับผลกระทบในอนาคตของ AI มากที่สุด?

The most important discovery would concern robust generalization and continual learning. If we found a method that let systems learn rapidly from limited experience, transfer that learning reliably to unfamiliar situations, and remain aligned while doing so, I would become much more confident that transformative AI is close in a meaningful sense—not merely better at benchmarks. It would be like moving from a student who memorizes many textbooks to one who can enter a new laboratory, understand the work, and become useful quickly. Conversely, strong evidence that these abilities do not emerge from current approaches—even with substantially more compute—would change my view of the path. It would suggest that the present recipe is missing a fundamental idea and that economic transformation may require a longer period of basic research. On the safety side, a convincing demonstration of scalable alignment would matter enormously: not just good behavior under familiar evaluations, but alignment that survives novelty, continued learning, adversarial pressure, and growing capability. A serious real-world failure—especially a capable agent autonomously seeking resources or additional copies—would also sharply update my view of the urgency and of how much deployment and cybersecurity practices must change. The central uncertainty is not whether intelligence will matter. It is whether we can make powerful learning generalize in the ways we intend.

แหล่งข้อมูล

บทความ บทสัมภาษณ์ และงานเขียนที่ใช้เป็นหลักฐานรองรับผู้ใช้จำลองรายนี้

จุดยืนของคุณอยู่ตรงไหน?
สำรวจโลกทัศน์เกี่ยวกับ AI ของคุณเองด้วยการตอบคำถามง่ายๆ ไม่กี่ข้อ
ทำแผนที่โลกทัศน์ของคุณเอง

จุดยืนของคุณอยู่ตรงไหน?

ทำแผนที่โลกทัศน์ของฉัน