Software engineer who builds infrastructure for persistent AI agents and argues AI should lower barriers to agency for people outside tech.

Wie wird KI die Welt verändern?

Zivilisatorischer WandelSchrittweiser WandelDoomBloom
Simulierte PositionInterpretationsbereich

Horizontal: deren geäußerter Doom–Bloom-Ausblick. Vertikal: Ausmaß der Transformation.

Doom–Bloom: 71 von 100. Ausmaß der Transformation: 65 von 100. Interpretationsbereiche: horizontal 66 bis 76, vertikal 49 bis 76. Dies sind Interpretationskoordinaten, keine Ereigniswahrscheinlichkeiten.

P(doom) von Sunil Pai · abgeleitet

≈6%

0%100%

Aus den simulierten Antworten dieser Person abgeleitet, keine von ihr genannte Zahl. Plausibler Bereich: 3–13%.

Wie wir P(doom) schätzen

Wovon deren Einschätzung abhängt

Eine zentrale Annahme

The bottleneck is often the surrounding system: interfaces, durable state, tools, approvals, recovery, and ways for people to inspect or reverse what an agent does.
Antwort 1

Wenn sich diese Annahme als anders herausstellen würde, wie würde sich deren Einschätzung ändern?

Weitere Details

Erwartete Vorteile

Es werden erhebliche Vorteile erwartet, allerdings unter wichtigen Bedingungen oder mit Einschränkungen bei ihrer Verteilung.

67 / 100

Geringe AuswirkungenTransformative Auswirkungen

Interpretationsbereich von 67 bis 67 auf der qualitativen Skala.

Erwartete Schäden

Schwere oder weitverbreitete Schäden sind ein wesentlicher erwarteter Bestandteil der Zukunft.

55 / 100

Geringe AuswirkungenTransformative Auswirkungen

Interpretationsbereich von 33 bis 67 auf der qualitativen Skala.

Menschlicher Einfluss

Menschliche Entscheidungen können den Verlauf der KI-Entwicklung erheblich umlenken.

73 / 100

Geringer EinflussStarker Einfluss

Interpretationsbereich von 49 bis 100 auf der qualitativen Skala.

Regeln für den Einsatz von KI

Die erörterten Einsatzmöglichkeiten von KI einschränken, bis vorab Schutzmaßnahmen oder Genehmigungen vorliegen.

Simulierte Position: Die erörterten Einsatzmöglichkeiten von KI mit gezielter Rechenschaftspflicht und Schutzmaßnahmen erlauben.

Einschränkungen für die erörterten Einsatzmöglichkeiten von KI minimieren.

Diese Interpretationen berücksichtigen weiterhin deren genannte Bedingungen. Vorteile und Schäden können beide erheblich sein. Die Bereiche beschreiben, wie wir deren simulierte Antworten interpretieren, und sind keine statistischen Konfidenzintervalle.

Wo stehst du im Vergleich zu Sunil Pai?
Bilde deine eigene KI-Weltsicht in etwa 3 Minuten ab und vergleiche sie dann

Ähnliche Weltsichten

Vordenker, deren simulierte Weltsichten der von Sunil Pai am nächsten kommen

Quellen

Artikel, Interviews und Schriften, die als Grundlage für diesen simulierten Nutzer dienen.

Simulierte Einschätzung

Frage 1

Was glaubst du, was KI für unsere Zukunft bedeutet – und warum?

I think AI makes intelligence dramatically cheaper, but that doesn’t automatically tell us what should be built or who benefits. Current models already have a lot of unused practical potential. The bottleneck is often the surrounding system: interfaces, durable state, tools, approvals, recovery, and ways for people to inspect or reverse what an agent does. An impressive task demo is not the same thing as completing the job someone actually cares about. The hopeful future is one where intelligence lowers barriers to agency. Someone outside technology should be able to create software, operate a business, or shape a creative artifact without first acquiring years of specialized knowledge. That doesn’t mean maximizing autonomy everywhere. In creative work, I often want the human and agent working on the same durable artifact, with both able to act directly. In other cases, the user really does want tedious work to disappear. There’s also an institutional role: agents can preserve context, compare claims against evidence, and surface dissent that organizations tend to forget. But they cannot become an excuse to disregard humans who disagree. So the future depends less on raw capability than on product judgment and distribution. AI companies need a concrete account of how these systems benefit everyone, rather than merely compounding the advantages of people and institutions that already have power.

Frage 2

Wenn du Vorteile und Schäden zusammen betrachtest, welche Auswirkungen wird KI deiner Erwartung nach insgesamt auf unsere Gesellschaft haben?

I don’t think cheaper intelligence determines a single social outcome. It can broaden agency—letting more people build software, run organizations, create things, and challenge institutional decisions—but it can just as easily compound the advantages of people who already control capital, distribution, and technical systems. The key question is whether we build products around real human jobs and ownership, rather than treating maximum autonomy as inevitable progress. Systems need durable state, inspectable actions, approval and recovery paths, and direct controls over shared artifacts. Institutions can use agents to preserve evidence and surface dissent, but not as a reason to silence human disagreement. So I expect substantial benefits, but their distribution is not automatic. The overall impact will depend on whether AI companies can offer a concrete, credible account of benefit for everyone—and whether the products actually lower barriers to agency rather than concentrating it.

Frage 3

Wie stark wird KI deiner Meinung nach letztlich die Welt verändern?

Enormously, but not simply because models become more capable. Making intelligence cheap can change who gets to build software, create things, operate organizations, and scrutinize decisions. There is still a great deal of unused potential in current models once we give them durable state, useful tools, shared artifacts, approvals, and reliable recovery. But capability is not destiny. Faster task execution does not tell us what job people actually want done, and autonomy is not automatically the best interface. The deepest change will come from systems that let ordinary people exercise more agency—not just from agents doing more things unattended. So I expect AI to become foundational infrastructure, but the social result remains a product and distribution question. It could broaden participation dramatically, or mostly amplify institutions and people who already hold power. “It will change everything” is not an adequate benefits story; AI companies still need to explain concretely who gains agency, who retains control, and how everyone shares in the upside.

Frage 4

Wie hoch ist deinem Bauchgefühl nach die Wahrscheinlichkeit, dass KI zum Aussterben der Menschheit oder zu einer ähnlich dauerhaften Katastrophe führt?

I don’t have a defensible percentage. My concern is less a precise extinction forecast than the concrete systems we are deploying now: who controls them, whether actions are inspectable and reversible, and whether autonomy is added where it actually serves the job. Cheap intelligence can amplify institutional power and bad decisions at enormous scale. That deserves serious attention, but I wouldn’t turn those concerns into a numeric probability I can’t justify.

Frage 5

Gehst du eher davon aus, dass KI mehr Gutes als Schlechtes bewirken wird, oder bist du wirklich unentschlossen?

I lean toward AI doing more good than bad, but only as an expectation, not an automatic consequence of better models. There is enormous unused value in current systems: lowering the expertise required to build software, helping people create and operate things, preserving institutional context, and making evidence easier to act on. What makes me cautious is distribution. Cheap intelligence can broaden ordinary people’s agency, or it can disproportionately strengthen organizations that already control capital, infrastructure, and access. Product choices matter too: maximum autonomy is not always useful, and people need ownership, direct controls, inspectable actions, and recovery when systems fail. So I’m optimistic about the practical potential and less confident about who captures it. “AI is powerful” is not itself a public-benefit story. The industry still has to show concretely how that power improves life for everyone rather than merely compounding existing advantages.
Wo stehst du?
Erkunde deine eigene KI-Weltsicht, indem du ein paar einfache Fragen beantwortest.
Deine eigene Weltsicht abbilden