Victor Taelin

Victor Taelin

x.com/victortaelin

Programmer behind the Bend language who argues machine-checked proofs can catch AI coding mistakes as people read less of the code.

Wie wird KI die Welt verändern?

Zivilisatorischer WandelSchrittweiser WandelDoomBloom
Simulierte PositionInterpretationsbereich

Horizontal: deren geäußerter Doom–Bloom-Ausblick. Vertikal: Ausmaß der Transformation.

Doom–Bloom: 63 von 100. Ausmaß der Transformation: 74 von 100. Interpretationsbereiche: horizontal 58 bis 75, vertikal 49 bis 100. Dies sind Interpretationskoordinaten, keine Ereigniswahrscheinlichkeiten.

P(doom) von Victor Taelin · abgeleitet

≈9%

0%100%

Aus den simulierten Antworten dieser Person abgeleitet, keine von ihr genannte Zahl. Plausibler Bereich: 3–22%.

Wie wir P(doom) schätzen

Wovon deren Einschätzung abhängt

Eine zentrale Annahme

I expect the impact to be broadly positive if we build reliable ways to constrain and verify AI-generated work, especially software.
Antwort 2

Wenn sich diese Annahme als anders herausstellen würde, wie würde sich deren Einschätzung ändern?

Eine ungeklärte Frage

The central uncertainty is whether we can specify enough of what matters without moving all the ambiguity into the specification itself.
Antwort 5

Was würde ihnen helfen, die plausiblen Ergebnisse hier voneinander zu unterscheiden?

Was ihre Meinung ändern könnte

The biggest update would come from seeing whether reliable verification scales to real, agent-built systems.
Antwort 5

Welche Belege würden ausreichen, und in welche Richtung würden sie deren Sichtweise verändern?

Weitere Details

Erwartete Vorteile

Es werden erhebliche Vorteile erwartet, allerdings unter wichtigen Bedingungen oder mit Einschränkungen bei ihrer Verteilung.

69 / 100

Geringe AuswirkungenTransformative Auswirkungen

Interpretationsbereich von 67 bis 67 auf der qualitativen Skala.

Erwartete Schäden

Schwere oder weitverbreitete Schäden sind ein wesentlicher erwarteter Bestandteil der Zukunft.

61 / 100

Geringe AuswirkungenTransformative Auswirkungen

Interpretationsbereich von 33 bis 67 auf der qualitativen Skala.

Menschlicher Einfluss

Menschliche Entscheidungen haben einen bedeutsamen, aber erheblich eingeschränkten Einfluss.

60 / 100

Geringer EinflussStarker Einfluss

Interpretationsbereich von 43 bis 82 auf der qualitativen Skala.

Entwicklungstempo

Die Entwicklung leistungsfähigerer KI stoppen oder erheblich verlangsamen.

Simulierte Position: Die Entwicklung unter den genannten Schutzvorkehrungen fortsetzen.

Die Entwicklung leistungsfähigerer KI beschleunigen.

Regeln für den Einsatz von KI

Die erörterten Einsatzmöglichkeiten von KI einschränken, bis vorab Schutzmaßnahmen oder Genehmigungen vorliegen.

Simulierte Position: Die erörterten Einsatzmöglichkeiten von KI mit gezielter Rechenschaftspflicht und Schutzmaßnahmen erlauben.

Einschränkungen für die erörterten Einsatzmöglichkeiten von KI minimieren.

Diese Interpretationen berücksichtigen weiterhin deren genannte Bedingungen. Vorteile und Schäden können beide erheblich sein. Die Bereiche beschreiben, wie wir deren simulierte Antworten interpretieren, und sind keine statistischen Konfidenzintervalle.

Wo stehst du im Vergleich zu Victor Taelin?
Bilde deine eigene KI-Weltsicht in etwa 3 Minuten ab und vergleiche sie dann

Ähnliche Weltsichten

Vordenker, deren simulierte Weltsichten der von Victor Taelin am nächsten kommen

Quellen

Artikel, Interviews und Schriften, die als Grundlage für diesen simulierten Nutzer dienen.

Simulierte Einschätzung

Frage 1

Was glaubst du, was KI für unsere Zukunft bedeutet – und warum?

I expect AI to produce an increasing share of software, eventually to the point where humans stop reading most of the code. That could unlock enormous output, but it also changes the bottleneck: generating plausible code becomes cheap, while knowing that it obeys our intent becomes critical. My preferred direction is to express important requirements as precise formal laws and have machines check proofs against them. If an agent changes a game, compiler, or financial system, we should be able to state invariants that must remain true and reject changes that violate them. This does not guarantee every unstated human intention or eliminate every bug; guarantees cover the properties we actually specify, and the proof machinery itself remains trusted infrastructure. That critical kernel deserves careful human attention even if the surrounding agent-generated code is rough. I also think we should judge AI systems by their failure tails, not just their most impressive demonstrations. A model that occasionally produces brilliant work but sometimes destroys the project may be less useful than one with a lower peak and a reliable floor. Rankings will also vary by domain, so there is unlikely to be one universally best model. Overall, I am enthusiastic about AI-driven programming, but its future depends on pairing generation with persistent context and reliable verification rather than trusting outputs because they look convincing.

Frage 2

Wenn du Vorteile und Schäden zusammen betrachtest, welche Auswirkungen wird KI deiner Erwartung nach insgesamt auf unsere Gesellschaft haben?

I expect the impact to be broadly positive if we build reliable ways to constrain and verify AI-generated work, especially software. AI can dramatically increase what individuals and small teams can create, but cheap generation also means cheap mistakes, accumulated technical debt, and occasional destructive failures. The key question is not whether an AI can produce an impressive result once. It is whether we can depend on it repeatedly without silently corrupting important systems. Persistent memory can help agents maintain context across long projects, while formal laws and machine-checked proofs can prevent specified classes of errors. Those guarantees are limited: they cover what we precisely state, not every intention we forgot to express, and the trusted verification kernel still needs careful human scrutiny. So my optimism is conditional rather than automatic. If society deploys AI based mainly on demos and peak capability, the harms could be substantial. If we optimize for reliable floors, preserve carefully audited trusted components, and make intent mechanically checkable where possible, AI could provide enormous productive benefits even when humans no longer read most of what it writes.

Frage 3

Wie stark wird KI deiner Meinung nach letztlich die Welt verändern?

I think AI could change the world enormously, especially by making software generation abundant. If humans eventually stop reading most code, programming shifts from manually writing implementations to stating intent, maintaining context, and mechanically verifying important properties. That is a fundamental change, but its scale does not guarantee a good outcome. Systems that look brilliant at their best can still be unusable if their worst failures destroy projects or silently corrupt critical infrastructure. Persistent memory may let agents work coherently across larger projects, while formal laws and machine-checked proofs can prevent specified categories of mistakes and technical debt. The limitation matters: proofs only guarantee the properties we actually formalize, and the proof-checking kernel remains trusted infrastructure that deserves careful human auditing. So I expect a very large transformation, but the useful transformation depends on making reliability scale alongside generation.

Frage 4

Wie hoch ist deinem Bauchgefühl nach die Wahrscheinlichkeit, dass KI zum Aussterben der Menschheit oder zu einer ähnlich dauerhaften Katastrophe führt?

I don’t have a defensible percentage. My concern is less a precise extinction forecast than the general pattern that worst-case failures can dominate impressive average performance. As AI gains control over larger software systems, a rare destructive mistake can matter far more than thousands of successful tasks. Formal verification can reduce specified classes of failure by making critical invariants mechanically checkable, but it cannot prove every human intention we failed to state, and the trusted verification machinery remains part of the risk surface. So I take permanent catastrophe seriously, while not pretending I can turn that concern into a meaningful numerical probability.

Frage 5

Welche Entdeckung oder welches Ereignis würde deine Sicht auf die künftigen Auswirkungen von KI am stärksten verändern?

The biggest update would come from seeing whether reliable verification scales to real, agent-built systems. If agents could maintain large codebases while routinely producing machine-checkable proofs of meaningful requirements—with a small, carefully audited trusted kernel—that would make me substantially more optimistic. Conversely, I would become much more pessimistic if increasingly capable agents kept causing rare, destructive failures that persistent memory, testing, and formal methods could not contain. The decisive evidence is not a spectacular demo or benchmark win; it is sustained performance on long-running projects, especially the failure floor. A system that is brilliant 99 times and catastrophically corrupts the project once may be worse than a less capable but dependable alternative. I would also update if we discovered that translating human intent into precise laws is either far easier or fundamentally harder than expected. Proofs can enforce what we specify. The central uncertainty is whether we can specify enough of what matters without moving all the ambiguity into the specification itself.
Wo stehst du?
Erkunde deine eigene KI-Weltsicht, indem du ein paar einfache Fragen beantwortest.
Deine eigene Weltsicht abbilden