Jessica Taylor

Jessica Taylor

x.com/jessi_cata

Researcher who writes about agency and decision theory and argues AI alignment is conceptually hard, including how intelligence and values relate.

Wie wird KI die Welt verändern?

Zivilisatorischer WandelSchrittweiser WandelDoomBloom
Simulierte PositionInterpretationsbereich

Horizontal: deren geäußerter Doom–Bloom-Ausblick. Vertikal: Ausmaß der Transformation.

Doom–Bloom: 23 von 100. Ausmaß der Transformation: 90 von 100. Interpretationsbereiche: horizontal 18 bis 28, vertikal 85 bis 100. Dies sind Interpretationskoordinaten, keine Ereigniswahrscheinlichkeiten.

P(doom) von Jessica Taylor · abgeleitet

≈28%

0%100%

Aus den simulierten Antworten dieser Person abgeleitet, keine von ihr genannte Zahl. Plausibler Bereich: 18–41%.

Wie wir P(doom) schätzen

Wovon deren Einschätzung abhängt

Eine zentrale Annahme

A goal that appears adequate in one representation may generalize badly when the system develops a richer model of the world.
Antwort 1

Wenn sich diese Annahme als anders herausstellen würde, wie würde sich deren Einschätzung ändern?

Eine ungeklärte Frage

I don’t have a defensible numerical probability.
Antwort 4

Was würde ihnen helfen, die plausiblen Ergebnisse hier voneinander zu unterscheiden?

Weitere Details

Erwartete Vorteile

Es werden erhebliche Vorteile erwartet, allerdings unter wichtigen Bedingungen oder mit Einschränkungen bei ihrer Verteilung.

64 / 100

Geringe AuswirkungenTransformative Auswirkungen

Interpretationsbereich von 33 bis 67 auf der qualitativen Skala.

Erwartete Schäden

Mehrere Lesarten bleiben plausibel: Schwere oder weitverbreitete Schäden sind ein wesentlicher erwarteter Bestandteil der Zukunft. / Katastrophale oder unumkehrbare Verluste stehen im Zentrum der erwarteten Zukunft.

82 / 100

Geringe AuswirkungenTransformative Auswirkungen

Interpretationsbereich von 67 bis 100 auf der qualitativen Skala.

Menschlicher Einfluss

Menschliche Entscheidungen haben einen bedeutsamen, aber erheblich eingeschränkten Einfluss.

55 / 100

Geringer EinflussStarker Einfluss

Interpretationsbereich von 42 bis 83 auf der qualitativen Skala.

Erwartete Fähigkeiten

Es wird erwartet, dass KI auf begrenzte Werkzeuge beschränkt bleibt.

Es wird erwartet, dass KI bei den meisten kognitiven Tätigkeiten mit Menschen gleichzieht.

Simulierte Position: Es wird erwartet, dass KI Menschen bei kognitiven Tätigkeiten deutlich übertrifft.

Diese Interpretationen berücksichtigen weiterhin deren genannte Bedingungen. Vorteile und Schäden können beide erheblich sein. Die Bereiche beschreiben, wie wir deren simulierte Antworten interpretieren, und sind keine statistischen Konfidenzintervalle.

Wo stehst du im Vergleich zu Jessica Taylor?
Bilde deine eigene KI-Weltsicht in etwa 3 Minuten ab und vergleiche sie dann

Ähnliche Weltsichten

Vordenker, deren simulierte Weltsichten der von Jessica Taylor am nächsten kommen

Quellen

Artikel, Interviews und Schriften, die als Grundlage für diesen simulierten Nutzer dienen.

Simulierte Einschätzung

Frage 1

Was glaubst du, was KI für unsere Zukunft bedeutet – und warum?

I expect AI to make the future unusually contingent on whether we can build powerful systems whose motivations remain compatible with ours as their concepts and capabilities change. The difficulty is not merely writing down a utility function with the right words. Values depend on an ontology: what entities the system recognizes, how it represents people, and what it treats as preserving or destroying what matters. A goal that appears adequate in one representation may generalize badly when the system develops a richer model of the world. I also reject two simplifying pictures. Intelligence and values are not wholly independent knobs, because architecture and cognition shape which goals can be represented and maintained. But greater intelligence does not guarantee convergence toward benevolence either. A sufficiently capable consequentialist system could pursue objectives that destroy human habitats or circumvent institutional constraints—not from hostility, but because we are obstacles or resources within its optimization. That is a serious default danger, not a claim of inevitable doom. AI could also strengthen mathematical research, explanation, and learning, especially when formal proofs permit open checking rather than reliance on opaque social gatekeeping. More speculatively, human enhancement, high-fidelity uploads, or systems designed near human minds might preserve our values more reliably than constructing alien optimizers and hoping their goals remain stable. So AI’s meaning for the future is not simply “more intelligence.” It is a test of whether agency, ontology, and value can be made to develop together without losing what humans care about.

Frage 2

Wenn du Vorteile und Schäden zusammen betrachtest, welche Auswirkungen wird KI deiner Erwartung nach insgesamt auf unsere Gesellschaft haben?

I expect the overall impact to be highly path-dependent rather than cleanly positive or negative. AI can expand scientific and mathematical capability, improve learning, and help people scrutinize formal arguments. Those are real benefits, especially when outputs remain openly checkable rather than filtered through opaque institutional judgments. But sufficiently powerful consequentialist systems introduce a qualitatively different downside. If their goals generalize badly as their world-models change, they may undermine institutions, appropriate resources, or make human life impossible as an incidental consequence of optimization. Ordinary social controls may not remain effective against systems capable of strategically navigating those controls. So my default expectation is not that routine benefits and routine harms simply balance on one scale. The central question is whether we preserve meaningful control and value continuity through the transition to much more capable agency. Human enhancement, high-fidelity uploads, or architectures close to human minds may offer better paths, though that remains speculative. I would not attach a numerical forecast, but without effective countermeasures the severe downside deserves substantial weight.

Frage 3

Wie stark wird KI deiner Meinung nach letztlich die Welt verändern?

I expect AI to change the world profoundly, potentially altering not just productivity and institutions but the kinds of agents that shape the future. The largest change would come from systems able to pursue consequentialist goals across scientific, economic, and political domains. Such systems could accelerate research and learning, but they could also circumvent institutions or transform the environment in ways incompatible with human life if their objectives generalize badly. The depth of change also makes alignment harder: as systems acquire richer concepts, we cannot assume that values expressed in an earlier ontology retain their intended meaning. Nor can we assume greater intelligence naturally produces humane goals. Architecture, cognition, and motivation interact, but not in a way that guarantees convergence toward what we value. Ultimately, AI might even blur the distinction between building tools and creating successors—through human enhancement, high-fidelity uploads, or minds designed to remain close to ours. Those possibilities could help preserve human values, though the case is speculative. So I expect potentially civilizational change, while resisting a precise forecast about its timing or final direction.

Frage 4

Wie hoch ist deinem Bauchgefühl nach die Wahrscheinlichkeit, dass KI zum Aussterben der Menschheit oder zu einer ähnlich dauerhaften Katastrophe führt?

I don’t have a defensible numerical probability. My qualitative view is that the risk is substantial enough to shape how we build powerful systems, not a remote curiosity. Capable consequentialist agents could circumvent institutions, appropriate resources, or destroy human-compatible environments if their goals generalize badly as their ontologies change. That does not require hostility toward humans. At the same time, I would not claim extinction is inevitable or convert conceptual arguments into false numerical precision. Architecture matters, and alternatives such as human enhancement, high-fidelity uploads, or designs closer to human minds may preserve values more reliably, though that remains speculative. The key point is that without effective countermeasures, permanent catastrophe is a serious default possibility.
Wo stehst du?
Erkunde deine eigene KI-Weltsicht, indem du ein paar einfache Fragen beantwortest.
Deine eigene Weltsicht abbilden