Der Führer hält ein leuchtendes offenes Buch in der Hand, während sich hinter ihm die Denkmäler von zehn alten Zivilisationen erheben.
← Alle Projekte

Projekt 05 · Interaktive KI / kreative Technologie / experimentelle Schnittstelle

The Magical Book

Was wäre, wenn Sie beim Öffnen eines Buches in die Geschichte eintauchen könnten?

Ich wollte ein Kindheitsgefühl nachbilden: Ich öffne ein Buch und wünschte, ich könnte auf seinen Seiten direkt in die Welt eintauchen. The Magical Book verwandelt diese Idee in ein interaktives Web-Experiment, das Storytelling, generatives Video und räumliche Interaktion verbindet.

ChronoAtlas10 Zivilisationen23 ErlebniszuständeBrowser-Experiment

Demo

Erleben Sie das Experiment in Aktion

Von einem Buch mit sieben Siegeln zu zehn Welten.

Aufgezeichnet vom laufenden Experiment. 2 Min. 32 Sek., kein Ton.

Absicht

Geschichte im Browser erkunden.

Dabei ging es nie darum, eine weitere Geschichtswebsite zu erstellen. Ziel war es zu testen, ob ein Browser-Erlebnis jemandem das Gefühl geben kann, dass ein physisches magisches Buch ihn bemerkt hat, sich geöffnet hat und zu einem Portal geworden ist.

Die Gegenziele wurden vor der ersten Codezeile niedergeschrieben: Es darf sich nicht wie eine Landingpage, eine Diashow, ein Karussell, eine Videogalerie, eine Museumsinformationsseite, ein Dashboard, eine Kartensammlung, eine Bildungsseite mit anklickbaren Pins oder eine Standard-React-Anwendung anfühlen. Die ersten zehn Sekunden musste eine Bildschirmaufnahme verdient werden.

Eine Regel war wichtiger als die anderen: Die Auswahl der Zivilisation ist explizit. Das Buch wirft den Besucher niemals in eine zufällige Welt. Es zeigt alle zehn, lässt Sie schauen und wartet auf eine Entscheidung.

  1. Geschlossenes Buch
  2. Interaktion
  3. Buch erwacht
  4. Buch wird geöffnet
  5. Portale erscheinen
  6. Sie wählen eine Zivilisation
  7. Filmischer Übergang
  8. Zivilisationserfahrung
  9. Entdeckungen
  10. Kehren Sie zum Buch zurück

Die Welten

Zehn Zivilisationen, ein Buch.

Jede Welt trägt eine Epoche, einen Slogan, drei verfasste Entdeckungen und den Hinweis, dass es sich bei den Szenen eher um historisch inspirierte Rekonstruktionen als um Aufzeichnungen handelt. Karthago wurde zunächst als Goldstandardreise errichtet und das System wurde dann auf die übrigen neun angewendet; Das alte Ägypten diente als Referenzclip für die Tiefen- und Raumvideorecherche.

  1. Karthago: Meister des Mittelmeers.
    01

    Karthago

    c. 9. bis 2. Jahrhundert v. Chr

    Meister des Mittelmeers.

  2. Antikes Rom: Spaziergang durch die Ewige Stadt.
    02

    Antikes Rom

    c. 8. Jahrhundert v. Chr. bis 5. Jahrhundert n. Chr

    Spazieren Sie durch die Ewige Stadt.

  3. Altes Ägypten: Folgen Sie dem Fluss in die Ewigkeit.
    03

    Altes Ägypten

    c. 3100 bis 30 v. Chr

    Folge dem Fluss in die Ewigkeit.

  4. Antikes Griechenland: Wo Ideen Eingang in das öffentliche Leben fanden.
    04

    Antikes Griechenland

    c. 8. bis 2. Jahrhundert v. Chr

    Wo Ideen Einzug ins öffentliche Leben hielten.

  5. Babylon: Betreten Sie die Stadt hinter dem blauen Tor.
    05

    Babylon

    c. 19. bis 6. Jahrhundert v. Chr

    Betreten Sie die Stadt hinter dem blauen Tor.

  6. Altes China: Hinter dem Tor liegt ein Reich aus vielen Epochen.
    06

    Altes China

    221 v. Chr. bis 1912 n. Chr

    Hinter dem Tor liegt ein Reich aus vielen Epochen.

  7. Altes Japan: Folgen Sie dem Pfad unter den fallenden Blütenblättern.
    07

    Altes Japan

    c. 12. bis 19. Jahrhundert n. Chr

    Folgen Sie dem Pfad unter den fallenden Blütenblättern.

  8. Maurya India: Ein Reich, das durch Straßen, Botschaften und Herrschaft verbunden ist.
    08

    Maurya Indien

    c. 322 bis 185 v. Chr

    Ein Reich, das durch Straßen, Botschaften und Herrschaft verbunden ist.

  9. Maya-Zivilisation: Eine Stadt erhebt sich aus dem Regenwald.
    09

    Maya-Zivilisation

    c. 250 bis 900 n. Chr

    Aus dem Regenwald erhebt sich eine Stadt.

  10. Wikingerwelt: Segeln Sie über den Rand der bekannten Karte hinaus.
    10

    Wikingerwelt

    c. 793 bis 1066 n. Chr

    Segeln Sie über den Rand der bekannten Karte hinaus.

Erfahrung

Neun Momente der Reihe nach.

Standbilder aus der aufgenommenen Demo. Jeder Frame unten ist das eigentliche Experiment.

  1. Entdecken Sie das Buch: Standbild aus der Demo
    01

    Das Buch entdecken

    Ein geschlossenes Buch auf einer dunklen Bühne. Nichts verlangt nach einem Klick; Die Seite wartet darauf, dass Sie näher kommen.

  2. Der Guide reagiert auf Sie: Standbild aus der Demo
    02

    Der Guide reagiert auf Sie

    Die Zeigerposition steuert die Haltung des Führers und die Aufmerksamkeit des Buches, bevor etwas gedrückt wird.

  3. Das geöffnete Buch: Standbild aus der Demo
    03

    Das Buch öffnen

    Ein bewusster Klick. Der Einband hebt sich und Licht strömt von den Seiten.

  4. Enthülle die Zivilisationsportale: Standbilder aus der Demo
    04

    Enthülle die Zivilisationsportale

    Zehn Ziele entstehen als Konstellation von Portalen, nicht als Kartenraster.

  5. Wählen Sie eine Welt: Standbild aus der Demo
    05

    Wähle eine Welt

    Die Auswahl ist explizit. Wenn Sie ein Portal fokussieren, wird eine Vorschau angezeigt. Erst ein zweiter Akt verpflichtet zur Reise.

  6. Treten Sie durch einen filmischen Übergang ein: Standbild aus der Demo
    06

    Treten Sie ein durch einen filmischen Übergang

    Der Leitfaden wird von der tatsächlichen Bildschirmposition des Portals aus gestartet. Die Route ändert sich erst, wenn der Bildschirm abgedeckt ist.

  7. Entdeckungen in der Umgebung: Standbild aus der Demo
    07

    Die Umgebung erkunden

    Aus Nähe und Kapitelzeit tauchen goldene Ringe auf. Ein Blick in die Umgebung führt nie zufällig zu einer Entdeckung.

  8. Erstellen Sie Ihre Chronik: Standbilder aus der Demo
    08

    Erstellen Sie Ihre Chronik

    Text ist die zweite Belohnung: Eine stille Glyphe bietet der Chronik einen Moment in jedem Entdeckungskapitel.

  9. Zurück zum magischen Buch: Standbild aus der Demo
    09

    Kehre zum magischen Buch zurück

    Die Welt komprimiert sich zu einem schrumpfenden Portal und wird wieder in das Buch aufgenommen, das auf derselben Zivilisation landet.

Interaktionsdesign

Wie die Oberfläche auf den Mauszeiger reagiert.

Cursorgesteuerter Leitfaden

Die Führung reagiert auf Zeigerposition, Richtung und Entfernung. Fünf erstellte Posen werden aus dem Zeigerrahmen ausgewählt und zwischen zwei mit Ankern befestigten Platten überblendet, sodass die Figur zu Ihnen oder zum Buch schaut oder Sie einlädt, ohne zu schnappen.

Leithaltung: Blick nach links (die nach rechts gerichtete Platte, gespiegelt, wie im Experiment)Führungshaltung: neutral, dem Besucher zugewandtLeitpose: nach rechts schauenLeitpose: Den Besucher nach vorne einladen

Lebendiges Buch

Das Buch ist ein Charakter, keine Navigation. Es schläft, bemerkt den Zeiger aus der Ferne, erwacht, wenn Sie sich nähern, ist bereit und öffnet sich mit einem bewussten Klick. Schwellenwerte verfügen über eine Hysterese, sodass die Aufmerksamkeit nie auf eine Grenze gelenkt wird.

Das geschlossene Buch auf einer dunklen Bühne neben dem Führer, mit der Aufforderung, das Buch zu öffnen.

Portalkonstellation

Beim Öffnen des Buches wird die gesamte Sammlung der Reiseziele sichtbar, bevor die Reise beginnt. Portale sind organische, zurückweichende Formen, zwischen denen der Führer schwebt; Durch Fokussieren wird eine Vorschau angezeigt, durch Auswählen wird ein Commit ausgeführt.

Der offene Buchatlas: elliptische Portale, die im Nebel verschwinden, mit Blick auf Karthago und dem darunter schwebenden Reiseführer.

Filmische Erkundung

Generierte historische Szenen werden mit Browser-Interaktion kombiniert, sodass durch Bewegen der Maus die Kamera mit echter Parallaxe verschoben wird. Es handelt sich um eine 360-Grad-ähnliche räumliche filmische Interaktion auf einer tiefenverschobenen Ebene, die dem Navigieren in einer Umgebung näher kommt als dem Ansehen eines Clips. Es handelt sich nicht um ein echtes 360-Grad-Video, und das Experiment behauptet dies auch nie.

Karthago-Kapitel mit dem Zeiger nach links: Die Kamera driftet nach links.
Zeiger nach links
Dasselbe Karthago-Kapitel mit dem Zeiger nach rechts: Die Kamera driftet nach rechts.
Zeiger nach rechts

Technisch

Wie ich es gebaut habe.

Eine Zustandsmaschine verfolgt, wo sich der Besucher befindet, steuert Szenenübergänge und lädt Videos rechtzeitig vor.

Erleben Sie die Zustandsmaschine · 23 Zustände

  1. Ankunft
    • booting
    • darkness
    • guide-idle
    • guide-following
  2. Lebendiges Buch
    • book-sleeping
    • book-aware
    • book-awakening
    • book-ready
    • book-opening
    • worlds-emerging
  3. Atlas
    • atlas-idle
    • atlas-navigating
    • world-focused
  4. Flug
    • flight-preparing
    • flight-launching
    • portal-crossing
    • civilization-arriving
  5. Welt
    • chapter-playing
    • chapter-paused
    • chronicle-open
  6. Rückkehr
    • return-preparing
    • returning
    • book-restoring

Übergänge sind eine explizite Adjazenztabelle. Die Rückreise schließt die Schleife des Atlas, nicht das Intro, und konzentriert sich auf dieselbe Zivilisation. Routenänderungen (Aktualisierung, Hash, Escape) wiederherstellen den Status von der URL.

Multi-State-Interaktionsarchitektur

Eine geschützte Zustandsmaschine mit 23 benannten Zuständen und einer expliziten Übergangstabelle. Unzulässige Übergänge geben „false“ zurück, wodurch Doppelklicks, doppelte Animationen und zwei Hilfslinien auf dem Bildschirm verhindert werden.

Zeiger-Interaktions-Engine

Ein einzelner Zeiger-Listener auf Fensterebene und eine Animations-Frame-Schleife veröffentlichen einen geglätteten Frame (Position, Geschwindigkeit, Richtung, Nähe zu Buch und Anleitung, Leerlaufzeit, Touch-Flag) an Abonnenten, die direkt in das DOM schreiben. Kein Reaktionsstatus pro Mausbewegung.

Posierter, reaktiver Führer

Fünf geprüfte Posenplatten (neutral, nach links schauen, nach rechts schauen, das Buch ansehen, einladend), ausgewählt aus Zeigerrichtung und -nähe, über 320 ms zwischen zwei ankergesperrten Ebenen überblendet, sodass ein Posenwechsel niemals blinken kann.

Lebendes Buchsystem

Drei Zeigernäheschwellenwerte mit Hysterese steuern einen Buchreduzierer mit neun Zuständen: Leerlauf, Bemerken, Erwachen, Bereit, Öffnen. Ein Klick, der gemacht wird, während das Medium noch geladen wird, wird in die Warteschlange gestellt und berücksichtigt, sobald das Buch fertig ist.

Portalauswahl mit Absicht

Fokussierung und Auswahl sind getrennte Handlungen. Durch das Fokussieren eines Portals wird lediglich die Route aktualisiert. Die Auswahl muss durch die Staatsgarde erfolgen, sodass eine Welt niemals mitten in der Animation oder versehentlich betreten werden kann.

Flugsequenzen der Zivilisation

Framer Motion Choreografie basierend auf dem vermessenen Bildschirmrechteck des Portals, getönt je nach Zivilisation, mit einem Guide-Übergabevideo. Der Routentausch wird erst ausgelöst, wenn der Bildschirm vollständig bedeckt ist.

Umweltentdeckungen

Jede der zehn Welten verfügt über drei erstellte Hotspots. Entdeckungen werden auf vier Arten angezeigt: immer, zeigernah, kapitelweise oder Führer-Entdeckung, und Tippen unterscheidet sich vom Ziehen, sodass ein Umsehen niemals eine Entdeckung öffnet.

Chronik und Fortschritt

Chroniktext wird über eine verzögerte Glyphe in Entdeckungskapiteln geöffnet und verfügt über die Escape-Taste, solange er sichtbar ist. Die Geschichte ist nach der Umgebung die zweite Belohnung.

Animierte Rückfahrt

Die sichtbare Welt verdichtet sich zu einem schrumpfenden Portal, während ein kleines Buch sich erhebt, um sie aufzunehmen; Die Konstellation wird darunter wiederhergestellt, wobei dieselbe Zivilisation im Mittelpunkt steht.

Reaktionsschneller und zugänglicher Input

Live-Zuhörer für Preferences-Reduced-Motion- und Grobzeiger legen ein dreistufiges Partikelbudget fest (voll, reduziert, aus). Die Tab-Sichtbarkeit pausiert die Animation. Reduzierte Bewegung macht Übergänge weicher, lenkt den Besucher jedoch nie in einen statischen Rückfall ab.

Asset- und Video-Orchestrierung

Ein einzelnes Asset-Manifest ist das einzige Modul, das Medien importieren darf. Pose-Platten sind vorgewärmt, das Buchvideo ist nur als Metadaten-Hinweis vorgeladen und Szenenvideos werden während der Fahrt explizit heruntergefahren (Pause, Quelle löschen, neu laden).

Tiefenbewusste, 360°-ähnliche Szenen

Erzeugte Clips werden auf einer 3.js-Ebene abgespielt, die durch eine Tiefentextur pro Frame verschoben wird, sodass die Kamera mit echter Parallaxe driften und schwenken kann. Eine vierstufige Leiter (Tiefenerkennung, geschichtete Multiebene, flacher Schwenk-Zoom, Poster) wird automatisch herabgestuft, wenn die Bildrate sinkt. Nie echte 360 ​​Grad, und der Code sagt es so.

Maßstab des Experiments

10
Antike Zivilisationen
50
Generierte Kapitelclips
23
Erfahrungszustände
1
Lebendiges magisches Buch

Fünfzig Kapitelausschnitte (fünf pro Zivilisation) plus Buch-, Reiseführer- und Flugmaterial: insgesamt 95 generierte Videos, 30 verfasste Entdeckungen, eine bewachte Staatsmaschine.

Stapel

Tools und Technologien.

Überprüft anhand der Manifeste und Quellen des Projekts. Keine Router-Bibliothek, keine Statusbibliothek, kein CSS-Framework: ein handgerollter Hash-Router, ein Abonnentensatz und einfaches CSS.

Tech-Stack

  • Reaktion 19
  • TypeScript (streng)
  • Vite
  • Framer Motion
  • three.js
  • Einfaches CSS
  • Vitest

Medien- und Forschungspipeline

  • ffmpeg-Pipeline
  • Video-Depth-Anything (zeitliche Tiefe)
  • ProPainter (saubere Platten, Colab)
  • FastAPI Jobarbeiter (Python)
  • Gaußscher Splat-Viewer (nur technischer Beweis)

Kreativer KI-/Build-Workflow

  • Fabel: Implementierung und Architektur
  • Grok: generiertes Video- und Bildmaterial
  • GPT: Argumentation und Fehlerbehebung rund um Komposition und Interaktion
  • Browsergesteuerte visuelle QA-Schleife

Experimentieren

Welche Ansätze ich ausprobiert und verworfen habe.

Über die zehn Zivilisationen hinweg wurden rund fünfzig Videos erstellt, dann begann die eigentliche Arbeit: statische, filmische Aufnahmen interaktiv wirken zu lassen. Mehrere Ansätze überlebten nicht.

  • Gesamtbildumlaufbahn. Der erste Tiefenrenderer bewegte den gesamten Rahmen als starres Rechteck: schwarze Streifen an den Rändern, Held und Hintergrund gleiten aneinander. Bei der visuellen Qualitätssicherung abgelehnt und durch die Tiefe pro Frame ersetzt, die in einer Datentextur abgetastet wird.
  • Statischer Auswahlbildschirm. Das ursprüngliche Zivilisationskarussell wurde durch eine lebende Karte ersetzt, auf der der Reiseführer zum Cursor fliegt.
  • Rekonstruktion aus freier Sicht. 4D-Gauß- und Kamerawiederherstellungsmethoden wurden evaluiert und verworfen: Das generierte Filmmaterial weist keine konsistente Geometrie auf, Boote ändern zwischen den Bildern ihre Form und Lizenzen wurden nicht überprüft.
  • Überall angewendete Tiefe. Acht von fünfzig Kapiteln wurden bewusst flach gehalten, sodass enge Gesichter oder Menschenmengen unter der Verdrängung auseinanderbrechen würden.

Das Interessante daran war nicht, die Szenen zu generieren. Es ging darum herauszufinden, wie man generierte Szenen wie eine Welt wirken lässt, die der Benutzer betreten hat.

  1. Idee
  2. Prototyp
  3. Interaktionsexperimente
  4. Fehlgeschlagene Kompositionen
  5. Zeigersystem
  6. Eine Zivilisation mit Goldstandard
  7. Zehn-Welten-System