Notes from - Claude is my video editor now (Ryan Musselman)
LinkedIn-Post · Video auf Google Drive · Account: [email protected] · Ordner: PKMS Literature Media
Methode: Vorgehen aus LinkedIn-Auto-Transcript + Post in eigenen Worten destilliert. Sales-/School-Upsell nur kurz als Rahmen, Fokus auf technische Pipeline.
Kurzfassung (eigene Worte)
Ryan beschreibt eine lokale AI-Editing-Engine: Roh-Talking-Head rein → WhisperX liefert wortgenaue Timestamps → Claude Code (oder Codex) orchestriert und schreibt Remotion-Komponenten → Remotion rendert MP4. Claude ersetzt dabei nicht „Geschmack“, sondern die manuelle Timeline-Arbeit; gute Ergebnisse kommen aus kuratierten Templates und klaren Framing-/Layer-Regeln, nicht aus „mach das ganze Video allein“.
Stack
| Baustein | Rolle |
|---|---|
| Claude Code / Codex | Master-Editor: dirigiert Pipeline, schreibt Remotion-Code |
| Remotion | Programmierbarer Editor (React) → Animationen, Captions, Layouts → MP4 |
| WhisperX | Audio → wortgenaue Timeline für Graphics-Timing |
Glue: lokaler Projektordner + etwas Python, damit die Tools miteinander sprechen.
Pipeline (wie beschrieben)
Rohvideo (Talking Head, ungeschnitten)
→ WhisperX (wortgenaue Transcript-Timeline)
→ Claude Code (Intent + Timeline → Remotion-Komponenten, timed)
→ Remotion Render → finales MP4Trust-Mechanik: Was gesagt wird, muss sichtbar matchen. WhisperX sagt was/wann; Claude setzt dazu passende Motion Graphics.
Was die Engine laut Demo zusätzlich macht: Audio bereinigen, Transitions, Screen-Overlays; auf höherem Modell-Level auch Vox-artige B-Roll, SFX, Camera Moves.
Kreatives Steuerungsmodell (Kerninsight)
Ryan warnt explizit vor „Claude, mach alles“ — Ergebnisse gemischt. Stattdessen:
- Avatar-Framing: Gesicht bewusst aus der Mitte (z. B. nach links gleiten), Platz für Chart/Flow/Box-Animation.
- Vox-/Box-Style in 3 Layern prompten:
- Background (Atmosphäre: Sonne, Wolken, Vögel …)
- Midground (script-timed Keywords → 3 Animationen)
- Foreground (Workstation / Setting)
- Style-Transfer: YouTube-Referenz (Beispiel: Chris Moran / Vox-Breaks) an Claude/Codex → frameweise nachbauen → als Remotion-Template speichern und wiederverwenden.
Prinzip: Mensch kuratiert Visual Taste + Template-Library; Claude führt die Edits aus.
DIY-Build (aus dem Video)
- Claude Code/Codex: „Build a content engine so AI can edit my videos.“
- Remotion- + WhisperX-Repos mitgeben.
- End-to-end: WhisperX = Audio/Timestamps, Remotion = Render.
- Iterieren, bis Pipeline steht; Templates separat pflegen.
Monetarisierungs-Frame (nur Kontext)
Jedes eigene Video = Demo der Service. Nicht generisch „AI editing“ (Race to bottom), sondern Nische (z. B. Luxury Real Estate). Preisideen im Video: Installation + laufender Monat (~$2.500-Logik) bzw. 3-Monats-Pakete. Technisch irrelevant für die Pipeline.
Anschlussfragen / mögliche Permanent-Notes
- Wann reicht Whisper+FFmpeg-Cut vs. wann lohnt Remotion als „programmierbarer CapCut“?
- Wie baut man eine Template-Library so, dass Taste nicht driftet (Layer-Contract, Framing-SOPs)?
- Abgrenzung: Ryan-School-Engine vs. Open-Source-Stacks (Remotion + WhisperX + Claude-Orchestration).