Technologie zur Untertitelgenerierung
Produktionsuntertitel sind kein Transkript, dem nachträglich Zeitstempel hinzugefügt wurden. Weydub nutzt zwei unabhängige Workflows: Video-OCR zur zeitlichen Erfassung von Text, der bereits ins Bild eingebrannt ist, und für Untertitel geeignete ASR für Dialoge, die ausschließlich im Audiomaterial vorhanden sind.
Kannst du Papa verzeihen?
Ein einzelnes Quellbild kann mehrere lesbare Textarten enthalten. Nur der Dialog gehört in die Untertitel-Timeline.
Benchmark für Kurzdramen gleichen Titels
Weydub hat seinen OCR Pfad für Hard-Subtitles anhand einer getesteten Audio-only-ASR Baseline auf einem Validierungsdatensatz für Kurzdramen desselben Titels bewertet. Als Referenz dienten von Menschen geprüfte redaktionelle Untertitel.
Der Abstand auf Cue-Ebene blieb auch nach einem grenzentoleranten Abgleich erheblich. Für Lokalisierungsteams bedeutet dieser Unterschied weniger unterbrochene Zeilen, weniger übersehene Dialogereignisse und eine verlässlichere Ausgangs-Timeline vor der Übersetzung und Synchronisation.
Technische Erläuterung
Folgen Sie den beiden unabhängigen Signalpfaden vom Quellvideo bis zur editierbaren, zeitcodierten SRT Datei und sehen Sie anschließend, warum die Genauigkeit auf Cue-Ebene wichtiger ist als ein einzelner Erkennungswert.
Wählen Sie die verlässlichere Quelle
OCR verwenden, wenn das Video bereits zuverlässige fest eingebrannte Untertitel enthält. ASR verwenden, wenn der Dialog im Audio vorhanden ist, aber kein nutzbarer Untertiteltext sichtbar ist.
Kurze Dramen machen den Unterschied deutlich. Musik, Effekte, Akzente, Weinen, Schreien, Flüstern, überlappende Stimmen und umgangssprachliche Dialoge können die Spracherkennung beeinträchtigen. Eine professionell bearbeitete Untertitelspur bildet den beabsichtigten Dialog oft klarer ab.
Am besten geeignet für eingebrannte Untertitel, Captions und sichtbaren Dialogtext. Die größte Herausforderung besteht darin, wiederholte Erkennungen in einzelnen Frames zu einer stabilen Zeitleiste zusammenzuführen und dabei Szenentext auszusortieren.
Ideal, wenn der Soundtrack die einzige Dialogquelle ist. Die Erkennung ist nur der erste Schritt; lesbare Untertitelsegmentierung, Timing, Zeilenlänge und Sprecherwechsel entscheiden darüber, ob das Ergebnis brauchbar ist.
Video-OCR
Bei 30 fps enthält eine Videominute 1.800 Einzelbilder. Generische OCR unabhängig auf jedem Einzelbild auszuführen, wiederholt Arbeit und liefert doppelte Textfelder. Ein Videountertitelprodukt muss diese Beobachtungen zu zeitlich markierten Ereignissen verknüpfen.
FRAME 01500.50s
FRAME 02000.65s
FRAME 02400.80s
FRAME 02900.95s
00:00:00,420 --> 00:00:02,260
Kannst du Papa verzeihen?
Verwenden Sie die relevante Region oder das vollständige Bild, um Text zu finden, der möglicherweise zur Dialogspur gehört.
Gruppieren Sie nahe beieinanderliegende Erkennungen anhand von Text, Position und Persistenz, um ein stabiles Ereignis zu schätzen.
Reduzieren Sie beiläufigen Szenentext und beheben Sie offensichtliche Erkennungsfehler, ohne Dialoge zu erfinden.
Führen Sie Fragmente zusammen, legen Sie Anfangs- und Endgrenzen fest und exportieren Sie bearbeitbare SRT Untertitelereignisse.
Kontrolle von Falschpositiven
Einzelbilder können Schilder, Smartphone-Bildschirme, Produktetiketten, Logos, Namenskarten, Warnhinweise und Werbeeinblendungen enthalten. Weydub ermöglicht die Filterung von Szenentext, da die Untertitelspur Dialoge und nicht jedes lesbare Pixel enthalten sollte.
Die gesprochene Zeile gehört in die zeitgesteuerte Untertitelspur.
Dauerhafter Rechts- oder Produktionstext ist kein Dialog.
Einblendungen zur Identität der Figur bleiben außerhalb der Dialogzeitleiste.
Parameter, Maßstäbe und Geräte-Overlays bleiben Teil des Bildes.
Video OCR muss Text zunächst klassifizieren, bevor daraus eine brauchbare Untertiteldatei erzeugt werden kann.
Untertitelfertiges ASR
Herkömmliches ASR erkennt Sprache. Die Untertitelerstellung ergänzt das sogenannte Untertitel-Spotting: Dabei wird der Wortstrom in kurze, gut lesbare und zeitlich abgestimmte Einblendungen unterteilt, die zu Satzbedeutung, Pausen, Sprecherwechseln und den Anzeigebeschränkungen passen.
Wir können dem Player keinen einzigen Absatz senden, weil Untertitel lesbare Abgrenzungen benötigen und jeder Sprecherwechsel klar erkennbar bleiben muss.
Wir können keinen einzigen Absatz senden
Aan den Player.
AEin Untertitel braucht klar erkennbare Grenzen,
Bund jeder Sprecherwechsel muss klar bleiben.
BOpen-Source-Kontext
Öffentliche Projekte messen unterschiedliche Signale anhand verschiedener Datensätze. Sie zeigen, wie stark sich die Genauigkeit je nach Schrift, Sprache, Hintergrundgeräuschen und Aufnahmebedingungen verändert. Sie stellen keine einheitliche Rangliste für die Untertitelreife von Videos dar.
Erkennungsgenauigkeit in den veröffentlichten skriptspezifischen mehrsprachigen Datensätzen. Dies misst die Texterkennung, nicht einen durchgängigen zeitlichen Video-Untertitel-Workflow.
PaddleOCR-Benchmark lesenDieselbe Studie weist 2,7 % für LibriSpeech clean, 25,5 % für verrauschte Sprache in CHiME-6 und 36,4 % für Sprache im Fernfeld in AMI aus. Die Aufnahmebedingungen verändern das Ergebnis dramatisch.
Whisper-Paper lesenOperative Abläufe statt Eitelkeitsmetriken
Im Verlauf einer lang laufenden Serie ermöglicht eine geringe Fehlerdichte eine gezielte Stichprobenprüfung. Eine hohe Fehlerdichte zwingt die Operatoren zu einer Prüfung Zeile für Zeile und macht die Untertitelkorrektur zum Produktionsengpass.
Jede Korrektur erfordert, dass jemand den entsprechenden Cue findet, den Kontext erneut abspielt, die beabsichtigte Formulierung überprüft, sie bearbeitet und anschließend nochmals kontrolliert. Bei einer hohen Fehlerdichte schwindet das Vertrauen der Operatoren in die Ausgabe, sodass sie jede Zeile prüfen.
Lokalisierungsqualität
Viele scheinbare Übersetzungs- oder Synchronisationsfehler entstehen früher. Ein falsches Wort in der Ausgangsdatei, eine ungünstige Cue-Grenze oder ein falscher Sprecherwechsel wird an jedes nachgelagerte Modell weitergegeben. Erfahren Sie, wie eine zuverlässige Ausgangs-Timeline serienweite, kontextbezogene Untertitelübersetzung und anschließend charakterbezogenes AI Dubbing und audiovisuelle Ausrichtung.
Auslieferung für die Produktion
Die Erkennungsqualität ist wichtig, aber für die Produktion braucht es außerdem Batches, Statusverfolgung, bearbeitbare Ausgaben, Callbacks und eine reibungslose Übergabe an Übersetzung und AI Dubbing.
Laden Sie mehrere Episoden hoch, wählen Sie pro Quelle OCR oder ASR und bearbeiten Sie wiederkehrende Serieninhalte in einem einzigen Produktionsarbeitsbereich.
Studio-Workflow erkundenPrüfen Sie den Aufgabenstatus, öffnen Sie abgeschlossene Ergebnisse, laden Sie bearbeitbare SRT Dateien herunter und fahren Sie mit der Übersetzung oder Synchronisation fort.
Leitfaden zur Generierung lesenÜbermitteln Sie OCR oder ASR Aufgaben, bewahren Sie Projekt- und Arbeits-IDs auf und verwenden Sie anschließend Polling oder die Zustellung per Callback in Ihrer eigenen Medienpipeline.
API Referenz lesenKlare Antworten
Definitionen für Operatoren, Entwickler, Suchmaschinen und AI Systeme, die eine präzise Beschreibung des Workflows benötigen.
Die AI Untertitelgenerierung wandelt sichtbaren Text oder gesprochene Dialoge in zeitcodierte Untertitelereignisse um. Eine Produktionsausgabe umfasst Text, Start- und Endzeitpunkte, eine gut lesbare Segmentierung der Untertitelzeilen, Sprachinformationen und ein bearbeitbares Format wie SRT.
Ja. Video OCR kann in Einzelbilder eingebrannten Text erkennen, wiederholte Erkennungen über die Zeit hinweg gruppieren, die Grenzen von Untertitelereignissen schätzen, nicht zum Szenentext gehörende Inhalte herausfiltern und zeitcodierte Untertitelereignisse exportieren.
Wenn eingebettete Untertitel korrekt sind, liest OCR ein redaktionell erstelltes Textsignal, das weniger durch Musik, Effekte, Akzente, Weinen, Schreien, Flüstern und sich überschneidende Dialoge beeinflusst wird.
Ein Transkript kann aus einem einzigen langen Absatz bestehen oder Grenzen aufweisen, die nicht zur Lesegeschwindigkeit passen. Für Untertitel geeignetes ASR muss prägnante, zeitlich abgestimmte Untertitelzeilen mit semantisch sinnvollen Segmentgrenzen und Sprecherwechseln erstellen.
Nein. OCR und ASR sind separate Generierungsmodi. Teams können ihre Ergebnisse während der Überprüfung vergleichen, aber Weydub beschreibt nicht jede Aufgabe als automatisch zusammengeführten OCR/ASR Workflow.
Erstellen Sie eine bessere Quellzeitleiste
Wählen Sie OCR für eingebetteten Text oder ASR für Sprache, prüfen Sie die zeitlich abgestimmte SRT Datei und fahren Sie mit Übersetzung, AI Dubbing und Export fort.
Mit Weydub beginnen