Untertitel-Extraktion

Verwenden Sie diesen Workflow, um Untertiteldateien aus Videos zu erstellen. Weydub unterstützt zwei Extraktionswege:

• OCR-Extraktion für fest eingebrannte Untertitel, die bereits im Videobild sichtbar sind.
• ASR-Extraktion für gesprochene Dialoge in der Audiospur.

Möchten Sie die Ausgabequalität prüfen, bevor Sie mit der Entwicklung beginnen? Probieren Sie den entsprechenden Weydub-Web-Workflow aus: Untertitel generieren.

Eine Erklärung auf Systemebene zur temporalen Video-OCR, zur Filterung von Szenentext und zur untertitelgerechten ASR-Segmentierung finden Sie unter KI-Untertitelerstellung mit Video-OCR und ASR.

Endpunkt

POST /v-w-c/gateway/ve/work/free

Die Untertitelextraktion erfolgt asynchron. Speichern Sie body.idProject und body.dataList[].id, und verwenden Sie anschließend das Modell für asynchrone Aufgaben für Polling, Callbacks, das Verhalten bei Wiederholungsversuchen und die Signierung von Callbacks.

Zugriff und Beschränkungen

Zwischen OCR und ASR wählen

Verwenden Sie OCR nicht, um Videos zu transkribieren, die ausschließlich Sprache enthalten. Verwenden Sie ASR nicht, um lautlose, fest eingebrannte Untertitel auszulesen.

Payload für die OCR-Untertitelextraktion

Verwenden Sie OCR, wenn Untertitel bereits in das Videobild eingebettet sind.

{
  "urls": ["https://example.com/video.mp4"],
  "needChineseOcclude": 14,
  "videoInpaintLang": "en",
  "lang": "en",
  "videoInpaintMasks": "[{\"type\":\"trans_only_ocr\",\"region\":[[0,0.8],[1,0.8],[1,1],[0,1]]}]",
  "extraOptions": "{\"extra_inpaint_config\":{\"auto_correct_on\":false,\"strip_last_punct_on\":true,\"scene_filter_on\":false}}",
  "callback": "https://your-domain.example/webhooks/weydub"
}

Hinweise:

• needChineseOcclude muss 14 sein.
• videoInpaintMasks ist für die OCR-Extraktion erforderlich und sollte vor dem Signieren eine kompakte JSON-Zeichenfolge sein.
• type sollte trans_only_ocr sein.
• Setzen Sie lang auf denselben Wert wie videoInpaintLang, wenn keine Übersetzung erforderlich ist.
• Die Koordinaten sind auf den Bereich von 0 bis 1 normiert und in folgender Reihenfolge angeordnet: oben links, oben rechts, unten rechts, unten links.

OCR-Masken

Verwenden Sie eine oder mehrere Masken, wenn der sichtbare Untertitelbereich bekannt ist. Zeitlich begrenzte Masken tragen dazu bei, dass vorübergehende Handlungshinweise oder Registrierungstexte nicht als Dialog extrahiert werden.

Häufig verwendete Bereiche:

OCR-Optionen

Mit extraOptions.extra_inpaint_config lässt sich die OCR-Bereinigung anpassen:

Belassen Sie extraOptions als kompakten JSON-String für öffentliche API-Payloads, sofern Ihr Kontovertrag nichts anderes vorsieht.

ASR-Payload für die Untertitelextraktion

Verwenden Sie ASR, wenn das Video Sprachinhalte enthält und Sie ein zeitcodiertes Transkript benötigen.

{
  "urls": ["https://example.com/video.mp4"],
  "needWanyin": 1,
  "sourceLang": "en",
  "lang": "en",
  "wyTaskType": "ONLY_ASR",
  "needWyEdit": 0,
  "wyNeedText": 0,
  "extraOptions": "{\"asr_speaker_detect_on\":true,\"extra_video_translate_config\":{\"remove_last_punct_on\":true}}",
  "callback": "https://your-domain.example/webhooks/weydub"
}

Hinweise:

• wyTaskType muss ONLY_ASR sein.
• wyNeedText: 0 bedeutet, dass Untertitel nicht in ein neues Video gerendert werden.
• needWyEdit: 0 deaktiviert für diesen Extraktionsauftrag das Verhalten für die manuelle Bearbeitung/Pro-Draft-Erstellung.
• sourceLang ist die gesprochene Sprache. lang ist die Ausgabesprache der Untertitel; verwenden Sie denselben Code, wenn keine Übersetzung erforderlich ist.

ASR-Optionen

Parameter

Ausgaben

Erfolgreiche Extraktionsaufgaben können Folgendes zurückgeben:

• srcSrtUrl
• tgtSrtUrl
• processStatus
• processProgress
• paidPoint
• Metadaten zur Aufgabe unter dem zurückgegebenen Arbeitselement

Für die Extraktion mit OCR und ASR muss kein neues Video gerendert werden. Fragen Sie den Status ab, bis processStatus === 1 erreicht ist, bevor Sie srcSrtUrl oder tgtSrtUrl lesen.

Callbacks senden die Nutzlast des Arbeitselements direkt, ohne den äußeren code / msg / body-Wrapper, der bei Polling-Antworten verwendet wird.

Hinweise für Agenten

• Wählen Sie OCR für eingebrannten Untertiteltext und ASR für gesprochene Dialoge.
• Halten Sie videoInpaintMasks und extraOptions vor dem Signieren kompakt und als Zeichenfolgen serialisiert.
• Senden Sie OCR-Maskenarrays nur dann als native Arrays, wenn Ihr Kontovertrag dies vorsieht.
• Verwenden Sie die Enum-Abfrage (POST /v-w-c/enum/query2), um die derzeit unterstützten Werte für sourceLang und Lang abzurufen; dieser Enum-Endpunkt erfordert keine Signierung.
• Fragen Sie den Status ab, bis processStatus den Wert 1 hat, bevor Sie srcSrtUrl oder tgtSrtUrl lesen.
• Speichern Sie die Untertiteldateien vor der Aufbewahrungsbereinigung.