Automatische Transkription kann Faktenchecks von Podcasts verfälschen

Die Forschungsarbeit TRILOGUE (veröffentlicht am 3. September 2026) stellt einen mehrsprachigen Datensatz für den automatischen Faktencheck gesprochener Dialoge vor. Ergebnis: Externe Belege helfen, aber fehlerhafte automatische Transkripte beeinträchtigen Belegsuche und Bewertung deutlich.

Was ist passiert: Forschende veröffentlichten TRILOGUE, einen Datensatz mit 11.957 englischen, russischen und kasachischen Dialogen (187.544 Wortmeldungen, rund 390 Stunden Audio). Er soll testen, wie Systeme prüfenswerte Aussagen in gesprochenen Gesprächen erkennen können.

Wichtigste Ergebnisse: Systeme profitieren stark von externen Belegen. Fehler der automatischen Spracherkennung (ASR) verschlechtern aber sowohl die Belegsuche als auch die Bewertung von Aussagen – im Kasachischen sank die Trefferquote der Belegsuche um knapp zwölf Prozentpunkte und die Erkennung falscher Aussagen um rund zwölf bis 13 F1‑Punkte. Gesprächskontext (vorherige/nachfolgende Wortmeldungen) verbessert die Erkennung zusätzlich.

Einschränkungen: Der Datensatz ist überwiegend kontrolliert erzeugt; englisches Audio ist teilweise synthetisch, viele Dialoge stammen aus umgeschriebenen Artikeln. Natürliche Gespräche mit Dialekt, Hintergrundgeräuschen oder absichtlicher Verschleierung sind schwerer. Deutsch wurde nicht untersucht.

Was du tun kannst – Empfehlung: Verlasse dich nicht blind auf automatische Transkripte – höre kritische Stellen selbst an, prüfe Namen, Zahlen und Verneinungen im Audio und beurteile Aussagen im Gesprächskontext. Automatische Transkripte sind eine Recherchehilfe, aber keine wortgetreue Quelle.

Quellen

• arXiv: TRILOGUE – Abstract und Publikationsangaben, 03.09.2026
• arXiv: TRILOGUE – Vollständige HTML‑Fassung, 03.09.2026
• Hugging Face: TRILOGUE‑Datensatz auf Hugging Face