Vier Quellen, eine Meldung.
Dieselbe Nachricht kommt über vier Feeds herein. Der Newsroom zeigt sie einmal — mit der Zahl der Quellen daneben und ohne sie vierfach zu verarbeiten.
Das kannst du damit machen
- Dieselbe Meldung aus mehreren Quellen als eine Karte lesen, mit der Zahl der Quellen und der Liste dahinter.
- Darauf vertrauen, dass verschiedene Unternehmen nie zusammengelegt werden — das Entitäts-Gate prüft Firmen, Symbole und Rohstoffe, und kennt Schreibweisen wie VW / Volkswagen / VOW3 als dieselbe Firma.
- Bezahlte Verarbeitung sparen: die am weitesten verarbeitete Meldung führt die Gruppe, die übrigen Quellen überspringen Klassifizierung, Fakten-Extraktion und Recherche.
- Eine falsche Zusammenlegung dauerhaft ausschließen — die Markierung gilt für das Paar und überlebt jeden weiteren Lauf.
- Meldungen über Tagesgrenzen hinweg zusammenführen: das Vergleichsfenster reicht drei Tage in beide Richtungen.
Das haben wir uns dabei gedacht
Ohne Bündelung zahlt man vier Klassifizierungen, vier Fakten-Extraktionen und vier Recherchen für eine einzige Nachricht. Und die Redaktion liest viermal dasselbe, bevor sie merkt, dass es dasselbe ist.
Die Erkennung kommt bewusst ohne Sprachmodell aus: Titel-Ähnlichkeit über Wortmengen, Editierdistanz und den längsten gemeinsamen Teilstring, dazu ein Abgleich der Textkörper. Das kostet nichts und ist nachvollziehbar.
Der teure Teil ist nicht das Finden, sondern das Nicht-Verwechseln. Zwei Meldungen mit fast identischer Formulierung über zwei verschiedene Unternehmen sind keine Dubletten — deshalb steht vor jeder Zusammenlegung die Prüfung, ob überhaupt dieselbe Firma gemeint ist.
Eine Nachricht ist eine Nachricht — auch wenn sie vier Absender hat.
Verbesserungen
Die Bündelung läuft wieder — sie hing an der falschen Stufe
Sie wurde nur ausgelöst, wenn im selben Durchlauf mindestens ein Volltext geladen werden konnte. Als das Laden über Wochen scheiterte, lief sie gar nicht mehr an: Meldungen aus vier Quellen standen viermal im Strom. Dabei braucht die Bündelung den Volltext gar nicht — sie vergleicht Überschrift und Zusammenfassung. Sie läuft jetzt einmal je Durchlauf, direkt nach dem Quellen-Scan.
Keine Sammelgruppen aus Schablonen mehr
Automatisch erzeugte Meldungen nach demselben Muster — „Die X-Aktie legt zu“, „Why is X stock sliding today?“ — landeten zu Dutzenden in einer Gruppe, obwohl sie von verschiedenen Unternehmen handelten. Zwei Regeln trennen sie jetzt: Meldungen aus derselben Quelle werden nicht mehr gebündelt (dafür ist die Funktion nicht da), und Überschriften, deren kennzeichnende Wörter sich widersprechen, gelten nicht als dieselbe Nachricht. In der Messung sank die größte Gruppe von 47 auf 8 Meldungen; jede gebildete Gruppe umfasst jetzt mehr als eine Quelle.
Nachzügler finden ihre Gruppe
Kam die zweite Quelle einer Nachricht erst nach dem nächsten Durchlauf herein, blieb sie für immer ungebündelt — allein bildete sie keine Gruppe, und einer bestehenden trat sie nie bei. Jetzt schon.
Firmenerkennung entscheidet mit
Vorher zählte allein die Titel-Ähnlichkeit. Jetzt fließen erkannte Unternehmen, Börsenkürzel und Rohstoffe in die Entscheidung ein — zwei Meldungen über zwei verschiedene Firmen landen nicht mehr in derselben Gruppe, auch wenn sie fast gleich formuliert sind.
Die Gruppe hat einen Repräsentanten
Ist ein Mitglied einer Gruppe bereits angereichert — Fakten extrahiert, geprüft, nachrecherchiert —, führt es die Gruppe an. Die übrigen Quellen werden als Dublette markiert und von allen Verarbeitungsstufen übersprungen.
Feedback geben oder Rückfragen stellen
Fehlt etwas, stört etwas, ist etwas unklar? Schreib es hier auf — die Nachricht landet direkt bei den Menschen, die an diesem Feature arbeiten.