Recherche-Pipeline
ResearchRaven
Eine automatisierte Pipeline, die Web-Recherche in strukturiertes Wissen überführt und strukturiertes Wissen in veröffentlichungsfähige Texte.
Recherchewerkzeuge sind gut im Finden und schlecht in allem, was danach kommt. Sie liefern mehr Material zurück, als jemand lesen kann, und hinterlassen nichts: Die nächste Frage beginnt wieder bei null. ResearchRaven geht von der gegenteiligen Annahme aus — dass das bleibende Artefakt die Struktur ist, nicht das Suchergebnis.
Das System sammelt Quellen zu einem Thema, ordnet das Gefundene in eine navigierbare Wissensbasis und schreibt aus dieser Basis heraus in dem Format, das gebraucht wird: ein Artikel, ein Newsletter, ein Kapitel. Jeder dieser Schritte ist eine eigene Stufe mit klarer Grenze — und genau das erlaubt es, jede einzelne neu zu bauen, ohne die anderen anzurühren.
Wie es funktioniert
Die Architektur folgt einer Idee: Recherche und Lesen verlangen entgegengesetzte Formen, und die Aufgabe des Systems ist die Umwandlung zwischen ihnen.
Flach
Recherche
Quellen werden unabhängig voneinander gesammelt und zusammengefasst, jede zu ihren eigenen Bedingungen. Über Relevanz wird hier bewusst nicht entschieden — diese Entscheidung gehört in den Moment, in dem eine Frage gestellt wird, nicht in den Moment des Sammelns.
Hierarchisch
Wissen
Das gesammelte Material wird in eine navigierbare Struktur gebracht und dokumentübergreifend verknüpft. Das ist die Stufe, die aus einem Stapel Zusammenfassungen etwas macht, das auch Fragen beantwortet, für die es nicht gesammelt wurde.
Linear
Text
Ein Ausschnitt der Wissensbasis wird zurück in eine einzige Leseordnung projiziert und im Zielformat ausformuliert. Die Schreibstufe nutzt die Wissensbasis als Dienst und muss nie wissen, wie diese intern geordnet ist.
Flach, dann hierarchisch, dann wieder flach
Recherche kommt flach an. Quellen stehen nebeneinander, jede für sich zusammengefasst, keine weiß von den anderen. Das ist die natürliche Form des Sammelns — und eine schlechte Form für das Verstehen.
Wissen verlangt Hierarchie. Themen enthalten Aspekte, Aspekte enthalten Unteraspekte, und Aussagen verbinden sich quer dazu. Diese Struktur aufzubauen ist der Schritt, in dem die eigentliche Arbeit steckt.
Lesen verlangt wieder Flachheit. Niemand liest einen Graphen; wer liest, folgt einer Linie von Anfang bis Ende. Deshalb projiziert die letzte Stufe einen Ausschnitt der Hierarchie zurück in eine einzige Abfolge, angepasst an das Format.
Dieser Hin- und Rückweg ist der Entwurf. Die Informationstheorie beschreibt die Kosten des Wechsels zwischen diesen Formen seit Shannon; Miller hat beziffert, wie wenig einer Hierarchie ein Leser gleichzeitig halten kann; Sweller hat gezeigt, warum gleichzeitiges Sammeln und Strukturieren beides verschlechtert. Die Stufen zu trennen ist das, was aus diesen Einschränkungen folgt.
Warum die Grenze zählt
Die Schnittstelle zwischen Ordnen und Schreiben ist die eine Naht, die sauber bleiben muss. Solange die Schreibstufe Wissen nach Thema anfragt, statt in dessen Innenleben zu greifen, lässt sich die Wissensschicht neu bauen — und das ist geschehen —, ohne dass nachgelagert irgendetwas angefasst werden muss.
Wie Qualität belegt wird
Eine Pipeline aus Sprachmodellen lässt sich leicht vorführen und schwer belegen. Die interessante Frage ist nicht, ob sie plausible Ergebnisse liefert, sondern was passiert, wenn sie an einer Latte gemessen wird, die vor der Messung gesetzt wurde.
Schwellen stehen vor dem Lauf fest, nicht danach
Die Abnahmeschwelle für jede Fähigkeit wird in einem Architekturentscheidungsdokument festgehalten, bevor gemessen wird. Sich vorab auf die Schwelle festzulegen ist das, was ein Scheitern deutbar statt verhandelbar macht — eine Schwelle, auf die man sich nach dem Ergebnis einigt, ist keine Schwelle.
Ein schmeichelhaftes Ergebnis war ein Artefakt
Eine Fähigkeit maß sich als praktisch fehlerfrei. Dieselbe Messung unter einem unabhängigen, blinden Bewerter wiederholt — einem frischen Modell ohne Zugang zu den Referenzantworten — ergab ein deutlich schlechteres Resultat, und die beiden Bewerter waren sich in einem erheblichen Teil der Fälle uneinig. Die günstige Zahl stammte von einem Bewerter, der Kontext mit dem System teilte, das er benotete. Der Befund betraf den Messaufbau, nicht die Funktion — und das ist die Art Fehler, die alles Nachgelagerte stillschweigend bestätigt.
Als die Schwelle riss, änderte sich die Architektur
Eine Fähigkeit verfehlte ihre Latte bei realistischer Größenordnung. Die Fehleranalyse trennte zwei Ursachen: Die meisten Ausfälle waren eine Frage der Suchbreite, einige aber waren Darstellungsfehler, die durch mehr Suche nicht einzuholen sind. Zusammen mit der Beobachtung, dass die Operation unumkehrbar war — sie zerstörte genau die Unterscheidung, die sie falsch traf —, wanderte der Vorgang vom Schreib- in den Lesezeitpunkt. Die Schwelle wurde nie gesenkt, um zum Ergebnis zu passen.
Ergebnisse zählen nur, wenn sie reproduzierbar sind
Die abgeleitete Wissensschicht lässt sich löschen und aus den Quelldateien neu erzeugen, und der Neuaufbau ist byte-identisch. Messungen gegen einen Zustand, der sich nicht wiederherstellen lässt, sind Anekdoten, keine Belege.
Nichts davon macht das System richtig. Es macht seine Fehler früh sichtbar und zwingt die Architektur, sie aufzufangen, statt die Abnahmekriterien.
Wo das steht
Der Entwurf begann mit einer Bestandsaufnahme statt mit einem leeren Blatt — und kehrt zu einer zurück, sooft eine Schicht neu gebaut wird.
Zehn bestehende Systeme wurden geprüft, bevor die erste Zeile geschrieben war — darunter Fabric, GPT Researcher, STORM, CrewAI, Khoj, Quivr und Open Deep Research. Die meisten lösen das Finden gut. Wenige hinterlassen ein Artefakt, das die Anfrage überdauert, und diese Lücke hat bestimmt, was dieses Projekt werden sollte.
Vor dem Neubau der Wissensschicht folgte eine zweite Bestandsaufnahme: GraphRAG, RAPTOR, hierarchische Indexstrukturen aus den etablierten Retrieval-Frameworks, Diskursanalyse — und die Linie des persönlichen Wissensmanagements mit Zettelkasten, Obsidian, Logseq und Roam, im Hinblick darauf, wie dort Verknüpfungen zwischen Notizen gehandhabt werden, ohne dass die Menge der Verknüpfungen explodiert.
Die Erkenntnis, die den heutigen Entwurf geprägt hat, ist eine Trennung, die die geprüften Systeme meist nicht vornehmen: Ein einzelnes Dokument zu strukturieren und über Dokumente hinweg zu verknüpfen sind verschiedene Probleme mit verschiedenen Fehlerbildern, und sie in einen Graphen zusammenzuziehen erzeugt genau die oben gemessenen Fehler. Sie getrennt zu halten ist die Wette dieser Architektur.
Wohin es geht
ResearchRaven ist um die Beobachtung herum gebaut, dass in der Wissensarbeit meist nicht Information knapp ist, sondern Struktur. Suchmaschinen und Sprachmodelle liefern beide mehr Material, als jemand fassen kann; was keines von beiden tut, ist ein Artefakt zu hinterlassen, das umso nützlicher wird, je mehr man hineingibt.
Das System ist deshalb auf Dauerhaftigkeit ausgelegt, nicht auf Durchsatz. Wissen wird erfasst, ohne vorab über Relevanz zu entscheiden, denn Relevanz ist eine Eigenschaft der später gestellten Frage, nicht des Moments der Erfassung. Es liegt in einfachen, versionierten Dateien statt in einer Datenbank und überdauert damit das Werkzeug, das es erzeugt hat. Und seine Kosten werden ausdrücklich gesteuert, denn ein System, das sich nicht im Budget betreiben lässt, betreibt man nicht lange.
Die Richtung führt vom kurzen zum langen Text — von Beiträgen und Newslettern hin zu Kapiteln und Büchern. Das sind die Formate, in denen sich der Unterschied zwischen angesammeltem Wissen und abgerufenen Schnipseln tatsächlich zeigt.