Welchen KI-Agenten baust du 2026? Teile deinen Stack, Herausforderungen & Lehren

Ich spiele mit einem lokalen Agenten herum, um lange Forschungsarbeiten zusammenzufassen. Ich bleibe definitiv bei reinen Python-Skripten, weil Frameworks das Debuggen erschweren, wenn etwas schiefgeht lol. Die Speicherschicht einfach zu halten, war bisher die größte Herausforderung.

Ich habe das letzte Jahr ausschließlich auf die Infrastrukturseite davon konzentriert, also hier ein Blick unter die Haube dessen, was wir bauen.

Welches Problem löst es? Wir haben festgestellt, dass Reasoning-Frameworks derzeit unglaublich sind, aber alle in der Produktion an genau derselben Wand stoßen: Den Agenten fehlt tiefer Kontext. Wenn ein Agent eine Abfrage beantworten muss, die sich über einen Slack-Thread, ein Jira-Ticket und einen SharePoint-Vertrag erstreckt, wirft standardmäßiges RAG einfach unzusammenhängende Textfragmente in den Prompt und der Agent halluziniert. Wir bauen eine Open-Source-Kontextschicht namens PipesHub, um diesen unternehmensweiten Datenengpass zu beheben.

Welche Modelle? Wir sind modellagnostisch auf der Backend-Seite, aber wir sehen im Allgemeinen die besten Reasoning-Ergebnisse mit Claude 3.5 Sonnet und GPT-4o für die eigentlichen Orchestrierungsschleifen.

Framework / SDK? Unsere Architektur sitzt unterhalb der Orchestrierungsschicht. Egal, ob ein Entwickler LangGraph, CrewAI oder das neuere OpenAI Agents SDK verwendet, PipesHub fungiert als einheitliche Gedächtnis- und Abruf-Engine, die den richtigen Kontext in diese Frameworks einspeist.

MCP, RAG, Gedächtnis? Wir verwenden alle, aber wir handhaben RAG etwas anders. Wir verwenden ein Event-Streaming-Setup (Kafka), um Unternehmensdaten kontinuierlich aufzunehmen. Anstatt sie einfach in eine Vektordatenbank zu werfen, leiten wir die Daten in eine Vektordatenbank UND einen Wissensgraphen. Wir verwenden MCP als Standardprotokoll, um dieses einheitliche Gedächtnis in den Agenten zu leiten. Dadurch kann der Agent dynamisch wählen, wie er Daten abruft – den Graphen für harte Beziehungen/Abstammung und die Vektordatenbank für breiten Kontext.

Größte Herausforderung? "Kontextverfall" und Berechtigungstreue. Es ist unglaublich schwierig sicherzustellen, dass ein Agent nur Daten abruft und darauf basierend handelt, die der spezifische Endbenutzer tatsächlich sehen darf, über Dutzende verschiedener Unternehmenssilos hinweg.

Best Practice zum Teilen? Hören Sie auf, blindlings zerstückelte Dokumente in Ihren Prompt zu werfen. Wechseln Sie zu agentengesteuertem Abruf, bei dem der Agent zuerst einen Graphen abfragt, um die Beziehung zwischen Entitäten zu verstehen, bevor er versucht, den Rohtext zu lesen. Ihre Token-Kosten werden sinken und Ihre Halluzinationen werden praktisch verschwinden.

Aufbau eines Analyse-Agenten für A-Aktien-Finanzdaten. Drei Jahre Finanzberichte mit unternehmensübergreifendem Vergleich nach Branche und Region sowie strukturierte Analyse von Finanzanmerkungen indexiert. Das größte Problem bisher ist die Analyse der Anmerkungen – jedes Unternehmen formatiert sie anders, derselbe Buchhaltungsposten wird in verschiedenen Einreichungen unterschiedlich genannt. Es war mühsam, das Modell zu einer konsistenten Extraktion zu bringen. Ich bin neugierig, ob die Leute denken, dass diese Richtung es wert ist, verfolgt zu werden.