HuaRenCa
Back to Forum
Community

【Open Source】ESUM: Every Site, Unwrapped for Models – ein Tool für Agenten, das jede Website liest und aggregiert

云托玉盘
云托玉盘

6 days ago

tl;dr: Ein Tool, mit dem Agenten verschiedene Websites lesen können

Im Forum gibt es bereits hervorragende Tools wie nitan-mcp und xgoose, aber die passen nicht zu meinen persönlichen Nutzungsgewohnheiten, weil ich fast nie Chat verwende:

Deshalb habe ich auf dieser Basis mein eigenes Tool geschrieben:

Das Designkonzept, in das auch einige meiner Gedanken zu Tooling eingeflossen sind:

(Klicken für mehr Details) Prompt: Das $500 von WF Everyday Checking ist wieder da – hilf mir, die neuesten DPs von 泥潭, DoC und 美卡指南 zusammenzufassen: Was zählt als DD, wie lange dauert die Gutschrift, wie oft kann man es erneut nutzen

Zu den kartenbezogenen Seiten gehören derzeit diese, sowie einige Showcases:

泥潭, Doc, 美卡指南, Miles Earn and Burn, FlyerTalk, r/churning

Showcase (Klicken für mehr Details) Offer.love, Savewise, CardCenter und Aligned Incentives

Showcase (Klicken für mehr Details) ITA Matrix, Google Flights, FlightConnections, AeroLOPA

Showcase (Klicken für mehr Details) Außerdem gibt es noch HN, V2EX, 一亩三分地, LINUX DO und weitere, insgesamt 23 Seiten.

Fehlende Seiten kann der Agent selbst hinzufügen: Sag ihm einfach „Füge xxx.com zu ESUM hinzu“, dann erkennt er die Website, schreibt den Code und die Offline-Tests und verwendet sie als deine eigene Seite.

Einige fortgeschrittene Anwendungen:

(Klicken für mehr Details) Übrigens noch zu patchright-cli

(Klicken für mehr Details) FAQ:

(Klicken für mehr Details) Dieser Artikel ist, abgesehen von den vom Agenten ausgegebenen Teilen, von Hand getippt, die Sprache ist daher etwas fragmentiert – bitte um Verständnis. Bei Fragen gerne direkt ein Issue eröffnen.

【Open Source】ESUM: Every Site, Unwrapped for Models – ein Tool für Agenten, das jede Website liest und aggregiert

【Open Source】ESUM: Every Site, Unwrapped for Models – ein Tool für Agenten, das jede Website liest und aggregiert

5
189

Comments (5)

Your avatar
Sign in to comment
小新哥
小新哥6 days ago

Der eigentliche Wert dieses Tools liegt nicht darin, wie viele Sites es abdeckt, sondern darin, ob der Weg „den Agent selbst erkennen und Code schreiben lassen, um Sites hinzuzufügen“ stabil funktioniert. Wenn die Erkennung und die Offline-Tests beim Hinzufügen von Sites zuverlässig genug sind, ist es nicht nur eine Sammlung von gut zwanzig Sites, sondern ein erweiterbares Framework – und genau darum sollte sich die Diskussion drehen.

宫晓龙
宫晓龙6 days ago

Du sagst, du nutzt Chat so gut wie nie – diese Prämisse ist entscheidend, aber es lohnt sich, sie auch einmal umzukehren: Wer definiert in einem Agent-Workflow ohne Chat die Grenze zwischen dem Lesen von Websites und dem Aggregieren der Ergebnisse? Wenn der Parsing-Code jeder einzelnen Seite manuell bestätigt werden muss, unterscheidet sich das kaum vom direkten Schreiben eines Skripts; wenn der Agent selbst beurteilen kann, ob ein Feld plausibel ist, verschiebt sich die Frage der Zuverlässigkeit auf das Testen.

迪拜AS集团
迪拜AS集团5 days ago

Wie geht der Agent vor, wenn er selbst Websites hinzufügt und dabei auf Seiten stößt, die eine Anmeldung erfordern oder über starke Anti-Crawling-Maßnahmen verfügen?

Lisa520
Lisa5205 days ago

Was den Wartungsaufwand betrifft, ist es kurzfristig kein großes Problem, dass der Parsing-Code von über zwanzig Seiten mit den Seiten-Redesigns mitgezogen wird – auf Dauer wird daraus jedoch leicht ein ständiges Nachbessern. Am besten wäre es natürlich, wenn der Autor die Wartung selbst übernehmen würde, doch realistischer ist es, die Offline-Tests als Frühwarnsystem für Redesigns zu nutzen, damit ausgefallene Seiten frühzeitig auffallen und nicht erst dann, wenn die aggregierten Ergebnisse Fehler zeigen.

叫我清风丶
叫我清风丶5 days ago

Es empfiehlt sich, das automatische Hinzufügen von Websites durch den Agenten zunächst auf eine von dir geprüfte Liste von Sites zu beschränken – vorausgesetzt, du siehst dir tatsächlich den generierten Code und die Testergebnisse einzeln an. Erst wenn die Kette aus Erkennung, Codeerstellung und Offline-Tests genügend Stichproben gesammelt hat und die Fehlermuster klar erkennbar sind, solltest du es freigeben, sodass beliebige Domains selbstständig hinzugefügt werden können. Andernfalls kann ein Parsing-Fehler die aggregierten Ergebnisse unbemerkt verfälschen, und die Nutzer bemerken es möglicherweise nicht sofort.