- RAGRetrieval Augmented Generation
- Verfahren, bei dem ein Modell vor der Antwort passende Dokumente aus einer Wissensbasis abruft. Antworten stützen sich so auf eigene Daten und lassen sich mit Quelle belegen.
- Context Engineeringmit Memory
- Die gezielte Steuerung dessen, was ein Modell in jedem Schritt sieht: Anweisungen, Dokumente, Zwischenergebnisse. Memory ergänzt Wissen, das über einzelne Sitzungen hinaus erhalten bleibt.
- Tool CallingComputer Use, Browser Use, Code Execution in Sandboxes
- Die Fähigkeit eines Modells, Funktionen wie Suchen, APIs oder Datenbankabfragen aufzurufen. Computer und Browser Use bedienen Oberflächen direkt, Code Execution läuft isoliert in einer Sandbox.
- MCP und A2AModel Context Protocol, Agent2Agent Protocol
- Offene Protokolle für die Anbindung von Agenten. MCP verbindet Modelle mit Werkzeugen und Datenquellen, A2A regelt die Kommunikation zwischen Agenten unterschiedlicher Anbieter.
- Harness Engineering
- Die Entwicklung der Software rund um ein Modell: Ablaufsteuerung, Werkzeuganbindung, Abbruchbedingungen und Fehlerbehandlung. Sie bestimmt oft stärker als das Modell, wie zuverlässig ein Agent arbeitet.
- Model Routing
- Die automatische Verteilung von Anfragen auf verschiedene Modelle, abhängig von Schwierigkeit, Kosten und benötigter Geschwindigkeit.
- EvalsGolden Sets, LLM-as-a-Judge, Regressionstests
- Systematische Tests für KI-Systeme. Golden Sets sind geprüfte Referenzfälle, bei LLM-as-a-Judge bewertet ein zweites Modell die Ausgaben, Regressionstests decken Verschlechterungen auf.
- ObservabilityTracing
- Die Aufzeichnung und Auswertung aller Schritte eines Agenten. Tracing macht Werkzeugaufrufe, Latenz, Kosten und Fehler für jeden einzelnen Lauf nachvollziehbar.
- GuardrailsSchutz gegen Prompt Injection, Human-in-the-Loop
- Prüfregeln vor und nach dem Modell, die manipulierte Eingaben und fehlerhafte Ausgaben abfangen. Human-in-the-Loop bindet an kritischen Stellen eine menschliche Freigabe ein.