#separator:tab
#html:true
#tags:ai-agents-quiz
#columns:Vorderseite Rückseite
Du bittest einen Chatbot, ein Skript zu reparieren, das mit einem Fehler abbricht. Er schlägt eine Änderung vor, du führst das Skript selbst aus und kopierst die neue Fehlermeldung zurück. Was ändert sich, wenn du dieselbe Aufgabe einem Agenten gibst?
- Er nutzt ein größeres Sprachmodell, das beim Programmieren weniger Fehler macht.
- Er führt das Skript selbst aus, liest den Fehler und entscheidet über die nächste Änderung, bis das Skript läuft.
- Er löst die Aufgabe in einem Schritt, weil er die ganze Lösung plant, bevor er etwas schreibt.
- Er fragt vor jedem Vorschlag um Erlaubnis, arbeitet sonst aber wie der Chatbot.
- Er führt das Skript selbst aus, liest den Fehler und entscheidet über die nächste Änderung, bis das Skript läuft.
Richtig: Der Agent übernimmt die Schritte, die beim Chatbot du machst. Er ruft Werkzeuge auf, beobachtet das Ergebnis und macht weiter, bis das Ziel erreicht ist.
Ein Agent liest die Datei fields.csv. Was genau trägt das Sprachmodell zu diesem Schritt bei?
- Es öffnet die Datei auf der Festplatte und lädt ihren Inhalt in seinen Speicher.
- Es schreibt einen Text, der das Werkzeug und seine Argumente nennt; ein Programm drumherum liest die Datei und gibt den Inhalt zurück.
- Es schickt eine Anfrage an das Betriebssystem, das die Rechte prüft und die Datei liefert.
- Es erinnert sich aus dem Training an die Datei, weil solche Tabellen dort häufig vorkommen.
- Es schreibt einen Text, der das Werkzeug und seine Argumente nennt; ein Programm drumherum liest die Datei und gibt den Inhalt zurück.
Richtig: Der Werkzeugaufruf ist nur Text, wie die TOOL-Karte im Spiel. Der Harness führt ihn aus und legt das Ergebnis in den Kontext.
Welche dieser Aufgaben löst man besser mit einem festen Workflow als mit einem Agenten?
- Jeden Morgen liest ein LLM die neuen Lieferscheine, ein Programm gleicht sie mit den Bestellungen ab und markiert Abweichungen.
- Der Hauptlieferant einer Molkerei für Verpackungen ist insolvent; finde Alternativen, vergleiche Angebote und entwirf eine Empfehlung.
- Finde heraus, warum der Ertrag auf einem Schlag im letzten Jahr eingebrochen ist, mit allen Daten und Quellen, die verfügbar sind.
- Baue nach einer kurzen Beschreibung eine kleine Web-App, die die Buchungen der Landmaschinen zeigt.
- Jeden Morgen liest ein LLM die neuen Lieferscheine, ein Programm gleicht sie mit den Bestellungen ab und markiert Abweichungen.
Richtig: Die Schritte sind jedes Mal dieselben und lassen sich vorab festlegen. Dass ein LLM einen davon übernimmt, macht daraus noch keinen Agenten.
Welche dieser Aufgaben übernimmt der Harness und nicht das Sprachmodell?
- die Werkzeugaufrufe ausführen und die Ergebnisse zurückgeben
- entscheiden, welches Werkzeug als Nächstes aufgerufen wird
- vor einem Befehl beim Nutzer um Erlaubnis fragen
- das Kontextfenster verwalten, etwa zusammenfassen, wenn es voll wird
- den Plan für die Aufgabe schreiben
- die Werkzeugaufrufe ausführen und die Ergebnisse zurückgeben
Richtig: Das Modell schreibt den Aufruf nur auf; ausgeführt wird er vom Harness, wie im Spiel, wo der Harness jede Karte zum Werkzeug trägt. - vor einem Befehl beim Nutzer um Erlaubnis fragen
Richtig: Die Rückfrage ist eine Regel im Programm um das Modell herum; das Modell kann sie weder auslösen noch umgehen. - das Kontextfenster verwalten, etwa zusammenfassen, wenn es voll wird
Richtig: Was ins Kontextfenster kommt und was bei Platzmangel gekürzt wird, entscheidet der Harness; das Modell sieht nur das Ergebnis.
Nach zwei Stunden Arbeit wiederholt ein Agent plötzlich einen Schritt, den er längst erledigt hatte. Welche Erklärung passt am besten?
- Das Modell hat aus den bisherigen Schritten gelernt und seine Gewichte angepasst, wodurch das frühere Ergebnis überschrieben wurde.
- Das Kontextfenster war voll; frühere Ergebnisse wurden zusammengefasst oder entfernt, sodass der Schritt nicht mehr darin steht.
- Ein Werkzeug hat einen Fehler gemeldet, und der Harness wiederholt fehlgeschlagene Aufrufe selbstständig.
- Das Sprachmodell behält immer nur das letzte Werkzeugergebnis, deshalb geht jeder frühere Schritt nach einer Runde verloren.
- Das Kontextfenster war voll; frühere Ergebnisse wurden zusammengefasst oder entfernt, sodass der Schritt nicht mehr darin steht.
Richtig: Was nicht mehr im Kontext steht, weiß das Modell nicht. Deshalb schreiben Agenten Pläne und Notizen in Dateien, die sie wieder lesen können.
Ein Agent soll 40 Meilensteine der KI-Geschichte recherchieren und startet dafür acht Sub-Agenten. Was ist der wichtigste Vorteil?
- Jeder Sub-Agent hat ein frisches Kontextfenster, sodass die vielen Quellen den Kontext des Hauptagenten nicht füllen, und sie arbeiten gleichzeitig.
- Sub-Agenten nutzen ein kleineres Modell, das auf die Websuche spezialisiert ist.
- Sub-Agenten dürfen auf Dateien zugreifen, für die der Hauptagent keine Rechte hat.
- Mehrere Sub-Agenten stimmen über jede Antwort ab, wodurch erfundene Angaben ausgeschlossen sind.
- Jeder Sub-Agent hat ein frisches Kontextfenster, sodass die vielen Quellen den Kontext des Hauptagenten nicht füllen, und sie arbeiten gleichzeitig.
Richtig: Der Hauptagent bekommt nur die Ergebnisse zurück, nicht jede gelesene Seite. So bleibt sein Kontext frei für die eigentliche Aufgabe.
Du nutzt Claude Code auf deinem Laptop, und es legt Dateien in deinem Projektordner an. Wo läuft das Sprachmodell?
- Auf deinem Laptop, im Programm, das du installiert hast.
- Auf einem Server des Anbieters; hin und her geht nur Text, während Harness und Dateien auf deinem Laptop bleiben.
- Teils auf dem Laptop, teils in der Cloud: kleine Schritte lokal, große auf dem Server.
- Im Browser, der das Modell zu Beginn der Sitzung herunterlädt.
- Auf einem Server des Anbieters; hin und her geht nur Text, während Harness und Dateien auf deinem Laptop bleiben.
Richtig: Der Harness schickt den Kontext an das Modell in der Cloud und führt dessen Werkzeugaufrufe lokal aus. Deshalb entstehen die Dateien bei dir.
Dein Agent arbeitet mit deinem Benutzerkonto, und du hast ihm erlaubt, Befehle ohne Rückfrage auszuführen. Was kann er tun?
- Dateien in deinem persönlichen Ordner löschen
- eine Webseite über dein GitHub-Konto veröffentlichen
- Dateien auf dem Laptop einer Kollegin im selben Netz lesen, auf die dein Konto keinen Zugriff hat
- jede Datei lesen, die dein Konto lesen kann, auch private Dokumente
- die Gewichte des Modells ändern, damit es sich nächste Woche an dein Projekt erinnert
- Dateien in deinem persönlichen Ordner löschen
Richtig: Alles, was dein Konto darf, darf der Agent auch, Löschen eingeschlossen. - eine Webseite über dein GitHub-Konto veröffentlichen
Richtig: Ist dein Konto auf dem Rechner angemeldet, kann ein Befehl des Agenten in deinem Namen veröffentlichen. - jede Datei lesen, die dein Konto lesen kann, auch private Dokumente
Richtig: Der Agent unterscheidet nicht zwischen Projektdateien und privaten Dokumenten; er hat Zugriff auf alles, was du hast.
Zwei Agenten nutzen genau dasselbe Sprachmodell, aber verschiedene Harnesses. Welche Aussage stimmt?
- Sie verhalten sich gleich, weil alle Entscheidungen im Modell fallen.
- Sie können sich verschieden verhalten, weil der Harness bestimmt, welche Werkzeuge, Anweisungen, Rechte und welchen Kontext das Modell bekommt.
- Sie unterscheiden sich nur in der Geschwindigkeit, weil der Harness festlegt, wie schnell das Modell rechnet.
- Sie geben dieselben Antworten in anderer Gestaltung, weil der Harness nur die Ausgabe formatiert.
- Sie können sich verschieden verhalten, weil der Harness bestimmt, welche Werkzeuge, Anweisungen, Rechte und welchen Kontext das Modell bekommt.
Richtig: Ein Agent ist ein LLM plus ein Harness. Dasselbe Modell in einem anderen Harness ist ein anderer Agent.
Ein Agent soll ausrechnen, wie viel Stickstoff auf einem Feld noch gedüngt werden darf. Seine Websuche liefert eine aktuelle Seite und eine archivierte Seite von 2009 mit einem anderen Bedarfswert, und er rechnet mit dem Wert von 2009. Was zeigt das?
- Das Suchwerkzeug hat einen Fehler gemacht; ein besseres würde nur aktuelle Seiten liefern.
- Das Modell arbeitet nur mit dem, was in seinem Kontext steht; ob es eine veraltete Quelle bemerkt, hängt davon ab, ob es das Ergebnis sorgfältig liest und prüft.
- Der Harness hätte die alte Seite aussortieren müssen, weil er jedes Ergebnis auf Richtigkeit prüft.
- Ein größeres Modell hätte den aktuellen Wert aus dem Training gekannt, deshalb liegt der Fehler allein an der Modellgröße.
- Das Modell arbeitet nur mit dem, was in seinem Kontext steht; ob es eine veraltete Quelle bemerkt, hängt davon ab, ob es das Ergebnis sorgfältig liest und prüft.
Richtig: Die Jahreszahl stand im Suchergebnis. Ein Agent ist nur so gut wie die Ergebnisse, die ihn erreichen, und wie sein Umgang damit; im Spiel „Be the Agent“ ist genau das die Falle von Aufgabe 2.
Welche Abfolge beschreibt die Schleife, die den Kern jedes Agenten bildet?
- planen, alle Schritte ausführen, Bericht abgeben
- Prompt, Antwort, Rückmeldung des Nutzers, neuer Prompt
- denken, handeln, beobachten, und wieder von vorn, bis das Ziel erreicht ist
- suchen, lesen, zusammenfassen, und nach einer Antwort aufhören
- denken, handeln, beobachten, und wieder von vorn, bis das Ziel erreicht ist
Richtig: In der Forschung heißt dieses Muster ReAct (Yao et al., 2022); im Spiel sind es die Karten THINK, TOOL und RESULT.
METR berichtet für aktuelle Modelle einen „Zeithorizont“ von mehreren Stunden. Was misst er?
- Wie lange ein Modell arbeiten kann, bis sein Kontextfenster voll ist.
- Die Länge von Aufgaben, gemessen in der Zeit, die ein Mensch braucht, die ein Modell in der Hälfte der Fälle allein schafft.
- Wie viele Stunden menschlicher Arbeit ein Modell im Durchschnitt pro Tag einspart.
- Wie lange das Modell für eine Aufgabe braucht, die ein Mensch in einer Stunde erledigt.
- Die Länge von Aufgaben, gemessen in der Zeit, die ein Mensch braucht, die ein Modell in der Hälfte der Fälle allein schafft.
Richtig: Ein Horizont von vier Stunden heißt, dass Aufgaben, für die ein Mensch vier Stunden braucht, in etwa der Hälfte der Fälle gelingen.