#separator:tab
#html:true
#tags:open-models-quiz
#columns:Vorderseite Rückseite
Du schaltest das WLAN ab, und das Modell in LM Studio antwortet trotzdem. Was folgt daraus?
- Das ganze Modell liegt als Datei auf dem Laptop und wird von dessen Prozessor oder Grafikkarte gerechnet.
- LM Studio speichert frühere Antworten aus dem Internet zwischen und spielt sie offline wieder ab.
- Das Modell antwortet aus einer kleinen Textdatenbank, die mit LM Studio installiert wurde.
- Das Modell schickt die Fragen nach, sobald die Verbindung zurück ist, und zeigt bis dahin vorläufige Antworten.
- Das ganze Modell liegt als Datei auf dem Laptop und wird von dessen Prozessor oder Grafikkarte gerechnet.
Richtig: Alles, was das Modell kann, steckt in der Datei mit den Parametern; mehr braucht es zum Antworten nicht.
Ein Modell hat 8 Milliarden Parameter, jeder mit 4 Bit gespeichert. Wie groß ist die Datei ungefähr?
- 4 GB
- 8 GB
- 32 GB
- 16 GB
- 4 GB
Richtig: 8 Milliarden mal 4 Bit sind 32 Milliarden Bit, also 4 Milliarden Byte.
Gemma 3 4B antwortet auf demselben Laptop deutlich langsamer als Gemma 3 1B. Warum?
- Jedes Token durchläuft alle Parameter, und das 4B-Modell hat viermal so viele.
- Das größere Modell durchsucht für jede Antwort eine größere Textdatenbank.
- Das größere Modell schreibt längere Antworten, weil es mehr weiß.
- Das größere Modell prüft jede Antwort im Internet, bevor es sie zeigt.
- Jedes Token durchläuft alle Parameter, und das 4B-Modell hat viermal so viele.
Richtig: Mehr Zahlen je Token bedeuten mehr Rechenarbeit je Token und damit weniger Tokens pro Sekunde.
Welche Aussagen über offene Modelle treffen zu?
- Ihre Gewichte lassen sich herunterladen und auf eigener Hardware betreiben.
- Ihre Trainingsdaten werden stets mit den Gewichten veröffentlicht.
- Man kann sie anpassen, etwa mit eigenen Daten nachtrainieren.
- Für sie können Lizenzen gelten, die manche Nutzungen einschränken.
- Man kann sie nicht in einem Agenten einsetzen.
- Ihre Gewichte lassen sich herunterladen und auf eigener Hardware betreiben.
Richtig: Genau das macht ein Modell offen. - Man kann sie anpassen, etwa mit eigenen Daten nachtrainieren.
Richtig: Wer die Gewichte hat, kann sie weiter verändern. - Für sie können Lizenzen gelten, die manche Nutzungen einschränken.
Richtig: Offen heißt nicht ohne Bedingungen; manche Lizenzen begrenzen etwa die kommerzielle Nutzung.
In welcher Lage ist ein lokales offenes Modell die sinnvollste Wahl?
- Eine Tierarztpraxis will Behandlungsnotizen zusammenfassen, die die Praxis nicht verlassen dürfen.
- Eine Studentin will auf einem langsamen Laptop die bestmögliche Antwort auf eine schwierige Forschungsfrage.
- Ein Start-up will viele verschiedene Modelle schnell ausprobieren, ohne Hardware zu kaufen.
- Ein Marketingteam braucht aktuelle Preise der Konkurrenz aus dem Netz.
- Eine Tierarztpraxis will Behandlungsnotizen zusammenfassen, die die Praxis nicht verlassen dürfen.
Richtig: Wenn die Daten das Haus nicht verlassen dürfen, ist ein lokales Modell oft der einzige Weg.
Was bedeutet es, ein Modell zu quantisieren?
- Die Parameter mit weniger Bit speichern, wodurch die Datei kleiner wird und etwas Qualität verloren geht.
- Selten gebrauchte Wörter aus dem Wortschatz entfernen, damit das Modell schneller wird.
- Das Modell in Teile zerlegen, die auf mehreren Rechnern laufen.
- Das Modell ein zweites Mal mit weniger Daten trainieren.
- Die Parameter mit weniger Bit speichern, wodurch die Datei kleiner wird und etwas Qualität verloren geht.
Richtig: Die Zahlen werden gerundet, damit das Modell in den Speicher passt.