Kleine Modelle, große Wirkung
Warum ein 8B-Modell im eigenen Netz oft mehr bringt als ein Spitzenmodell über eine API — und wo diese Rechnung kippt.
0:000:00
Shownotes
Themen
- 00:00 — Der Reflex, immer das größte Modell zu nehmen
- 05:10 — Aufgaben, bei denen Modellgröße kaum etwas ändert
- 12:30 — Latenz als Produktmerkmal, nicht als Metrik
- 19:55 — Wo kleine Modelle zuverlässig scheitern
- 26:40 — Finetuning: wann es sich lohnt, wann nicht
Erwähnt
Korrektur
Im Gespräch nenne ich für den Finetune-Lauf „etwa vier Stunden". Korrekt sind knapp sechs — die erste Zahl war ohne Datenaufbereitung gerechnet.