LLM-Auswahl
OpenAI, Claude oder Open Source?
Die sinnvollste Modellwahl hängt vom konkreten Anwendungsfall ab. Qualität, Datenschutz, Latenz, Kosten, Tool-Nutzung und Betriebsmodell müssen gemeinsam bewertet werden.
Die wichtigste Regel: nicht nach Markennamen entscheiden
Ein pauschaler „Sieger“ hilft in Softwareprojekten wenig. Modelle unterscheiden sich je nach Aufgabe, Sprache, Ausgabeformat, Tool-Nutzung und Betriebsbedingungen. Deshalb sollte die Auswahl mit repräsentativen Testfällen aus dem eigenen Prozess erfolgen.
Welche Kriterien zählen?
- Qualität für den konkreten Aufgabentyp
- Strukturierte Ausgaben und Tool Calling
- Kontextlänge und Dokumentverarbeitung
- Latenz und Verfügbarkeit
- Kosten pro Anfrage oder Verarbeitungsschritt
- Datenverarbeitung und vertragliche Anforderungen
- Möglichkeit zu Fallbacks oder Providerwechseln
Warum Tests mit eigenen Daten wichtiger sind als Benchmarks
Öffentliche Benchmarks bilden den eigenen Prozess nur begrenzt ab. Für eine belastbare Auswahl sind repräsentative Testfälle mit echten Eingaben, erwarteten Ergebnissen und klaren Qualitätskriterien hilfreicher.
Open Source ist eine Betriebsentscheidung
Selbst betriebene Modelle können mehr Kontrolle über Datenflüsse und Infrastruktur geben. Gleichzeitig entstehen Anforderungen an Hardware, Updates, Skalierung, Zugriffsschutz und Monitoring. Deshalb muss der gesamte Betrieb betrachtet werden, nicht nur die Modelllizenz.
Providerwechselbarkeit realistisch planen
Eine technische Abstraktionsschicht kann den Wechsel erleichtern. Vollständig austauschbar sind Modelle trotzdem selten: Prompting, strukturierte Ausgaben, Tool Calling, Limits und Fehlermuster unterscheiden sich. Deshalb sollten kritische Funktionen mit mehreren Kandidaten getestet werden, bevor eine Multi-Provider-Strategie versprochen wird.
Entscheidungsmatrix
| Frage | Warum sie wichtig ist |
|---|---|
| Welche Aufgabe wird bewertet? | Qualität ist aufgabenabhängig. |
| Welche Daten werden verarbeitet? | Bestimmt Datenschutz und Betriebsmodell. |
| Welche Latenz ist akzeptabel? | Beeinflusst UX und Architektur. |
| Wie hoch ist das Anfragevolumen? | Bestimmt laufende Kosten. |
| Welche Tools/APIs muss das Modell steuern? | Beeinflusst Modell- und Providerwahl. |
