Technologien passend zum Projekt – nicht umgekehrt.

Modellwahl ist eine Architekturentscheidung

Ein Modell kann bei einem Anwendungsfall sehr gut und bei einem anderen unnötig teuer oder qualitativ ungeeignet sein. Deshalb berücksichtigen wir neben Ergebnisqualität auch Latenz, Kosten, Datenverarbeitung, Kontextlänge, strukturierte Ausgaben, Tool-Nutzung, Verfügbarkeit und die Möglichkeit, Anbieter später zu wechseln.

Tests mit eigenen Aufgaben sind wichtiger als ein pauschales Ranking

Öffentliche Benchmarks können eine Orientierung geben, ersetzen aber keine Evaluation mit repräsentativen Eingaben aus dem eigenen Prozess. Für produktive Systeme definieren wir deshalb Testfälle und erwartete Qualitätsmerkmale, bevor ein Provider dauerhaft festgelegt wird.

Open Source und On-Premise

Lokale oder selbst betriebene Modelle können sinnvoll sein, wenn Datenhoheit, spezielle Infrastruktur oder besondere Betriebsanforderungen im Vordergrund stehen. Sie sind aber nicht automatisch günstiger oder sicherer – Hardware, Updates, Skalierung, Zugriffsschutz und Evaluation müssen mitgerechnet werden.

Sicherheit und Risikomanagement mitdenken

Bei produktiven KI-Funktionen gehören Zugriffsschutz, Ausgabevalidierung, Rechtebegrenzung, Monitoring und ein bewusster Umgang mit nicht-deterministischen Ergebnissen zur Architektur. Als externe Orientierung können unter anderem der NIST AI Risk Management Framework und das OWASP GenAI Security Project dienen. Sie ersetzen keine projektspezifische Sicherheitsanalyse, helfen aber bei einer systematischen Risikobetrachtung.

Provider-Abhängigkeit begrenzen

Wo sinnvoll, trennen wir fachliche Logik von providerspezifischen APIs. Komplett austauschbar sind Modelle dennoch selten, weil Fähigkeiten, Prompting und Tool-Nutzung unterschiedlich reagieren. Diese Unterschiede sollten bewusst getestet und dokumentiert werden.