KI in der Praxis · Fortgeschritten

Kleine, lokale und Edge-Modelle

In einem Satz: Wenn das Volumen groß ist, die Latenz kritisch oder die Daten nicht hinausdürfen — schlägt ein kleines Modell auf Ihrer Seite ein großes in der Cloud.

Wann es sich lohnt

Eine enge, wiederkehrende Aufgabe mit festem Format; eine Datenschutz- oder Regulierungsanforderung; ein Volumen, das Bezahlung nach Nutzung teuer macht; oder ein Bedarf an sofortiger Antwort ohne Netzabhängigkeit.

Was man dafür bezahlt

Betrieb: Hardware, Verfügbarkeit, Updates, Überwachung und ein Team, das es zu warten weiß. Und: Die Qualitätslücke bei offenen Aufgaben besteht weiter, auch wenn sie sich verringert hat.

Ein Mittelweg

Leiten nach Schwierigkeit: Das kleine Modell behandelt die meisten Anfragen, und schwere gehen an ein starkes Modell. Das ist meist das Optimum — niedrige Kosten bei erhaltener Qualität dort, wo sie zählt.

Man kann auch destillieren: ein starkes Modell nutzen, um Qualitätsbeispiele zu erzeugen, auf denen man ein kleines Modell für eine bestimmte Aufgabe feinabstimmt.

Im Detail

Messen Sie den Durchsatz in gleichzeitigen Anfragen, nicht nur eine einzelne Antwortzeit. Ein lokales Modell verhält sich unter Last völlig anders, und eine Kapazitätsplanung nach einem Einzelnutzertest führt stets zu einer Überraschung beim Start.

KostenPerformance