Model Router

Model Router: Componente che instrada ogni richiesta verso un modello in base a compito, costo, capacità, latenza o regole operative. Può combinare modelli piccoli e frontier senza usare sempre il più costoso. La classificazione della richiesta e i fallback vanno valutati end-to-end.

In English: Model routerLegge IV · Loss, gradiente e ottimizzatori

Può combinare modelli piccoli e frontier senza usare sempre il più costoso. La classificazione della richiesta e i fallback vanno valutati end-to-end.

Fonti