Model Routing
Model Routing: Selezione dinamica del modello o del percorso di esecuzione in base a richiesta, costo e vincoli. Un router può distinguere compiti semplici e complessi, località dei dati o disponibilità. Regole deterministiche e classificatori vanno monitorati per evitare risparmi che degradano la qualità.
In English: Model routingLegge IV · Loss, gradiente e ottimizzatoriUn router può distinguere compiti semplici e complessi, località dei dati o disponibilità. Regole deterministiche e classificatori vanno monitorati per evitare risparmi che degradano la qualità.
Esempi
- Modello piccolo per FAQ
- Fallback dopo errore
- Routing per sensibilità dei dati