Michele LaurelliBlog

TensorRT

TensorRT: SDK NVIDIA che ottimizza ed esegue modelli di deep learning su GPU compatibili. Applica fusione di layer, precisione ridotta e kernel specifici per hardware. La fase di build e i profili dinamici devono essere verificati rispetto a forma degli input e versione runtime.

In English: TensorRTLegge IV · Loss, gradiente e ottimizzatori

Applica fusione di layer, precisione ridotta e kernel specifici per hardware. La fase di build e i profili dinamici devono essere verificati rispetto a forma degli input e versione runtime.

Esempi

  • Engine TensorRT
  • Inferenza FP16 su GPU NVIDIA
  • Ottimizzazione di una CNN