Michele LaurelliBlog

GGUF

GGUF: Formato di file per distribuire modelli e metadati usato soprattutto dall’ecosistema llama.cpp. Raccoglie architettura, tokenizer e tensori, spesso quantizzati, in un pacchetto leggibile dal runtime. Il livello di quantizzazione influenza memoria, velocità e qualità. Esempi di applicazione: Modello Q4_K_M, LLM locale su CPU, Metadati del tokenizer.

In English: GGUFLegge IV · Loss, gradiente e ottimizzatori

Raccoglie architettura, tokenizer e tensori, spesso quantizzati, in un pacchetto leggibile dal runtime. Il livello di quantizzazione influenza memoria, velocità e qualità.

Esempi

  • Modello Q4_K_M
  • LLM locale su CPU
  • Metadati del tokenizer