Red Teaming

Red Teaming: Valutazione deliberatamente avversaria che cerca comportamenti pericolosi, abusi e punti deboli di un sistema. Include attacchi manuali e automatici su prompt, strumenti e permessi. I risultati devono tradursi in mitigazioni e nuovi test di regressione, non in una semplice raccolta di esempi.

In English: Red teamingLegge III · Come una rete impara dai dati

Include attacchi manuali e automatici su prompt, strumenti e permessi. I risultati devono tradursi in mitigazioni e nuovi test di regressione, non in una semplice raccolta di esempi.

Esempi

  • Tentativi di jailbreak
  • Estrazione di dati riservati
  • Abuso di strumenti