Prompt Injection
Prompt Injection: Istruzioni malevole inserite in input o contenuti recuperati per deviare il comportamento di un sistema AI. Può arrivare dall’utente, da pagine web, documenti o output di strumenti. Si mitiga separando dati e istruzioni, limitando permessi e filtrando azioni, senza affidarsi a un semplice divieto testuale.
In English: Prompt injectionLegge III · Come una rete impara dai datiPuò arrivare dall’utente, da pagine web, documenti o output di strumenti. Si mitiga separando dati e istruzioni, limitando permessi e filtrando azioni, senza affidarsi a un semplice divieto testuale.
Esempi
- Testo nascosto in una pagina web
- Documento che ordina di ignorare regole
- Strumento che restituisce comandi inattesi