Adversarial Prompt

Adversarial Prompt: Input progettato per provocare errori, elusioni o comportamenti indesiderati in un modello. Può sfruttare ambiguità, istruzioni nascoste o perturbazioni mirate e viene usato nel red teaming. La robustezza va valutata sull’intero sistema, inclusi recupero e strumenti. Esempi di applicazione: Istruzioni contraddittorie, Markup che nasconde comandi, Varianti automatiche di un attacco.