Riassunto con NotebookLM

Che cos'è il prompt engineering?

Il prompt engineering è il processo di progettare e ottimizzare gli input di testo (prompt) forniti a un
modello di intelligenza artificiale generativa, come un Large Language Model (LLM), per ottenere in
modo affidabile i risultati desiderati. Un prompt funge da insieme di istruzioni che il modello utilizza
per prevedere la risposta, che può essere testo o immagini. L'efficacia del prompt influenza
significativamente la qualità e la pertinenza dell'output generato.

Quali sono i principi fondamentali per creare prompt efficaci?

Diversi principi chiave contribuiscono all'efficacia di un prompt:

• Chiarezza: Usare un linguaggio semplice e diretto, evitando ambiguità per assicurarsi che il
modello comprenda l'intento.
• Specificità: Essere precisi riguardo a ciò che si vuole ottenere, fornendo dettagli sufficienti
per guidare il modello verso la risposta desiderata ed evitando richieste troppo generiche.
• Contesto: Fornire informazioni di sfondo pertinenti per aiutare il modello a comprendere
meglio la richiesta e il dominio di riferimento.
• Formato: Specificare la struttura desiderata per l'output (ad esempio, elenco puntato,
tabella, formato JSON) per rendere le risposte coerenti e facilmente utilizzabili.
• Esempi: Includere esempi di output desiderati (few-shot prompting) per mostrare al
modello lo stile, il tono e il contenuto attesi.
• Direzione: Descrivere in dettaglio lo stile desiderato o fare riferimento a persone o fonti
pertinenti per influenzare l'output.
• Valutazione: Testare iterativamente diversi prompt e valutare la qualità delle risposte per
identificare e ottimizzare l'approccio migliore.
• Suddivisione del lavoro: Per compiti complessi, suddividere la richiesta in più fasi o
prompt concatenati per ottenere risultati più specializzati e controllabili.

Quali sono alcune tecniche avanzate di prompt engineering?

Oltre ai principi fondamentali, esistono diverse tecniche avanzate:

• Chain-of-Thought Prompting: Richiedere al modello di mostrare il suo processo di

ragionamento passo dopo passo per problemi complessi, migliorando la trasparenza e
l'accuratezza.
• Tree-of-Thought Prompting: Estendere il Chain-of-Thought, permettendo al modello di
esplorare più rami logici e possibilità prima di arrivare a una soluzione.
• Instruction Prompting: Fornire istruzioni chiare e dettagliate, passo dopo passo, su come
completare un compito.
• Few-Shot Prompting: Fornire alcuni esempi di input-output desiderati all'interno del
prompt per guidare il modello verso la risposta corretta.
• Zero-Shot Prompting: Richiedere al modello di eseguire un compito senza fornire esempi
specifici.
• Prompt Chaining: Utilizzare una serie di prompt collegati per costruire gradualmente un
contesto più ricco e ottenere risultati più complessi.
• Retrieval-Augmented Generation (RAG): Integrare nel prompt la capacità di recuperare
informazioni esterne da database o altre fonti per migliorare la pertinenza e l'accuratezza
della risposta.
 • Self-Consistency Decoding: Generare più risposte con un certo grado di casualità e
selezionare la più frequente o coerente.
• Prompting "Ask Before Answer": Invitare il modello a fare domande per chiarire il
contesto prima di fornire una risposta.
• Negative Prompting: Specificare nel prompt cosa evitare o quali argomenti non trattare.

Cos'è un attacco di prompt injection e quali sono i suoi rischi?

Un attacco di prompt injection si verifica quando un utente malintenzionato manipola l'input di un
modello linguistico di grandi dimensioni (LLM) in modo che esegua azioni non previste dallo
sviluppatore. Ciò è possibile perché l'LLM non distingue chiaramente tra le istruzioni originali dello
sviluppatore (prompt di sistema) e l'input fornito dall'utente. Scrivendo prompt accuratamente
elaborati, gli hacker possono ignorare le istruzioni di sicurezza integrate e indurre l'LLM a eseguire i
loro comandi.
I rischi associati agli attacchi di prompt injection includono:

• Jailbreaking dell'LLM: Aggirare le protezioni del modello e indurlo a generare contenuti

dannosi o inappropriati.
• Prompt Leak: Indurre l'LLM a divulgare il prompt di sistema, che può essere utilizzato per
creare input dannosi più efficaci.
• Diffusione di malware e disinformazione: Utilizzare l'LLM compromesso per generare e
diffondere contenuti dannosi o fuorvianti.
• Sottrazione di dati sensibili: Accedere a informazioni private o proprietarie attraverso
interazioni manipolate.
• Controllo di sistemi e dispositivi: In scenari più gravi, un prompt injection riuscito
potrebbe potenzialmente portare al controllo di sistemi sottostanti collegati all'LLM.

Come ci si può proteggere dagli attacchi di prompt injection?

Proteggersi completamente dagli attacchi di prompt injection è difficile, ma si possono adottare
diverse misure:

• Integrare misure di sicurezza nei prompt di sistema: Gli sviluppatori possono progettare
prompt di sistema robusti per ridurre il rischio di manipolazione.
• Utilizzare tecniche di rilevamento di input dannosi: Implementare sistemi in grado di
identificare prompt potenzialmente malevoli, anche se questi rilevatori possono essere
aggirati.
• Limitare gli input dell'utente e gli output dell'LLM: Tuttavia, ciò potrebbe
compromettere la funzionalità e l'utilità del modello.
• Sanitizzare i dati: Assicurarsi che i dati utilizzati come input per l'LLM siano
adeguatamente sanitizzati per prevenire l'inserimento di codice dannoso.
• Applicare controlli di accesso rigorosi: Limitare l'accesso a funzionalità sensibili o sistemi
critici che potrebbero essere influenzati da un LLM compromesso.
• Monitorare le risorse: Tenere traccia del consumo di risorse per identificare attività
sospette o un utilizzo eccessivo dovuto a prompt injection.
• Adottare framework di sicurezza specifici per l'AI generativa: Seguire le linee guida e le
best practice fornite da framework come l'IBM Framework for Securing Generative AI.

Qual è la differenza tra prompt design e prompt engineering?

Sebbene i termini siano spesso usati in modo intercambiabile, esiste una sottile distinzione:
 • Prompt Design: Si concentra sulla creazione di singole richieste (prompt) efficaci.
L'obiettivo è formulare un prompt chiaro, specifico e contestuale per ottenere una risposta
desiderata.
• Prompt Engineering: È un campo più ampio che si occupa di strategie più complesse e
metodologiche per controllare e ottimizzare le risposte dell'AI. Include la progettazione di
prompt singoli, ma anche l'uso di tecniche avanzate come il prompt chaining, il few-shot
learning, e l'ottimizzazione iterativa dei prompt basandosi sui risultati ottenuti. Il prompt
engineering mira a ottenere risultati affidabili e desiderati per una varietà di compiti e
applicazioni.

Quali sono le considerazioni etiche nel prompt engineering?

Il prompt engineering solleva diverse importanti questioni etiche:

• Bias: I prompt possono inavvertitamente riflettere o amplificare i bias presenti nei dati di
addestramento dell'IA, portando alla generazione di contenuti discriminatori, offensivi o
stereotipati. È fondamentale progettare prompt in modo consapevole per mitigare questi
bias.
• Manipolazione e disinformazione: I prompt possono essere utilizzati per manipolare
l'opinione pubblica o diffondere informazioni false. I prompt engineer devono essere
consapevoli del potenziale uso improprio e progettare sistemi che scoraggino tali attività.
• Privacy: La generazione di contenuti personalizzati può comportare l'uso di dati personali.
È essenziale garantire che la raccolta e l'utilizzo di tali dati siano trasparenti e rispettino il
consenso degli utenti.
• Proprietà intellettuale: La creazione di contenuti originali tramite IA solleva interrogativi
sulla proprietà intellettuale e sui diritti d'autore. È necessario considerare le implicazioni
legali ed etiche della generazione di contenuti e del loro utilizzo.

In quali applicazioni pratiche viene utilizzato il prompt engineering?

Il prompt engineering è una competenza fondamentale in una vasta gamma di applicazioni dell'IA
generativa:

• Chatbot e assistenti virtuali: Progettare prompt per consentire interazioni naturali e utili
con i clienti, fornendo informazioni, supporto e completando attività.
• Generazione di contenuti testuali: Creare articoli, post di blog, email, script e altri tipi di
testo per il marketing, la comunicazione e la creazione di contenuti.
• Sviluppo di codice: Utilizzare prompt per generare o correggere codice in vari linguaggi di
programmazione, aumentando la produttività degli sviluppatori.
• Generazione di immagini: Creare immagini, illustrazioni e grafica a partire da descrizioni
testuali per l'arte, il design e la visualizzazione.
• Ricerca e sviluppo: Sfruttare LLM per generare ipotesi, riassumere articoli scientifici e
assistere nella risoluzione di problemi complessi.
• Traduzione linguistica: Ottimizzare i prompt per ottenere traduzioni accurate e
contestualmente appropriate.
• Educazione e formazione: Creare materiali didattici personalizzati e fornire spiegazioni su
vari argomenti.
• Analisi del sentiment e classificazione del testo: Progettare prompt per estrarre
informazioni specifiche e classificare il testo in base al suo contenuto o al suo tono.
Quiz a Risposta Breve
1. Cosa si intende per "prompt injection" e quale vulnerabilità dei LLM sfrutta?
2. Descrivi brevemente la differenza tra "jailbreaking" e "prompt injection" di un LLM, pur
riconoscendo il loro legame.
3. Qual è la vulnerabilità di sicurezza numero uno per le applicazioni LLM secondo la Top 10 di
OWASP?
4. Spiega cosa si intende per "prompt leak" e perché può rappresentare un rischio per la
sicurezza.
5. Quali sono i due obiettivi principali del prompt engineering, secondo le definizioni fornite?
6. Descrivi la tecnica del "chain-of-thought prompting" e in quali tipi di problemi risulta
particolarmente utile.
7. In cosa consiste la tecnica del "few-shot prompting" e come differisce dal "zero-shot
prompting"?
8. Cita almeno due dei cinque principi fondamentali per creare prompt efficaci presentati in
una delle fonti.
9. Spiega brevemente il concetto di "retrieval-augmented generation" (RAG) e il suo scopo.
10. Quali sono alcune delle principali sfide etiche associate al prompt engineering menzionate
nelle fonti?

Chiave di Risposta
1. La prompt injection è una tecnica in cui un utente malintenzionato manipola l'input di un
modello linguistico di grandi dimensioni (LLM) per fargli ignorare le istruzioni originali
dello sviluppatore ed eseguire comandi non autorizzati. Sfrutta il fatto che l'applicazione
LLM non distingue chiaramente tra le istruzioni dello sviluppatore e l'input dell'utente.
2. Il jailbreaking si concentra sul convincere un LLM a ignorare le sue protezioni e i limiti etici,
spesso attraverso l'adozione di personaggi o giochi. La prompt injection, invece, mira a
manipolare l'LLM per eseguire azioni specifiche non previste, come divulgare informazioni
sensibili o eseguire codice dannoso, e può o meno coinvolgere il jailbreaking come fase
preliminare.
3. Secondo la Top 10 di OWASP per le applicazioni LLM, la vulnerabilità di sicurezza numero
uno è la prompt injection.
4. Il "prompt leak" si verifica quando un hacker induce un LLM a rivelare il prompt di sistema.
Questo è rischioso perché i malintenzionati possono utilizzare il prompt di sistema come
modello per creare input dannosi che hanno maggiori probabilità di essere eseguiti dall'LLM.
5. Secondo le fonti, il prompt engineering è il processo di individuazione dei prompt che
producono in modo affidabile risultati utili o desiderati. Inoltre, consiste nel formulare con
cura il testo di ingresso per ottenere risposte mirate dalle IA generative.
6. La tecnica del "chain-of-thought prompting" consiste nel suddividere problemi complessi in
sotto-task più semplici e chiedere al modello di ragionare passo dopo passo. È eccellente per
problemi complessi o logici e migliora la trasparenza nei processi decisionali.
7. Il "few-shot prompting" fornisce al modello alcuni esempi di input e output desiderati
all'interno del prompt per guidare la sua risposta. Il "zero-shot prompting", d'altra parte,
cerca di ottenere una risposta desiderata senza fornire alcun esempio specifico, basandosi
unicamente sulla comprensione delle istruzioni.
8. Due dei cinque principi fondamentali sono: Dai una direzione, che sottolinea l'importanza
di fornire istruzioni chiare e contestuali, e Specifica il formato, che indica la necessità di
definire le regole da seguire e la struttura richiesta della risposta.
9. La "retrieval-augmented generation" (RAG) è una tecnica in cui il prompt ordina al modello
di reperire informazioni esterne da database o altri servizi pertinenti al compito. Lo scopo è
 di fornire al modello un contesto più ricco e aggiornato per generare risposte più accurate e
informate.
10. Alcune delle principali sfide etiche includono il bias, dove i prompt possono amplificare i
pregiudizi presenti nei dati di addestramento; la manipolazione, con l'uso di prompt per
influenzare l'opinione pubblica; problemi di privacy legati alla generazione di contenuti
personalizzati; e questioni di proprietà intellettuale sui contenuti generati.

Domande in Formato Saggio

1. Discuti in dettaglio le implicazioni di sicurezza della "prompt injection" per le aziende e gli
utenti di applicazioni basate su LLM. Esamina le possibili conseguenze e le strategie di
mitigazione suggerite nelle fonti.
2. Analizza l'evoluzione del campo del prompt engineering, evidenziando le diverse tecniche e
strategie presentate nelle fonti. Come si sono sviluppate queste metodologie e quali sono i
vantaggi e le limitazioni di ciascuna?
3. Esplora il rapporto tra prompt engineering ed etica nell'ambito dell'intelligenza artificiale
generativa. Quali sono le principali preoccupazioni etiche sollevate dalle fonti e come si
possono affrontare attraverso pratiche di prompt engineering responsabili?
4. Confronta e contrasta le diverse definizioni e interpretazioni del prompt engineering
presentate nelle varie fonti. Quali elementi comuni emergono e quali aspetti vengono
enfatizzati in modo differente?
5. Valuta l'importanza del prompt engineering come competenza nel futuro dell'interazione
uomo-macchina con l'intelligenza artificiale. In che modo la capacità di creare prompt
efficaci influenzerà lo sviluppo e l'adozione delle tecnologie basate su LLM?

Glossario dei Termini Chiave

• Foundation Model: Un modello di machine learning altamente flessibile addestrato su un
set di dati di grandi dimensioni, che può essere adattato a vari compiti.
• LLM (Large Language Model): Un tipo di foundation model addestrato su enormi quantità
di dati di testo, capace di comprendere e generare linguaggio naturale.
• Prompt: L'input fornito a un modello di intelligenza artificiale, generalmente in forma di
testo, che funge da istruzione per generare una risposta.
• Prompt Injection: Una tecnica di attacco che manipola l'input di un LLM per fargli ignorare
le istruzioni originali ed eseguire comandi non autorizzati.
• Jailbreaking (di un LLM): Scrivere un prompt che convince un LLM a ignorare le sue
protezioni e i limiti etici.
• Prompt Engineering: Il processo di progettare e ottimizzare i prompt per ottenere risultati
specifici e di alta qualità dai modelli di intelligenza artificiale.
• Prompt Leak: Un attacco in cui un LLM viene indotto a divulgare il prompt di sistema, che
può essere utilizzato per creare input dannosi più efficaci.
• Chain-of-Thought Prompting: Una tecnica che scompone compiti complessi in passaggi
intermedi, chiedendo al modello di mostrare il suo ragionamento passo dopo passo.
• Few-Shot Prompting: Fornire al modello alcuni esempi di input e output desiderati
all'interno del prompt per guidare la sua risposta.
• Zero-Shot Prompting: Tentare di ottenere una risposta desiderata senza fornire alcun
esempio specifico nel prompt.
• Retrieval-Augmented Generation (RAG): Una tecnica in cui un modello recupera
informazioni pertinenti da fonti esterne e le utilizza per generare una risposta più informata.
• Token: La più piccola unità di testo che un modello linguistico elabora.
• Bias (nell'IA): Pregiudizi o distorsioni presenti nei dati di addestramento che possono
portare l'IA a generare output discriminatori o stereotipati.
• OWASP: Open Worldwide Application Security Project, un'organizzazione no-profit che
lavora per migliorare la sicurezza del software.
• Sensitive Information Disclosure: La divulgazione involontaria di informazioni private o
riservate da parte di un modello di IA.