Glossario del machine learning

Questo glossario definisce i termini generali del machine learning, oltre ai termini specifici di TensorFlow.

A

ablazione

Una tecnica per valutare l'importanza di una funzionalità o di un componente rimuovendolo temporaneamente da un modello. Poi riaddestrare il modello senza questa funzionalità o quel componente e se il modello riaddestrato ha un rendimento notevolmente peggiore, la funzionalità o il componente rimosso sono stati probabilmente importanti.

Ad esempio, supponiamo di addestrare un modello di classificazione su 10 funzionalità e di ottenere l'88% di precisione sul set di test. Per controllare l'importanza della prima funzionalità, puoi addestrare nuovamente il modello utilizzando solo le altre nove funzionalità. Se le prestazioni del modello riaddestrato sono notevolmente peggiori (ad esempio, una precisione del 55%), la caratteristica rimossa probabilmente era importante. Al contrario, se il modello riavviato funziona altrettanto bene, è probabile che la funzionalità non sia così importante.

L'ablazione può anche aiutare a determinare l'importanza di:

• Componenti più grandi, ad esempio un intero sottosistema di un sistema ML più grande
• Processi o tecniche, ad esempio un passaggio di pre-elaborazione dei dati

In entrambi i casi, puoi osservare come cambia (o meno) il rendimento del sistema dopo aver rimosso il componente.

Test A/B

Un modo statistico per confrontare due (o più) tecniche: A e B. In genere, A è una tecnica esistente, mentre B è una nuova tecnica. I test A/B non solo determinano quale tecnica ha un rendimento migliore, ma anche se la differenza è statisticamente significativa.

I test A/B di solito confrontano una singola metrica su due tecniche. Ad esempio, come si confronta l'accuratezza del modello per due tecniche? Tuttavia, i test A/B possono anche confrontare un numero finito di metriche.

chip dell'acceleratore

Una categoria di componenti hardware specializzati progettati per eseguire i calcoli chiave necessari per gli algoritmi di deep learning.

I chip dell'acceleratore (o semplicemente gli acceleratori) possono significativamente aumenta la velocità e l'efficienza delle attività di addestramento e inferenza rispetto a una CPU per uso generico. Sono ideali per l'addestramento neurali profonde e attività simili con elevata intensità di calcolo.

Ecco alcuni esempi di chip acceleratore:

• Tensor Processing Unit di Google (TPU) con hardware dedicato per il deep learning.
• Le GPU NVIDIA che, sebbene inizialmente progettate per l'elaborazione grafica, sono progettate per consentire l'elaborazione parallela, che può significativamente aumenta la velocità di elaborazione.

accuracy

Il numero di previsioni di classificazione corrette diviso per il numero totale di previsioni. Ossia:

Ad esempio, un modello che ha effettuato 40 previsioni corrette e 10 sbagliate avrebbe un'accuratezza pari a:

La classificazione binaria fornisce nomi specifici per le diverse categorie di previsioni corrette e previsioni errate. Pertanto, la formula di accuratezza per la classificazione binaria è la seguente:

dove:

• TP è il numero di veri positivi (previsioni corrette).
• TN indica il numero di veri negativi (previsioni corrette).
• FP è il numero di falsi positivi (previsioni errate).
• FN indica il numero di falsi negativi (previsioni errate).

Confronta e contrapponi l'accuratezza con precisione e richiamo.

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

Per ulteriori informazioni, consulta Classificazione: accuratezza, richiamo, precisione e metriche correlate nel corso introduttivo al machine learning.

azione

Nel apprendimento per rinforzo, il meccanismo mediante il quale l'agente transizioni tra gli stati del ambiente. L'agente sceglie l'azione utilizzando un norme.

funzione di attivazione

Una funzione che consente alle reti neurali di apprendere relazioni non lineari (complesse) tra le caratteristiche e l'etichetta.

Le funzioni di attivazione più utilizzate includono:

• ReLU
• Sigmoide

I grafici delle funzioni di attivazione non sono mai linee rette singole. Ad esempio, il grafico della funzione di attivazione ReLU è costituito da due linee rette:

Un grafico della funzione di attivazione sigmoidea ha il seguente aspetto:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Per saperne di più, consulta Reti neurali: funzioni di attivazione nel corso introduttivo al machine learning.

apprendimento attivo

Un approccio di formazione in cui algoritmo sceglie alcuni dei dati da cui apprende. L'apprendimento attivo è particolarmente utile quando gli esempi etichettati sono scarsi o costosi da ottenere. Invece di cercare alla cieca un'esperienza di esempi etichettati, un algoritmo di apprendimento attivo cerca selettivamente gli esempi specifici di cui hanno bisogno per l'apprendimento.

AdaGrad

Un sofisticato algoritmo di discesa del gradiente che riscala i gradienti di ciascun parametro, assegnando a ciascun parametro un'velocità di apprendimento indipendente. Per una spiegazione completa, vedi questo articolo di AdaGrad.

agente

Nell'apprendimento per rinforzo, l'entità che utilizza un regolamento per massimizzare il ritorno previsto ottenuto dalla transizione tra stati dell' ambiente.

Più in generale, un agente è un software che pianifica ed esegue autonomamente una serie di azioni al fine di raggiungere un obiettivo, con la capacità di adattarsi alle variazioni del suo ambiente. Ad esempio, un agente basato su LLM potrebbe utilizzare un LLM per generare un piano anziché applicare un criterio di apprendimento tramite rinforzo.

clustering agglomerativo

Consulta la sezione relativa al clustering gerarchico.

rilevamento di anomalie

Il processo di identificazione degli outlier. Ad esempio, se la media per una determinata caratteristica è 100 con una deviazione standard di 10, il rilevamento di anomalie dovrebbe segnalare un valore pari a 200 come sospetto.

AR

Abbreviazione di realtà aumentata.

area sotto la curva PR

Consulta la sezione AUC PR (area sotto la curva PR).

area sotto la curva ROC

Consulta AUC (area sotto la curva ROC).

intelligenza artificiale generale

Un meccanismo non umano che dimostra una vasta gamma di capacità di risoluzione dei problemi, creatività e adattabilità. Ad esempio, un programma che dimostri l'intelligenza generale artificiale potrebbe tradurre testo, comporre sinfonie e eccellere in giochi non ancora inventati.

intelligenza artificiale

Un modello o un programma non umano in grado di risolvere attività complesse. Ad esempio, un programma o modello che traduce un testo, oppure un programma o modello che identifica le malattie dalle immagini radiologiche entrambi esibiscono intelligenza artificiale.

formalmente, il machine learning è un campo secondario dell'intelligenza l'intelligenza artificiale. Tuttavia, negli ultimi anni alcune organizzazioni hanno iniziato a utilizzare i termini intelligenza artificiale e machine learning in modo intercambiabile.

Attention,

Meccanismo utilizzato in una rete neurale che indica l'importanza di una particolare parola o parte di una parola. L'attenzione si comprime la quantità di informazioni di cui un modello ha bisogno per prevedere il token/la parola successiva. Un tipico meccanismo di attenzione può essere costituito somma ponderata in un insieme di input, in cui la La ponderazione di ogni input viene calcolata da un'altra parte del neurali profonde.

Fai riferimento anche all'auto-attenzione e l'auto-attenzione multi-testa, che sono i componenti di base dei Transformer.

Vedi LLM: che cos'è una grande lingua modello? in Machine Learning Crash Course per ulteriori informazioni sull'auto-attenzione.

attributo

Sinonimo di feature.

Nell'equità del machine learning, gli attributi spesso si riferiscono alle caratteristiche degli individui.

campionamento degli attributi

Una tattica per addestrare una foresta decisionale in cui ogni L'albero decisionale prende in considerazione solo un sottoinsieme casuale di possibili features durante l'apprendimento della condizione. In genere, viene campionato un sottoinsieme diverso di funzionalità per ogni nodo. Al contrario, quando addestra un albero decisionale senza campionamento degli attributi, vengono prese in considerazione tutte le possibili caratteristiche per ciascun nodo.

AUC (area sotto la curva ROC)

Un numero compreso tra 0,0 e 1,0 che rappresenta la capacità di un modello di classificazione binaria di separare le classi positive dalle classi negative. Più l'AUC è vicino a 1,0, migliore è la capacità del modello di separare le classi.

Ad esempio, la seguente illustrazione mostra un modello di classificazione che separa perfettamente le classi positive (ovali verdi) dalle classi negative (rettangoli viola). Questo modello non realisticamente perfetto ha una AUC di 1,0:

Al contrario, la seguente illustrazione mostra i risultati di un modello di classificazione che ha generato risultati casuali. Questo modello ha un AUC pari a 0,5:

Sì, il modello precedente ha un'AUC di 0,5, non di 0,0.

La maggior parte dei modelli si trova a metà tra i due estremi. Ad esempio, il seguente modello separa in qualche modo i positivi e i negativi, quindi ha un'AUC compresa tra 0,5 e 1,0:

L'AUC ignora qualsiasi valore impostato soglia di classificazione. Invece, l'AUC prende in considerazione tutte le possibili soglie di classificazione.

Per ulteriori informazioni, consulta Classificazione: ROC e AUC nel corso introduttivo al machine learning.

realtà aumentata

Una tecnologia che sovrappone un'immagine generata dal computer alla vista dell'utente del del mondo reale, fornendo così una vista composita.

autoencoder

Un sistema che impara a estrarre le informazioni più importanti di testo. I codificatori automatici sono una combinazione di un encoder e decoder. I codificatori automatici si basano sul seguente processo in due passaggi:

1. L'encoder mappa l'input a una dimensione (solitamente) con perdita di dati (intermedio).
2. Il decodificatore crea una versione con perdita dell'input originale mappando il formato di dimensioni inferiori al formato di input originale di dimensioni superiori.

Gli autoencoder vengono addestrati end-to-end facendo in modo che il decoder provi a ricostruisci l'input originale a partire dal formato intermedio dell'encoder il più vicino possibile. Poiché il formato intermedio è più piccolo (dimensioni inferiori) rispetto al formato originale, l'autoencoder viene forzato per capire quali informazioni nell'input sono essenziali e l'output non perfettamente identica all'input.

Ad esempio:

• Se i dati di input sono un'immagine, la copia non esatta sarà simile all'immagine originale, ma leggermente modificata. Forse la copia non esatta rimuove rumore dall'immagine originale o riempie alcuni pixel mancanti.
• Se i dati di input sono di tipo testo, un autoencoder genererà un nuovo testo che imita (ma non è identico) al testo originale.

Vedi anche autoencoder variazionali.

bias di automazione

Quando un responsabile delle decisioni umano favorisce i consigli forniti da un decisionale basato sulle informazioni ottenute senza automazione, quando il sistema decisionale automatizzato commette errori.

Per saperne di più, consulta Equità: tipi di bias nel corso introduttivo al machine learning.

AutoML

Qualsiasi processo automatizzato per la creazione di modelli di machine learning . AutoML può eseguire automaticamente attività come:

• Cerca il modello più appropriato.
• Ottimizza gli iperparametri.
• Prepara i dati (inclusa l'applicazione del feature engineering).
• Eseguire il deployment del modello risultante.

AutoML è utile per i data scientist perché può far risparmiare tempo e impegno nello sviluppo di pipeline di machine learning e migliorare l'accuratezza delle previsioni. È utile anche per i non esperti, perché rende più accessibili le complesse attività di machine learning.

Per saperne di più, consulta Machine Learning automatizzato (AutoML) nel Machine Learning Crash Course.

modello autoregressivo

Un modello che deduce una previsione in base al proprio modello precedente per le previsioni. Ad esempio, i modelli linguistici autoregressivi prevedono il prossimo token in base ai token previsti in precedenza. Tutti i modelli linguistici di grandi dimensioni basati su Transformer sono autoregressivi.

Al contrario, i modelli di immagine basati su GAN di solito non sono autoregressivi poiché generano un'immagine in un singolo progresso in avanti e non iterativamente passaggi. Tuttavia, alcuni modelli di generazione delle immagini sono autoregressivi in quanto generano un'immagine in passaggi.

perdita ausiliaria

Una funzione di perdita, utilizzata insieme a una Principale della rete neurale del modello funzione di perdita, che consente di accelerare l'addestramento durante le prime iterazioni quando le ponderazioni vengono inizializzate in modo casuale.

Le funzioni di perdita ausiliarie trasmettono gradienti efficaci ai livelli precedenti. Questo facilita convergenza durante l'addestramento affrontando il problema di scomparsa del gradiente.

precisione media

Una metrica per riepilogare il rendimento di una sequenza di risultati classificata. La precisione media viene calcolata prendendo la media del i valori di precision per ogni risultato pertinente (ciascuno ha come risultato l'elenco classificato in cui il richiamo aumenta rispetto al risultato precedente).

Vedi anche Area sotto la curva PR.

condizione allineata all'asse

In un albero decisionale, una condizione che riguarda una sola caratteristica. Ad esempio, se l'area è una caratteristica, la seguente è una condizione allineata all'asse:

area > 200

Contrasta la condizione obliqua.

B

retropropagazione dell'errore

L'algoritmo che implementa discesa del gradiente in reti neurali.

L'addestramento di una rete neurale prevede molte iterazioni del seguente ciclo a due passaggi:

1. Durante il passaggio in avanti, il sistema elabora un batch di esempi per generare una o più previsioni. Il sistema confronta ogni la previsione per ogni valore dell'etichetta. La differenza tra la previsione e il valore dell'etichetta è la perdita per quell'esempio. Il sistema aggrega le perdite di tutti gli esempi per calcolare la perdita totale per il batch corrente.
2. Durante il passaggio all'indietro (backpropagation), il sistema riduce la perdita modificando i pesi di tutti i neuroni in tutti i strati nascosti.

Le reti neurali spesso contengono molti neuroni in molti strati nascosti. Ciascuno di questi neuroni contribuisce alla perdita complessiva in modi diversi. La retropropagazione determina se aumentare o diminuire i pesi applicati a determinati neuroni.

Il tasso di apprendimento è un moltiplicatore che controlla il grado in cui ogni passaggio all'indietro aumenta o diminuisce ogni peso. Un tasso di apprendimento elevato aumenta o diminuisce ogni peso di più di una un tasso di apprendimento ridotto.

In termini di calcolo, la retropropagazione implementa la regola della catena. del calcolo. In altre parole, la retropropagazione calcola la derivata parziale dell'errore rispetto a ciascun parametro.

Anni fa, i professionisti del machine learning dovevano scrivere codice per implementare la retropropagazione. Le API ML moderne come Keras ora implementano la retropropagazione per te. Finalmente.

Vedi Reti neurali in Machine Learning Crash Course.

bagging

Un metodo per addestrare un ensemble in cui ogni il modello del componente viene addestrato su un sottoinsieme casuale di esempi campionati con sostituzione. Ad esempio, una foresta casuale è una raccolta di alberi decisionali addestrati con il bagging.

Il termine bagging è l'abbreviazione di bootstrap aggregating.

Vedi Forestelle casuali nel corso sulle foreste decisionali per ulteriori informazioni.

bag of words

Una rappresentazione delle parole in una frase o in un passaggio, a prescindere dall'ordine. Ad esempio, il bag of words rappresenta le seguenti tre frasi in modo identico:

• il cane salta
• fa saltare il cane
• cane salta

Ogni parola è mappata a un indice di un vettore sparso, dove il vettore ha un indice per ogni parola del vocabolario. Ad esempio: la frase il cane salta è mappata in un vettore di caratteristiche con valore diverso da zero ai tre indici corrispondenti alle parole the, dog e salti. Il valore diverso da zero può essere uno dei seguenti:

• Un 1 per indicare la presenza di una parola.
• Un conteggio del numero di volte in cui una parola compare nel bag. Ad esempio, se la frase fosse il cane marrone è un cane con pelo marrone, sia marrone che cane verrebbero rappresentati come 2, mentre le altre parole come 1.
• Qualche altro valore, ad esempio il logaritmo del conteggio del numero di volte che una parola compare nel bag.

base di riferimento

Un modello utilizzato come punto di riferimento per confrontare il rendimento di un altro modello (in genere più complesso). Ad esempio, un modello di regressione logistica potrebbe essere un buon punto di riferimento per un modello di deep learning.

Per un problema specifico, la base aiuta gli sviluppatori di modelli a quantificare le prestazioni minime previste che un nuovo modello deve raggiungere perché sia utile.

batch

L'insieme di esempi utilizzati in un addestramento iterazione. La dimensione del batch determina il numero di esempi in un batch.

Consulta la sezione epocha per una spiegazione della relazione tra un batch e un'epoca.

Consulta Regressione lineare: Iperparametri in Machine Learning Crash Course.

inferenza batch

Il processo di deduzione di previsioni su più esempi non etichettati suddivisi in sottoinsiemi più piccoli ("batch").

L'inferenza batch può sfruttare le funzionalità di parallellizzazione dei chip di acceleratore. cioè più acceleratori possono dedurre contemporaneamente previsioni su diversi batch di degli esempi, aumentando drasticamente il numero di inferenze al secondo.

Consulta Sistemi di ML di produzione: statico e dinamico inferenza in Machine Learning Crash Course.

normalizzazione batch

Normalizzando l'input o l'output del funzioni di attivazione in un strato nascosto. La normalizzazione batch offrono i seguenti vantaggi:

• Rendi le reti neurali più stabili proteggendo rispetto ai pesi outlier.
• Attivare tassi di apprendimento più elevati, che possono un allenamento veloce.
• Ridurre l'overfitting.

dimensione del batch

Il numero di esempi in un batch. Ad esempio, se la dimensione del batch è 100, il modello elabora 100 esempi per iterazione.

Di seguito sono riportate le strategie più comuni per la dimensione dei batch:

• Stochastic Gradient Descent (SGD), con dimensione del batch pari a 1.
• Batch completo, in cui la dimensione del batch è il numero di esempi nell'intero set di addestramento. Ad esempio, se l'insieme di addestramento contiene un milione di esempi, la dimensione del batch sarà di un milione di esempi. Generalmente, l'intero batch è una strategia inefficiente.
• mini-batch in cui la dimensione del batch di solito è compresa 10 e 1000. In genere, la strategia più efficiente è quella dei mini-batch.

Per ulteriori informazioni, consulta quanto segue:

• Sistemi di ML di produzione: statici e dinamici inferenza in Machine Learning Crash Course.
• Playbook sull'ottimizzazione del deep learning.

Rete neurale bayesiana

Una rete neurale probabilistica che tiene conto dell'incertezza nei pesi e negli output. Una rete neurale standard il modello di regressione in genere prevede un valore scalare; Ad esempio, un modello standard prevede il prezzo di una casa 853.000. Al contrario, una rete neurale bayesiana prevede una distribuzione di valori. Ad esempio, un modello bayesiano prevede un prezzo di una casa di 853.000 con una deviazione standard di 67.200.

Una rete neurale bayesiana si basa sul teorema di Bayes per calcolare le incertezze nelle ponderazioni e nelle previsioni. Una rete neurale bayesiana può essere utile quando è importante quantificare l'incertezza, ad esempio nei modelli relativi ai prodotti farmaceutici. Le reti neurali bayesiane possono anche contribuire a evitare il sovraffittamento.

Ottimizzazione bayesiana

Una tecnica di modello di regressione probabilistica per ottimizzare le funzioni oggettive di calcolo costoso ottimizzando invece un surrogato che quantifica l'incertezza utilizzando una tecnica di apprendimento bayesiana. Poiché l'ottimizzazione bayesiana è molto costosa, in genere viene utilizzata per ottimizzare attività di valutazione complesse che hanno un numero ridotto di parametri, come la selezione degli iperparametri.

Equazione di Bellman

Nell'apprendimento per rinforzo, la seguente identità è soddisfatta dalla definizione Funzione Q:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

Gli algoritmi di apprendimento per rinforzo applicano questo identità per creare il Q-learning tramite la seguente regola di aggiornamento:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

Oltre all'apprendimento per rinforzo, l'equazione di Bellman ha applicazioni programmazione dinamica. Consulta la voce di Wikipedia sull'equazione di Bellman.

BERT (Bidirectional Encoder rappresentazioni dei trasformatori)

Un'architettura modello per la rappresentazione del testo. Un modello BERT addestrato può essere parte di un modello più grande per la classificazione del testo o altre attività di ML.

BERT presenta le seguenti caratteristiche:

• Utilizza l'architettura Transformer e, pertanto, si basa sull'auto-attenzione.
• Utilizza la parte di codifica del Transformer. Il compito dell'encoder consiste nel produrre buone rappresentazioni di testo, piuttosto che eseguire una specifica come la classificazione.
• È bidirezionale.
• Utilizza il mascheramento per l'addestramento non supervisionato.

Le varianti di BERT includono:

• ALBERT, che è un acronimo di A Light BERT.
• LaBSE.

Per una panoramica di BERT, consulta Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing.

bias (etica/equità)

1. Stereotipi, pregiudizi o pregiudizi nei confronti di alcune cose, persone o gruppi rispetto ad altri. Questi bias possono influire sulla raccolta e sull'interpretazione dei dati, sulla progettazione di un sistema e sul modo in cui gli utenti interagiscono con un sistema. Le forme di questo tipo di bias includono:

• bias di automazione
• differenziazione di conferma
• pregiudizi dell'sperimentatore
• bias di attribuzione di gruppo
• pregiudizi impliciti
• bias in-group
• bias di omogeneità fuori gruppo

2. Errore sistematico introdotto da una procedura di campionamento o di reporting. Le forme di questo tipo di bias includono:

• bias di copertura
• bias di mancata risposta
• bias di partecipazione
• Bias di segnalazione
• bias di campionamento
• bias di selezione

Da non confondere con il termine di bias nei modelli di machine learning o bias di previsione.

Per ulteriori informazioni, consulta la sezione Equità: tipi di bias nel capitolo introduttivo al machine learning.

bias (matematico) o termine bias

Un'intercetta o un offset da un'origine. Il bias è un parametro dei modelli di machine learning, simboleggiato da uno dei seguenti elementi:

• b
• w₀

Ad esempio, la bias è b nella seguente formula:

In una semplice linea bidimensionale, il bias significa semplicemente "intercetta y". Ad esempio, la parzialità della linea nell'illustrazione seguente è 2.

Il bias esiste perché non tutti i modelli partono dall'origine (0,0). Ad esempio: supponiamo che l'ingresso a un parco divertimenti costi 2 euro e una 0,5 € per ogni ora di soggiorno del cliente. Di conseguenza, un modello che mappa il costo totale è di 2 perché il costo più basso è di 2 euro.

I pregiudizi non devono essere confusi con i pregiudizi etici e corretti o bias di previsione.

Per saperne di più, consulta la sezione Regressione lineare nel corso introduttivo al machine learning.

bidirezionale

Termine utilizzato per descrivere un sistema che valuta il testo che precede e segue una sezione di testo target. Al contrario, un solo sistema unidirezionale valuta il testo che precede una sezione di testo di destinazione.

Ad esempio, considera un modello linguistico con maschera che deve determinare le probabilità per la parola o le parole che rappresentano il tratto sottolineato nella seguente domanda:

Cosa _____ con te?

Un modello linguistico unidirezionale dovrebbe basare le sue probabilità solo sul contesto fornito dalle parole "Che cosa", "è" e "il". Al contrario, un modello linguistico bidirezionale potrebbe anche acquisire il contesto da "con" e "tu", il che potrebbe aiutare il modello a generare previsioni migliori.

modello linguistico bidirezionale

Un modello linguistico che determina la probabilità che un determinato token sia presente in una determinata posizione in un estratto di testo in base al testo precedente e successivo.

bigramma

Un n-gramma in cui N=2.

classificazione binaria

Un tipo di attività di classificazione che predittivo una di due classi mutuamente esclusive:

• la classe positiva
• la classe negativa

Ad esempio, ognuno dei due modelli di machine learning seguenti per la classificazione binaria:

• Un modello che determina se i messaggi email sono spam (la classe positiva) o non spam (la classe negativa).
• Un modello che valuta i sintomi medici per determinare se una persona presenta una particolare patologia (la classe positiva) o non presenta questa patologia malattia (la classe negativa).

È diverso dalla classificazione multiclasse.

Vedi anche regressione logistica e soglia di classificazione.

Consulta la sezione Classificazione in Machine Learning Crash Course.

condizione binaria

In un albero decisionale, una condizione che ha solo due possibili risultati, in genere sì o no. Ad esempio, la seguente è una condizione binaria:

temperature >= 100

È il contrario della condizione non binaria.

Vedi Tipi di condizioni nel corso sulle foreste decisionali per ulteriori informazioni.

Binning

Sinonimo di bucketing.

BLEU (Bilingual Evaluation Understudy)

Un punteggio compreso tra 0,0 e 1,0 inclusi, che indica la qualità di una traduzione tra due lingue umane (ad esempio tra inglese e russo). Un punteggio BLEU di 1,0 indica una traduzione perfetta; un punteggio BLEU di 0,0 indica una traduzione terribile.

potenziamento

Una tecnica di machine learning che combina in modo iterativo un insieme di classificatori semplici e non molto accurati (chiamati classificatori "deboli") in un classificatore con elevata precisione (un classificatore "forte") assegnando un peso maggiore agli esempi che il modello attualmente classifica erroneamente.

Vedi Gradient Boosted Decision Alberi? nel corso sulle foreste decisionali per ulteriori informazioni.

riquadro di delimitazione

In un'immagine, le coordinate (x, y) di un rettangolo intorno a un'area di come il cane nell'immagine qui sotto.

trasmissione

Espansione della forma di un operando in un'operazione matematica matriciale in dimensioni compatibili per l'operazione. Ad esempio, la algebra lineare richiede che i due operandi in un'operazione di somma di matrici devano avere le stesse dimensioni. Di conseguenza non puoi aggiungere una matrice di forma (m, n) a un vettore di lunghezza n. La trasmissione abilita questa operazione espandere virtualmente il vettore di lunghezza n a una matrice di forma (m, n) di replicando gli stessi valori in ogni colonna.

Ad esempio, date le definizioni seguenti, l'algebra lineare vieta A+B perché A e B hanno dimensioni diverse:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

Tuttavia, la trasmissione consente l'operazione A+B espandendo virtualmente B in:

 [[2, 2, 2],
  [2, 2, 2]]

Pertanto, A+B è ora un'operazione valida:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

Vedi la seguente descrizione trasmissione in NumPy per ulteriori dettagli.

il bucketing

Conversione di una singola funzionalità in più funzionalità binarie chiamate bucket o bin, tipicamente basate su un intervallo di valori. La caratteristica suddivisa è in genere una funzionalità continua.

Ad esempio, invece di rappresentare la temperatura come un singolo funzione rappresentazione in virgola mobile continua, potresti tagliare intervalli di temperature in bucket discreti come:

• <= 10 gradi Celsius è il bucket "freddo".
• 11-24 gradi Celsius sarebbe la temperatura "temperata" di sincronizzare la directory di una VM con un bucket.
• >= 25 gradi Celsius è la temperatura "calda" di sincronizzare la directory di una VM con un bucket.

Il modello tratterà in modo identico tutti i valori nello stesso bucket. Per Ad esempio, i valori 13 e 22 si trovano entrambi nel bucket temperato, quindi tratta i due valori in modo identico.

Per ulteriori informazioni, consulta Dati numerici: gruppi nel corso introduttivo al machine learning.

C

livello di calibrazione

Un aggiustamento post-previsione, in genere per tenere conto del bias di previsione. Le probabilità e le predizioni aggiustate devono corrispondere alla distribuzione di un insieme di etichette osservato.

generazione di candidati

L'insieme iniziale di consigli scelti da un sistema di consigli. Ad esempio, considera una libreria che offre 100.000 titoli. La fase di generazione dei candidati crea un elenco molto più piccolo di libri adatti per un determinato utente, ad esempio 500. Tuttavia, anche 500 libri sono troppi da consigliare a un utente. In seguito, più costoso, fasi di un sistema di suggerimenti (come il punteggio e riclassificazione) riduci a molto meno questi 500, insieme di consigli più utili.

Per ulteriori informazioni, consulta la Panoramica della generazione di candidati nel corso sui sistemi di raccomandazione.

campionamento dei candidati

Un'ottimizzazione dei tempi di addestramento che calcola una probabilità per tutte le Etichette positive, utilizzando, ad esempio, softmax, ma solo per un intervallo campione di etichette negative. Ad esempio, dato un esempio etichettato come beagle e cane, il campionamento dei candidati calcola le probabilità previste e i termini di perdita corrispondenti per:

• beagle
• cane
• un sottoinsieme casuale delle classi negative rimanenti (ad es. gatto, lecca-lecca, recinzione).

L'idea è che Le classi escluse possono apprendere da una frequenza meno frequente rinforzo negativo purché Le classi positive ricevono sempre un numero positivo adeguato il rafforzamento, che è effettivamente osservato empiricamente.

Il campionamento dei candidati è più efficiente dal punto di vista computazionale rispetto agli algoritmi di addestramento che calcolano le previsioni per tutte le classi negative, in particolare quando il numero di classi negative è molto elevato.

dati categorici

Caratteristiche con un insieme specifico di valori possibili. Ad esempio, consideriamo un attributo categorico denominato traffic-light-state, che può avere solo uno dei seguenti tre valori possibili:

• red
• yellow
• green

Rappresentando traffic-light-state come caratteristica categorica, un modello può apprendere impatti diversi di red, green e yellow sul comportamento del conducente.

Le caratteristiche categoriche vengono a volte chiamate caratteristiche discrete.

È diverso dai dati numerici.

Per ulteriori informazioni, consulta la sezione Utilizzo dei dati categorici nel corso introduttivo al machine learning.

modello linguistico causale

Sinonimo di modello linguistico unidirezionale.

Consulta il modello linguistico bidirezionale per i diversi approcci direzionali nella modellazione linguistica.

baricentro

Il centro di un cluster determinato da un algoritmo k-means o k-mediana. Ad esempio, se k è 3, l'algoritmo k-means o k-median trova 3 centroidi.

Per saperne di più, consulta la sezione Algoritmi di clustering nel corso Clustering.

Clustering basato su centroidi

Una categoria di algoritmi di clustering che organizzano i dati in cluster non gerarchici. K-means è l'algoritmo di clustering basato su centroidi più utilizzato.

A differenza degli algoritmi di clustering gerarchico.

Per saperne di più, consulta la sezione Algoritmi di clustering nel corso Clustering.

Chain-of-Thought Prompting

Una tecnica di prompt engineering che incoraggia un modello linguistico di grandi dimensioni (LLM) per spiegare la sua il ragionamento, passo dopo passo. Ad esempio, considera il seguente prompt, prestando particolare attenzione alla seconda frase:

Quante forze g vengono sperimentate da un conducente in un'auto che passa da 0 a 96 km/h in 7 secondi? Nella risposta, mostra tutti i calcoli pertinenti.

La risposta dell'LLM sarebbe probabilmente:

• Mostra una sequenza di formule di fisica, inserendo i valori 0, 60 e 7 nei punti appropriati.
• Spiega perché ha scelto queste formule e il significato delle varie variabili.

La Chain-of-Thought Prompting costringe l'LLM a eseguire tutti i calcoli, che potrebbero portare a una risposta più corretta. Inoltre, la "catena di pensiero" consente all'utente di esaminare i passaggi dell'LLM per determinare se o meno la risposta abbia senso.

chat

I contenuti di un dialogo con un sistema di ML, in genere un modello linguistico di grandi dimensioni. L'interazione precedente in una chat (ciò che hai digitato e la risposta del modello linguistico di grandi dimensioni) diventa il contesto per le parti successive della chat.

Un chatbot è un'applicazione di un modello linguistico di grandi dimensioni (LLM).

posto di blocco

Dati che acquisiscono lo stato dei parametri di un modello durante o al termine dell'addestramento. Ad esempio, durante l'addestramento, puoi:

1. Interrompere l'addestramento, magari intenzionalmente o forse in seguito a alcuni errori.
2. Acquisisci il checkpoint.
3. In seguito ricarica il checkpoint, possibilmente su hardware diverso.
4. Riavvia addestramento.

classe

Una categoria a cui può appartenere un'etichetta. Ad esempio:

• In un modello di classificazione binaria che rileva spam, le due classi potrebbero essere spam e non spam.
• In un modello di classificazione multi-classe che identificano le razze canine, le classi possono essere barboncini, beagle, carlini, e così via.

Un modello di classificazione prevede una classe. Al contrario, un modello di regressione prevede un numero anziché una classe.

Consulta la sezione Classificazione in Machine Learning Crash Course.

modello di classificazione

Un modello la cui previsione è una classe. Ad esempio, di seguito sono riportati tutti i modelli di classificazione:

• Un modello che prevede la lingua di una frase di input (francese? Spagnolo? l'italiano?).
• Un modello che prevede le specie di alberi (acero? Rovere? Baobab?).
• Un modello che prevede la classe positiva o negativa per una determinata condizione medica.

Al contrario, i modelli di regressione prevedono numeri piuttosto che classi.

Due tipi comuni di modelli di classificazione sono:

• classificazione binaria
• classificazione multiclasse

soglia di classificazione

In una classificazione binaria, una numero compreso tra 0 e 1 che converte l'output non elaborato di un Modello di regressione logistica in una previsione della classe positiva o la classe negativa. Tieni presente che la soglia di classificazione è un valore scelto da un essere umano, non è un valore scelto dall'addestramento del modello.

Un modello di regressione logistica restituisce un valore non elaborato compreso tra 0 e 1. Quindi:

• Se questo valore non elaborato è superiore alla soglia di classificazione, viene prevista la classe positiva.
• Se questo valore non elaborato è inferiore alla soglia di classificazione, viene prevista la classe negativa.

Ad esempio, supponiamo che la soglia di classificazione sia 0,8. Se il valore non elaborato è 0,9, il modello prevede la classe positiva. Se il valore non elaborato è 0,7, il modello prevede la classe negativa.

La scelta della soglia di classificazione influisce notevolmente sul numero di falsi positivi e falsi negativi.

Consulta Soglie e confusione una matrice in Machine Learning Crash Course.

set di dati sbilanciato per classe

Un set di dati per un problema di classificazione in cui il numero totale di etichette di ogni classe è molto diverso. Ad esempio, prendiamo un set di dati di classificazione binaria le cui due etichette sono suddivise come segue:

• 1.000.000 di etichette escluse
• 10 etichette positive

Il rapporto tra etichette negative e positive è 100.000 a 1, quindi questo è un set di dati di tipo sbilanciato delle classi.

Al contrario, il seguente set di dati non presenta uno sbilanciamento delle classi perché il rapporto tra etichette negative ed etichette positive è relativamente vicino a 1:

• 517 etichette escluse
• 483 etichette positive

Anche i set di dati con più classi possono essere sbilanciati. Ad esempio, il set di dati di classificazione multiclasse è anch'esso sbilanciato dalle classi perché un'etichetta contiene molti più esempi rispetto agli altri due:

• 1.000.000 etichette con la classe "verde"
• 200 etichette con la classe "purple"
• 350 etichette con la classe "arancione"

Vedi anche entropia, classe di maggioranza, e classe di minoranza.

clipping

Una tecnica per gestire gli outlier mediante una o entrambe le seguenti opzioni:

• Ridurre i valori di feature superiori a un valore massimo fino alla soglia massima.
• Aumento dei valori delle caratteristiche che sono inferiori a una soglia minima fino a quel momento una soglia minima.

Ad esempio, supponiamo che <0,5% dei valori di una particolare caratteristica rientri al di fuori dell'intervallo 40-60. In questo caso, potresti procedere nel seguente modo:

• Taglia tutti i valori superiori a 60 (la soglia massima) in modo che siano esattamente 60.
• Ritaglia tutti i valori inferiori a 40 (la soglia minima) in modo che siano esattamente 40.

I valori anomali possono danneggiare i modelli, a volte causando ponderazioni durante l'addestramento. Alcuni outlier possono anche danneggiare significativamente come la accuratezza. Il clipping è una tecnica comune per limitare i danni.

Forze taglio della sfumatura valori del gradiente entro un intervallo designato durante l'addestramento.

Consulta la sezione Dati numerici: Normalizzazione in Machine Learning Crash Course.

Cloud TPU

Un acceleratore hardware specializzato progettato per accelerare carichi di lavoro di machine learning su Google Cloud.

clustering

Raggruppare esempi correlati, in particolare durante l'apprendimento non supervisionato. Una volta raggruppati tutti gli esempi, una persona può facoltativamente assegnare un significato a ogni cluster.

Esistono molti algoritmi di clustering. Ad esempio, l'algoritmo k-means agrupa gli esempi in base alla loro vicinanza a un centroide, come nel seguente diagramma:

Un ricercatore umano potrebbe quindi esaminare i cluster e, ad esempio, etichettare il cluster 1 come "alberi nani" e il cluster 2 come "alberi di dimensioni standard".

Come altro esempio, prendiamo in considerazione un algoritmo di clustering basato sulla distanza di un esempio da un punto centrale, illustrato come segue:

Per ulteriori informazioni, consulta il corso sul clustering.

co-adattamento

Quando i neuroni prevedono modelli nei dati di addestramento basandosi quasi esclusivamente sugli output di altri specifici neuroni, invece di fare affidamento sul comportamento della rete nel suo complesso. Quando gli schemi che causano la co-adattazione non sono presenti nei dati di convalida, la co-adattazione causa un adattamento eccessivo. La regolarizzazione con dropout riduce la co-adattazione perché il dropout garantisce che i neuroni non possano fare affidamento esclusivamente su altri neuroni specifici.

Filtro collaborativo

Effettuare previsioni sugli interessi di un utente in base agli interessi di molti altri utenti. Il filtraggio collaborativo viene spesso utilizzato nei sistemi di consigli.

Per saperne di più, consulta la sezione Filtro collaborativo nel corso sui sistemi di raccomandazione.

Spostamento del concetto

Uno spostamento nella relazione tra caratteristiche ed etichetta. Nel tempo, la deviazione concettuale riduce la qualità di un modello.

Durante l'addestramento, il modello apprende la relazione tra le caratteristiche e le relative etichette nel set di addestramento. Se le etichette nel set di addestramento sono buoni proxy per il mondo reale, il modello dovrebbe fare buone previsioni nel mondo reale. Tuttavia, a causa della deviazione concettuale, il modello le previsioni tendono a peggiorare nel tempo.

Ad esempio, considera una classificazione binaria modello di auto che preveda se un determinato modello di auto è "a basso consumo". In altre parole, le caratteristiche potrebbero essere:

• peso dell'auto
• compressione del motore
• transmission type

mentre l'etichetta è:

• a basso consumo di carburante
• non a basso consumo di carburante

Tuttavia, il concetto di "auto a basso consumo di carburante" continua a cambiare. Un modello di auto etichettato come a basso consumo di carburante nel 1994 verrebbe quasi certamente etichettato come a elevato consumo di carburante nel 2024. Un modello che soffre di deriva del concetto tende a fare previsioni sempre meno utili nel tempo.

Confronta e contrapponi con la non stazionarietà.

condizione

In un albero decisionale, qualsiasi nodo che valuta un'espressione. Ad esempio, la seguente parte di un albero decisionale contiene due condizioni:

Una condizione è chiamata anche suddivisione o test.

Contrasta la condizione con foglia.

Vedi anche:

• condizione binaria
• condizione non binaria.
• axis-aligned-condition
• condizione-obliqua

Per ulteriori informazioni, consulta la sezione Tipi di condizioni nel corso Foreste di decisione.

confabulazione

Sinonimo di allucinazione.

Confabulazione è probabilmente un termine più preciso dal punto di vista tecnico dell'allucinazione. Tuttavia, l'allucinazione è diventata popolare per prima.

configurazione

La procedura di assegnazione dei valori iniziali delle proprietà utilizzati per addestrare un modello, tra cui:

• i livelli di composizione del modello
• la posizione dei dati
• iperparametri come:
  • tasso di apprendimento
  • iterazioni
  • ottimizzatore
  • funzione di perdita

Nei progetti di machine learning, la configurazione può essere eseguita tramite un file di configurazione speciale o utilizzando librerie di configurazione come le seguenti:

• HParam
• Gin
• Fiddle

bias di conferma

La tendenza a cercare, interpretare, favorire e ricordare le informazioni in un che confermi le convinzioni o le ipotesi preesistenti. Gli sviluppatori di machine learning potrebbero raccogliere o etichettare inavvertitamente i dati in modo da influenzare un risultato che supporti le loro convinzioni esistenti. Il bias di conferma è una forma di pregiudizio implicito.

Il bias dell'esperimento è una forma di bias di conferma, in cui uno sperimentatore continua ad addestrare i modelli finché ipotesi è confermata.

matrice di confusione

Una tabella NxN che riassume il numero di previsioni corrette ed errate effettuate da un modello di classificazione. Ad esempio, considera la seguente matrice di confusione per un modello di classificazione binaria:

La matrice di confusione precedente mostra quanto segue:

• Delle 19 previsioni in cui i dati empirici reali riguardavano Tumor, il modello è classificato correttamente 18 e classificato in modo errato 1.
• Delle 458 previsioni in cui il valore basato su dati empirici reali era Non-Tumor, il modello ha classificato correttamente 452 e erroneamente 6.

La matrice di confusione per un problema di classificazione multiclasse può aiutarti a identificare schemi di errori. Ad esempio, considera la seguente matrice di confusione per un modello di classificazione multiclasse a 3 classi che classifica tre diversi tipi di iris (Virginica, Versicolor e Setosa). Quando la verità di fondo fu Virginica, la matrice di confusione mostra che il modello era molto più propenso a generare prevedere Versicolor anziché Setosa:

Un altro esempio è che una matrice di confusione potrebbe rivelare che un modello addestrato a riconoscere le cifre scritte a mano libera tende a prevedere erroneamente 9 anziché 4, o prevedere erroneamente 1 invece di 7.

Le matrici di confusione contengono informazioni sufficienti per calcolare una serie di metriche delle prestazioni, tra cui la precisione e richiamo.

analisi del collegio elettorale

Suddivisione di una frase in strutture grammaticali più piccole ("componenti"). Una parte successiva del sistema di ML, ad esempio un modello di comprensione del linguaggio naturale, può analizzare i costituenti più facilmente della frase originale. Ad esempio, considera la seguente frase:

Il mio amico ha adottato due gatti.

Un parser di costituenti può suddividere questa frase nei seguenti due costituenti:

• Il mio amico è una frase nominale.
• adopted two cats è una frase verbale.

Questi componenti possono essere ulteriormente suddivisi in componenti più piccoli. Ad esempio, la frase verbale

ha adottato due gatti

può essere ulteriormente suddiviso in:

• adopted è un verbo.
• due gatti è un'altra frase nominale.

Embedding del linguaggio contestualizzato

Un embedding che si avvicina alla "comprensione" di parole e frasi come farebbe un madrelingua. Linguaggio contestualizzato gli incorporamenti sono in grado di comprendere sintassi, semantica e contesto complessi.

Considera ad esempio le rappresentazioni distribuite della parola inglese cow. Incorporamenti meno recenti ad esempio word2vec può rappresentare l'inglese parole in modo che la distanza nello spazio di incorporamento da mucca a toro è simile alla distanza tra pecora (femmina) a ariete (maschio di pecora) o da femmina a maschio. Linguaggio contestualizzato gli incorporamenti possono fare un passo in più, riconoscendo che a volte gli anglofoni usare casualmente la parola mucca per indicare mucca o toro.

finestra di contesto

Il numero di token che un modello può elaborare in un determinato prompt. Maggiore è la finestra di contesto, più informazioni può utilizzare il modello per fornire risposte coerenti e coese al prompt.

funzione continua

Una caratteristica in virgola mobile con una gamma infinita di possibili come temperatura o peso.

Crea un contrasto con una funzionalità discreta.

campionamento di convenienza

Utilizzo di un set di dati non raccolto scientificamente per eseguire rapide esperimenti. In un secondo momento, è essenziale passare a un set di dati raccolto in modo scientifico.

convergenza

Uno stato raggiunto quando i valori di loss cambiano molto poco o per nulla con ogni iterazione. Ad esempio, la seguente curva di perdita suggerisce la convergenza a circa 700 iterazioni:

Un modello converge quando non serve addestramento aggiuntivo migliorare il modello.

Nel deep learning, a volte i valori di perdita rimangono costanti o quasi per molte iterazioni prima di diminuire definitivamente. Durante un lungo periodo di valori di perdita costanti, potresti avere temporaneamente un falso senso di convergenza.

Vedi anche interruzione anticipata.

Per ulteriori informazioni, consulta la sezione Convergenza del modello e curve di perdita nel corso introduttivo al machine learning.

funzione convessa

Una funzione in cui la regione sopra il grafico della funzione è una insieme convesso: La funzione convessa prototipica è a forma di qualcosa come la lettera U. Ad esempio, le seguenti sono tutte funzioni convesse:

Al contrario, la funzione seguente non è convessa. Nota che la regione sopra il grafico non è un insieme convesso:

Una funzione strettamente convessa ha esattamente un punto minimo locale, che è anche il punto minimo globale. Le funzioni classiche a forma di U sono funzioni strettamente convesse. Tuttavia, alcune funzioni convesse (ad esempio le linee rette) non hanno forma a U.

Per ulteriori informazioni, consulta la sezione Funzioni di convergenza e convesse nel corso introduttivo al machine learning.

ottimizzazione convessa

Il processo di utilizzo di tecniche matematiche come discesa del gradiente per trovare il minimo di una funzione convessa. Gran parte della ricerca nel machine learning si è concentrata sulla formulazione di vari problemi come problemi di ottimizzazione convessa e sulla loro risoluzione in modo più efficiente.

Per i dettagli completi, si veda Boyd e Vandenberghe, Convex Ottimizzazione.

insieme convesso

Un sottoinsieme dello spazio euclideo in modo che una linea tracciata tra due punti qualsiasi rimane completamente all'interno del sottoinsieme. Ad esempio, le seguenti due forme sono insiemi convessi:

Al contrario, le due forme seguenti non sono insiemi convessi:

convoluzione

In matematica, in modo casuale, un mix di due funzioni. Nella macchina di machine learning, una convoluzione mescola la convoluzione filtro e la matrice di input per addestrare le ponderazioni.

Il termine "convoluzione" nel machine learning è spesso un modo abbreviato per fare riferimento all'operazione di convoluzione o al livello di convoluzione.

Senza le convoluzioni, un algoritmo di machine learning dovrebbe apprendere un peso distinto per ogni cella di un grande tensore. Ad esempio, un algoritmo di machine learning addestrato su immagini 2K x 2K sarebbe costretto a trovare 4 milioni di pesi separati. Grazie alle convoluzioni, viene usata l'algoritmo deve trovare i pesi solo per ogni cella filtro convoluzionale, che riduce drasticamente la memoria necessaria per addestrare il modello. Quando viene applicato il filtro convoluzionale, viene semplicemente replicato nelle celle in modo che ciascuna venga moltiplicata per il filtro.

Consulta l'articolo Introduzione alla rete neurale convoluzionale Reti nel corso Classificazione delle immagini per ulteriori informazioni.

filtro convoluzionale

Uno dei due attori in una operazioni convoluzionali. L'altro attore è un'estrazione di una matrice di input. Un filtro convoluzionale è una matrice con lo stesso rango della matrice di input, ma di dimensioni inferiori. Ad esempio, data una matrice di input 28x28, il filtro può essere qualsiasi matrice 2D più piccolo di 28 x 28.

Nella manipolazione fotografica, tutte le celle di un filtro convoluzionale vengono in genere è impostato su uno schema costante di uno e zero. Nel machine learning, i filtri convoluzionali vengono generalmente avviati con numeri casuali e poi la rete li addestra ai valori ideali.

Vedi Convolution nel corso Classificazione delle immagini per ulteriori informazioni.

livello convoluzionale

Un livello di una rete neurale profonda in cui un filtro convoluzionale passa lungo un input . Ad esempio, considera il seguente filtro convoluzionale:

La seguente animazione mostra un livello convoluzionale di 9 le operazioni convoluzionali che coinvolgono la matrice di input 5x5. Tieni presente che ogni operazione di convoluzione agisce su un diverso segmento 3x3 della matrice di input. La matrice 3x3 risultante (a destra) è composta dai risultati delle 9 e operazioni convoluzionali:

Per saperne di più, consulta la sezione Livelli completamente connessi nel corso Classificazione delle immagini.

rete neurale convoluzionale

Una rete neurale in cui almeno uno strato è un strato convoluzionale. Una tipica rete neurale convolzionale è costituita da una combinazione dei seguenti livelli:

• livelli convoluzionali
• livelli di pooling
• Livelli densi

Le reti neurali convoluzionali hanno avuto un grande successo in determinati tipi di problemi, come il riconoscimento delle immagini.

operazione convoluzionale

La seguente operazione matematica in due passaggi:

1. Moltiplicazione elemento per elemento del filtro convoluzionale e di una fetta di una matrice di input. Il segmento della matrice di input ha lo stesso rango e le stesse dimensioni del filtro convoluzionale.
2. Somma di tutti i valori nella matrice del prodotto risultante.

Considera ad esempio la seguente matrice di input 5x5:

Ora immagina il seguente filtro convoluzionale 2 x 2:

Ogni operazione convoluzionale coinvolge una singola sezione 2x2 una matrice di input. Ad esempio, supponiamo di utilizzare il sezionamento 2x2 in alto a sinistra della matrice di input. Pertanto, l'operazione di convergenza su questo segmento è la seguente:

Un livello convoluzionale è costituito da un serie di operazioni convoluzionali, ciascuna che agisce su una sezione diversa della matrice di input.

costo

Sinonimo di perdita.

addestramento collaborativo

Un approccio di apprendimento semi-supervisionato particolarmente utile quando si verificano tutte le seguenti condizioni:

• Il rapporto tra esempi senza etichetta e Gli esempi etichettati nel set di dati sono alti.
• Si tratta di un problema di classificazione (binaria o multiclasse).
• Il dataset contiene due diversi set di caratteristiche predittive indipendenti l'una dall'altra e complementari.

Il co-training amplifica essenzialmente gli indicatori indipendenti in un indicatore più forte. Ad esempio, considera un modello di classificazione che classifica le singole auto usate come Buono o Scadente. Un set di le caratteristiche predittive potrebbero concentrarsi su caratteristiche aggregate come anno, marca e modello dell'auto; un altro insieme di caratteristiche predittive potrebbe concentrarsi il libretto di guida del proprietario precedente e la cronologia degli interventi di manutenzione dell'auto.

L'articolo principale sulla co-addestramento è Combinare dati etichettati e non etichettati con Co-training di Blum e Mitchell.

equità controfattuale

Una metrica di equità che verifica se un classificatore produce per un individuo lo stesso risultato che per un altro individuo identico al primo, tranne che in relazione a uno o più attributi sensibili. Valutazione di un classificatore per l'equità controfattuale è un metodo per far emergere potenziali fonti di pregiudizi esistenti in un modello.

Per ulteriori informazioni, consulta una delle seguenti risorse:

• Equità: contenuti controfattuale equità in Machine Learning Crash Course.
• When Worlds Collide: Integrating Different Counterfactual Assumptions in Fairness

bias di copertura

Consulta la sezione relativa al bias di selezione.

arresto anomalo

Una frase o una frase con un significato ambiguo. Le fioriture dei arresti anomali rappresentano un grave problema in naturali la comprensione delle lingue. Ad esempio, il titolo Nastro rosso regge un grattacielo è un perché un modello NLU potrebbe interpretare il titolo letteralmente o in senso figurato.

critico

Sinonimo di Deep Q-Network.

entropia incrociata

Una generalizzazione della perdita di log per problemi di classificazione multiclasse. L'entropia incrociata quantifica la differenza tra due distribuzioni di probabilità. Vedi anche perplessità.

convalida incrociata

Un meccanismo per stimare la capacità di un modello di generalizzare nuovi dati testando il modello su uno o più sottoinsiemi di dati non sovrapposti trattenute dal set di addestramento.

funzione di distribuzione cumulativa (CDF)

Una funzione che definisce la frequenza dei campioni minore o uguale a valore target. Considera ad esempio una normale distribuzione di valori continui. Una CDF indica che circa il 50% dei campioni deve essere inferiore o uguale alla media e che circa l'84% dei campioni deve essere inferiore o uguale a una deviazione standard sopra la media.

D

analisi dei dati

Ottenere una comprensione dei dati tenendo conto di campioni, misurazioni e visualizzazione. L'analisi dei dati può essere particolarmente utile quando viene ricevuto per la prima volta, prima di creare il primo modello. È inoltre fondamentale per comprendere gli esperimenti e i problemi di debug del sistema.

aumento dei dati

Aumentare artificialmente l'intervallo e il numero di esempi di addestramento tramite la trasformazione di esempi esistenti per creare esempi aggiuntivi. Ad esempio: supponiamo che le immagini siano uno dei tuoi features, ma il tuo set di dati no Deve contenere un numero sufficiente di esempi di immagini per consentire al modello di apprendere associazioni utili. Idealmente, dovresti aggiungere al set di dati un numero sufficiente di immagini etichettate per consentire al modello di addestrarsi correttamente. Se ciò non è possibile, l'aumento dei dati può ruotare, allungare e riflettere ogni immagine per produrre molte varianti dell'immagine originale, producendo eventualmente dati etichettati sufficienti per consentire un'ottima formazione.

DataFrame

Un tipo di dati panda molto diffuso per la rappresentazione set di dati in memoria.

Un DataFrame è analogo a una tabella o a un foglio di lavoro. Ogni colonna di un DataFrame ha un nome (un'intestazione) e ogni riga è identificata da un numero univoco.

Ogni colonna di un DataFrame è strutturata come un array 2D, tranne per il fatto che a ogni colonna può essere assegnato un proprio tipo di dati.

Vedi anche i link ufficiali Riferimento pandas.DataFrame alla pagina di destinazione.

parallelismo dei dati

Un modo per scalare l'addestramento o l'inferenza che replica un intero modello su più dispositivi e poi passa un sottoinsieme dei dati di input a ciascun dispositivo. Il parallelismo dei dati può consentire l'addestramento e l'inferenza su modelli dimensioni dei batch; tuttavia, il parallelismo dei dati richiede sia abbastanza piccolo da poter essere installato su tutti i dispositivi.

Il parallelismo dei dati in genere velocizza l'addestramento e l'inferenza.

Vedi anche parallismo dei modelli.

set di dati

Una raccolta di dati non elaborati, comunemente (ma non esclusivamente) organizzata in uno tra i seguenti formati:

• un foglio di lavoro
• un file in formato CSV (valori separati da virgole)

API Dataset (tf.data)

Un'API TensorFlow di alto livello per leggere i dati e trasformarli in una forma richiesta da un algoritmo di machine learning. Un oggetto tf.data.Dataset rappresenta una sequenza di elementi, in cui ogni elemento contiene uno o più Tensori. Un oggetto tf.data.Iterator fornisce accesso agli elementi di un Dataset.

confine decisionale

Il separatore tra classi apprese da un model in un classe binaria oppure problemi di classificazione multiclasse. Ad esempio, nella seguente immagine che rappresenta un problema di classificazione binaria, la soglia di decisione è la frontiera tra la classe arancione e la classe blu:

foresta decisionale

Un modello creato da più alberi decisionali. Una foresta decisionale effettua una previsione aggregando le previsioni ai suoi alberi decisionali. Tra i tipi più diffusi di foreste decisionali ci sono foreste casuali e alberi ad alto gradiente.

Consulta la Decisione Foreste del corso sulle foreste decisionali per ulteriori informazioni.

soglia di decisione

Sinonimo di soglia di classificazione.

albero decisionale

Un modello di apprendimento supervisionato composto da un insieme condizioni e lascia organizzate in modo gerarchico. Ad esempio, di seguito è riportato un albero decisionale:

decodificatore

In generale, qualsiasi sistema di ML che converte da una rappresentazione interna elaborata, densa o a una rappresentazione più grezza, sparsa o esterna.

I decoder sono spesso un componente di un modello più grande, in cui vengono accoppiato con un encoder.

Nelle attività di sequenza a sequenza, un decodificatore inizia con lo stato interno generato dall'encoder per prevedere la sequenza successiva.

Consulta Transformer per la definizione di un decodificatore all'interno dell'architettura Transformer.

Scopri i modelli linguistici di grandi dimensioni (LLM) in Machine Learning Crash Course.

modello di deep learning

Una rete neurale contenente più di un strato nascosto.

Un modello di questo tipo è chiamato anche rete neurale profonda.

Contrasta con il modello largo.

per le reti neurali profonde

Sinonimo di deep model.

Deep Q-Network (DQN)

In Q-learning, una rete neurale profonda che prevede le funzioni Q.

Critic è un sinonimo di Deep Q-Network.

Parità demografica

Una metrica di equità che viene soddisfatta se i risultati della classificazione di un modello non dipendono da un attributo sensibile.

Ad esempio, se sia Lilliputiano sia Brobdingnagiano si applicano Glubbdubdrib University, la parità demografica si ottiene se la percentuale di lilliputi ammessi è uguale alla percentuale di Brobdingnagiani ammessi, indipendentemente dal fatto che un gruppo sia in media più qualificato rispetto all'altro.

È diverso da pari opportunità e uguaglianza di opportunità, che consentono ai risultati di classificazione aggregati di dipendere da attributi sensibili, ma non consentono ai risultati di classificazione per determinate etichette di verità oggettive specificate di dipendere da attributi sensibili. Consulta "Attacco discriminazione con un machine learning più intelligente" per una visualizzazione esplorare i compromessi nell'ottimizzazione per la parità demografica.

Consulta Equità: dati demografici parità in Machine Learning Crash Course.

riduzione del rumore

Un approccio comune all'apprendimento autosupervisionato in cui:

1. Il rumore viene aggiunto artificialmente al set di dati.
2. Il modello tenta di rimuovere il rumore.

La riduzione del rumore consente di apprendere da esempi non etichettati. Il dataset originale funge da target o label e i dati rumorosi come input.

Alcuni modelli linguistici con maschera utilizzano il denoising come segue:

1. Il rumore viene aggiunto artificialmente a una frase non etichettata mascherando alcuni dei token.
2. Il modello prova a prevedere i token originali.

elemento denso

Una caratteristica in cui la maggior parte o tutti i valori sono diversi da zero, in genere un Tensor di valori in virgola mobile. Ad esempio, il seguente tensore di 10 elementi è denso perché 9 dei suoi valori sono diversi da zero:

Contrasta la caratteristica sparsa.

strato denso

Sinonimo di livello completamente connesso.

profondità

La somma di quanto segue in una rete neurale:

• il numero di livelli nascosti
• il numero di strati di output, che in genere è 1
• il numero di tutti gli strati di incorporamento

Ad esempio, una rete neurale con cinque strati nascosti e uno di output ha una profondità di 6.

Tieni presente che il livello di input non influisce sulla profondità.

sepCNN (rete neurale convoluzionale separabile profondamente)

Un'architettura di rete neurale convoluzionale basata su Inception, ma in cui i moduli Inception sono sostituiti da convolute separabili in base alla profondità. Chiamato anche Xception.

Una convoluzione separabile in profondità (abbreviata anche come convoluzione separabile) suddivide una convoluzione 3D standard in due operazioni di convoluzione separate che sono più efficienti dal punto di vista computazionale: innanzitutto, una convoluzione in profondità, con una profondità di 1 (n ✕ n ✕ 1) e, in secondo luogo, una convoluzione puntuale, con lunghezza e larghezza pari a 1 (1 ✕ 1 ✕ n).

Per scoprire di più, consulta Xception: deep learning con Depthwise Separable Convoluzioni.

etichetta derivata

Sinonimo di etichetta proxy.

dispositivo

Un termine sovraccarico con le due possibili definizioni seguenti:

1. Una categoria di hardware in grado di eseguire una sessione TensorFlow, tra cui CPU, GPU e TPU.
2. Durante l'addestramento di un modello ML sui chip dell'acceleratore (GPU o TPU), la parte del sistema che manipola effettivamente tensori e incorporamenti. Il dispositivo funziona su chip acceleratori. Al contrario, l'attributo host di solito viene eseguito su una CPU.

privacy differenziale

Nel machine learning, un approccio di anonimizzazione per proteggere dall'esposizione eventuali dati sensibili (ad esempio le informazioni personali di un individuo) inclusi nel set di addestramento di un modello. Questo approccio garantisce Che il modello non apprenda o non ricordi molto su una specifica privato. Questo viene ottenuto campionando e aggiungendo rumore durante l'addestramento del modello per oscurare i singoli punti dati, mitigando il rischio di esporre i dati di addestramento sensibili.

La privacy differenziale viene utilizzata anche al di fuori del machine learning. Ad esempio, talvolta i data scientist utilizzano la privacy differenziale per proteggere la privacy delle persone quando calcolano le statistiche sull'utilizzo dei prodotti per diversi gruppi demografici.

riduzione delle dimensioni

Riduzione del numero di dimensioni utilizzate per rappresentare una determinata funzionalità in un vettore di funzionalità, in genere mediante la conversione in un vettore di incorporamento.

dimensioni

Termine sovraccaricato con una delle seguenti definizioni:

• Il numero di livelli di coordinate in un tensore. Ad esempio:

  • Uno scalare ha dimensioni pari a zero; ad esempio ["Hello"].
  • Un vettore ha una dimensione; ad esempio [3, 5, 7, 11].
  • Una matrice ha due dimensioni: ad esempio [[2, 4, 18], [5, 7, 14]]. Puoi specificare in modo univoco una particolare cella in un vettore unidimensionale con una sola coordinata; sono necessarie due coordinate per specificare particolare cella in una matrice bidimensionale.

• Il numero di voci in un vettore di caratteristiche.

• Il numero di elementi in un livello di embedding.

richiesta diretta

Sinonimo di prompt zero-shot.

caratteristica discreta

Una caratteristica con un insieme finito di valori possibili. Ad esempio: una caratteristica i cui valori possono essere solo animal, vegetable o mineral è un caratteristica discreta (o categorica).

Contrasta la funzionalità continua.

modello discriminativo

Un modello che prevede le etichette da un insieme di uno o altre funzionalità. In modo più formale, i modelli di classificazione definiscono la probabilità condizionale di un output in base alle funzionalità e ai pesi, ovvero:

p(output | features, weights)

Ad esempio, un modello che prevede se un'email è spam proveniente da caratteristiche e ponderazioni è un modello discriminativo.

La maggior parte dei modelli di apprendimento supervisionato, inclusa la classificazione e di regressione, sono modelli discriminativi.

È diverso dal modello generativo.

discriminatore

Un sistema che determina se gli esempi sono reali o falsi.

In alternativa, il sottosistema all'interno di una rete di GAN che determina se gli esempi creati dal generatore sono reali o falsi.

Per ulteriori informazioni, consulta la sezione Il discriminatore nel corso sulle GAN.

impatto imparziale

Prendere decisioni sulle persone che influiscono in modo sproporzionato su diversi sottogruppi di popolazione. Di solito si riferisce a situazioni in cui un processo decisionale algoritmico danneggia o avvantaggia alcuni sottogruppi più di altri.

Ad esempio, supponiamo che un algoritmo che determina l'idoneità di un Lilliputiano per un mutuo per una casa in miniatura abbia maggiori probabilità di classificarlo come "non idoneo" se il suo indirizzo postale contiene un determinato codice postale. Se i lilliputini di Big-Endian hanno maggiori probabilità indirizzi postali con questo codice postale rispetto ai Little-Endian Lilliputians, questo algoritmo potrebbe avere un impatto disparato.

Contrastarli con un trattamento dispari. che si concentra sulle disparità che si verificano quando le caratteristiche del sottogruppo sono input espliciti di un processo decisionale algoritmico.

trattamento diverso

L'inserimento degli attributi sensibili dei soggetti in un processo decisionale algoritmico in modo che i diversi sottogruppi di persone vengano trattati in modo diverso.

Ad esempio, prendiamo in considerazione un algoritmo che determina l'idoneità dei lillipuziani per un prestito per una casa in miniatura in base ai dati forniti nella richiesta di prestito. Se l'algoritmo utilizza come input l'affiliazione di un Lilliputiano come Big-Endian o Little-Endian, attua un trattamento diverso in base a questa dimensione.

Usa il contrasto con l'impatto disparato, che si concentra sulle disparità nell'impatto sociale delle decisioni algoritmiche sui sottogruppi, a prescindere dal fatto che questi sottogruppi siano input del modello.

distillazione

Il processo di riduzione delle dimensioni di un modello (noto come teacher) in un modello più piccolo (noto come studente) che emula le previsioni del modello originale nel modo più fedele possibile. Distillazione è utile perché il modello più piccolo presenta due vantaggi principali rispetto a quello più grande modello (l'insegnante):

• Tempi di inferenza più rapidi
• Consumo energetico e di memoria ridotti

Tuttavia, le previsioni dello studente in genere non sono buone quanto quelle dell'insegnante.

La distillazione addestra il modello studente a ridurre al minimo funzione di perdita basata sulla differenza tra gli output delle previsioni dei modelli di studenti e insegnanti.

Confronta e contrapponi la distillazione con i seguenti termini:

• ottimizzazione
• apprendimento basato su prompt

Vedi LLM: ottimizzazione, distillazione e prompt ingegneristica in Machine Learning Crash Course.

distribution

La frequenza e l'intervallo di valori diversi per un determinato elemento o etichetta. Una distribuzione acquisisce la probabilità di un determinato valore.

La seguente immagine mostra gli istogrammi di due diverse distribuzioni:

• A sinistra, una distribuzione della ricchezza in base alla legge di potenza rispetto al numero di persone che la possiedono.
• A destra, una distribuzione normale dell'altezza rispetto al numero di persone che la possiedono.

Comprendere la distribuzione di ogni caratteristica e etichetta può aiutarti a stabilire in che modo per normalizzare i valori e rilevare gli outlier.

La frase fuori distribuzione si riferisce a un valore che non compare nel o è molto raro. Ad esempio, l'immagine del pianeta Saturno sarebbe considerata fuori distribuzione per un set di dati costituito da immagini di gatti.

clustering divisivo

Consulta il clustering gerarchico.

sottocampionamento

Termine sovraccaricato che può significare una delle seguenti opzioni:

• Ridurre la quantità di informazioni in una caratteristica in per addestrare un modello in modo più efficiente. Ad esempio, prima di addestrare un modello di riconoscimento delle immagini, riduci la risoluzione delle immagini in un formato a risoluzione inferiore.
• Addestramento su una percentuale sproporzionatamente bassa di esempi di classi rappresentate in modo eccessivo per migliorare l'addestramento del modello sulle classi sottorappresentate. Ad esempio, in un set di dati con sbilanciamento delle classi, i modelli tendono ad apprendere molto sulla classe di maggioranza e non abbastanza sulla classe di minoranza. Il sottocampionamento aiuta a bilanciare la quantità di addestramento sulle classi di maggioranza e minoranza.

Per ulteriori informazioni, consulta Set di dati: set di dati sbilanciati nel corso introduttivo al machine learning.

DQN

Abbreviazione di Deep Q-Network.

regolarizzazione del dropout

Una forma di regolarizzazione utile per l'addestramento delle reti neurali. La regolarizzazione con dropoutrimuove una selezione casuale di un numero fisso di unità in un livello della rete per un singolo passo del gradiente. Più unità vengono escluse, più forte è la regolarizzazione. Questo è analogo all'addestramento della rete per emulare un ensemble esponenzialmente grande di reti più piccole. Per informazioni dettagliate, vedi Dropout: un modo semplice per impedire alle reti neurali Overfitting.

dinamico

Qualcosa che viene fatto di frequente o continuamente. I termini dinamico e online sono sinonimi nel machine learning. Di seguito sono riportati gli utilizzi comuni di dinamico e online nel machine learning:

• Un modello dinamico (o modello online) è un modello che viene riaddestrato di frequente o di continuo.
• La formazione dinamica (o formazione online) è il processo di addestramento spesso o continuamente.
• L'inferenza dinamica (o inferenza online) è il processo di per generare previsioni on demand.

modello dinamico

Un modello che è frequente (forse anche continuamente) riaddestrato. Un modello dinamico è un "aprendente permanente" che si adatta costantemente ai dati in evoluzione. Un modello dinamico è noto anche come modello online.

È diverso dal modello statico.

E

esecuzione entusiasta

Un ambiente di programmazione TensorFlow in cui vengono utilizzate le operazioni vengono eseguiti immediatamente. Al contrario, le operazioni richiamate l'esecuzione del grafico non viene eseguita finché non viene eseguita viene valutato. L'esecuzione con entusiasmo è un'interfaccia imperativa, come il codice nella maggior parte dei linguaggi di programmazione. I programmi di esecuzione eager sono generalmente molto più facili da eseguire il debug rispetto ai programmi di esecuzione del grafico.

interruzione anticipata

Un metodo di regolarizzazione che prevede la fine addestramento prima della fine della perdita dell'addestramento in diminuzione. Con l'interruzione anticipata, interrompi intenzionalmente l'addestramento del modello quando la perdita in un set di dati di convalida inizia ad aumentare, ovvero quando le prestazioni della generalizzazione peggiorano.

distanza del movimento della terra (EMD)

Una misura della somiglianza relativa tra due distribuzioni. Più bassa è la distanza del movimento della terra, più simili sono le distribuzioni.

distanza di modifica

Una misura della somiglianza tra due stringhe di testo. Nel machine learning, la modifica della distanza è utile perché è semplice ed è un modo efficace per confrontare due stringhe note per essere o per trovare stringhe simili a una determinata stringa.

Esistono diverse definizioni della distanza di modifica, ciascuna delle quali utilizza operazioni su stringhe diverse. Ad esempio, la distanza di Levenshtein considera il minor numero di operazioni di eliminazione, inserimento e sostituzione.

Ad esempio, la distanza di Levenshtein tra le parole "cuore" e "dardi" è 3 perché le seguenti 3 modifiche sono il minor numero di cambiamenti da trasformare una parola nell'altro:

1. cuore → deart (sostituisci "h" con "d")
2. deart → esercito (elimina "e")
3. dardo → freccette (inserisci "s")

Notazione einsum

Una notazione efficiente per descrivere come devono essere combinati due tensori. I tensori vengono combinati moltiplicando gli elementi di un tensore per gli elementi dell'altro tensore e poi sommando i prodotti. La notazione Einsum utilizza simboli per identificare gli assi di ciascun tensore e gli stessi simboli vengono riorganizzati per specificare la forma del nuovo tensore risultante.

NumPy fornisce un'implementazione comune di Einsum.

strato di incorporamento

Uno speciale strato nascosto che viene addestrato su una caratteristica categorica ad alta dimensionalità per apprenderanno gradualmente un vettore di incorporamento di dimensione inferiore. Un livello di embedding consente a una rete neurale di essere addestrata in modo molto più efficiente rispetto all'addestramento solo sulla caratteristica categorica ad alta dimensione.

Ad esempio, al momento Earth supporta circa 73.000 specie di alberi. Supponiamo che specie di albero è una caratteristica nel modello, quindi la classe strato di input include un vettore one-hot 73.000 elementi. Ad esempio, baobab potrebbe essere rappresentato in questo modo:

Un array di 73.000 elementi è molto lungo. Se non aggiungi uno strato di incorporamento al modello, l'addestramento richiederà molto tempo a causa moltiplicando 72.999 zeri. Ad esempio, puoi scegliere che il livello di incorporamento sia costituito da 12 dimensioni. Di conseguenza, lo strato di incorporamento apprenderà gradualmente un nuovo vettore di incorporamento per ogni specie di albero.

In alcuni casi, l'hashing è un'alternativa ragionevole a un livello di embedding.

Consulta la sezione Incorporamenti. in Machine Learning Crash Course.

spazio di incorporamento

Lo spazio vettoriale con dimensione D che parte da una dimensione uno spazio vettoriale. Idealmente, lo spazio di embedding contiene una struttura che genera risultati matematici significativi. Ad esempio, in uno spazio di embedding ideale, l'addizione e la sottrazione di embedding possono risolvere attività di analogia tra parole.

Il prodotto scalare di due embedding è una misura della loro somiglianza.

vettore di embedding

In termini generali, un array di numeri in virgola mobile può essere preso da qualsiasi strato nascosto che descrive gli input per quello strato nascosto. Spesso, un vettore di incorporamento è l'array di numeri in virgola mobile addestrati in uno strato di incorporamento. Ad esempio, supponiamo che un livello di embedding debba apprendere un vettore di embedding per ciascuna delle 73.000 specie di alberi sulla Terra. Forse seguente è il vettore di incorporamento per un baobab:

Un vettore di incorporamento non è un insieme di numeri casuali. Uno strato di incorporamento determina questi valori tramite l'addestramento, in modo simile a come una rete neurale apprende altri pesi durante l'addestramento. Ogni elemento dell'array è una valutazione in base a una caratteristica di una specie di albero. Quale rappresenta la specie di alberi una caratteristica? È molto difficile per essere individuate dagli esseri umani.

La parte matematicamente notevole di un vettore di incorporamento è simile elementi contengono insiemi simili di numeri in virgola mobile. Ad esempio, le specie di alberi simili hanno un insieme di numeri in virgola mobile più simile rispetto alle specie di alberi diverse. Le sequoie e le sequoie giganti sono specie di alberi correlate, quindi avranno un insieme di numeri con virgola mobile più simile rispetto alle sequoie e alle palme da cocco. I numeri nel vettore di incorporamento cambia ogni volta che il modello viene riaddestrato, anche se il modello con input identico.

funzione di distribuzione empirica cumulativa (eCDF o EDF)

Una funzione di distribuzione cumulativa basata su misure empiriche di un set di dati reale. Il valore della funzione in qualsiasi punto dell'asse x è la frazione di osservazioni nel set di dati minori o uguali al valore specificato.

minimizzazione del rischio empirico (ERM)

È stata scelta la funzione che minimizza la perdita nel set di addestramento. È diversa dalla minimizzazione del rischio strutturale.

codificatore

In generale, qualsiasi sistema di ML che esegue la conversione da un ambiente non elaborato, sparso o in una rappresentazione più elaborata, più densa o interna.

I codificatori sono spesso un componente di un modello più grande, in cui vengono accoppiato con un decoder. Alcuni trasformatori encoder e decoder, sebbene altri Transformer utilizzino solo l'encoder o solo il decoder.

Alcuni sistemi utilizzano l'output dell'encoder come input di una classificazione di regressione lineare e una rete di regressione.

Nelle attività da sequenza a sequenza, un codificatore prende una sequenza di input e restituisce uno stato interno (un vettore). Quindi, decoder utilizza questo stato interno per prevedere la sequenza successiva.

Consulta Transformer per la definizione di un encoder in l'architettura Transformer.

Vedi LLM: che cos'è una grande lingua modello in Machine Learning Crash Course.

ensemble

Una raccolta di modelli addestrati in modo indipendente le cui previsioni vengono mediate o aggregate. In molti casi, un insieme produce migliori predizioni rispetto a un singolo modello. Ad esempio, una foresta casuale è un insieme costituito da più alberi decisionali. Tieni presente che non tutte Le foreste decisionali sono insiemi.

Vedi Casuale Foresta in Machine Learning Crash Course.

entropia

In teoria dell'informazione, una descrizione dell'imprevedibilità di una distribuzione di probabilità. In alternativa, l'entropia è definita anche come la quantità di informazione contenuta in ogni esempio. Una distribuzione ha la massima entropia possibile quando tutti i valori di una variabile aleatoria sono sempre possibili.

L'entropia di un insieme con due possibili valori "0" e "1" (ad esempio, le etichette in un problema di classificazione binaria) ha la seguente formula:

  H = -p log p - q log q = -p log p - (1-p) * log (1-p)

dove:

• H è l'entropia.
• p è la frazione di esempi "1".
• q è la frazione di "0" esempi. Tieni presente che q = (1 - p)
• log è generalmente log₂. In questo caso, l'unità di misura dell'entropia è un bit.

Ad esempio, supponiamo quanto segue:

• 100 esempi contengono il valore "1"
• 300 esempi contengono il valore "0"

Pertanto, il valore di entropia è:

• p = 0,25
• q = 0,75
• H = (-0,25)log₂(0,25) - (0,75)log₂(0,75) = 0,81 bit per esempio

Un insieme perfettamente bilanciato (ad esempio 200 "0" e 200 "1") avrebbe un'entropia di 1,0 bit per esempio. Man mano che l'insieme diventa sempre più sbilanciato, la sua entropia si sposta verso 0,0.

Negli alberi decisionali, l'entropia aiuta a formulare il guadagno di informazione per aiutare lo strumento di suddivisione a selezionare le condizioni durante la crescita di un albero decisionale di classificazione.

Confrontare l'entropia con:

• impurità gini
• Funzione di perdita di entropia incrociata

L'entropia viene spesso chiamata entropia di Shannon.

Vedi Suddivisione esatta per la classificazione binaria con funzionalità nel corso sulle foreste decisionali per ulteriori informazioni.

produzione

Nel reinforcement learning, il mondo che contiene l'agente e consente all'agente di osservare lo stato del mondo. Ad esempio: il mondo rappresentato può essere un gioco come gli scacchi o un mondo fisico come labirinto. Quando l'agente applica un'azione all'ambiente, l'ambiente passa da uno stato all'altro.

puntata

Nell'apprendimento per rinforzo, ciascuno dei tentativi ripetuti dell'agente di apprendere un ambiente.

periodo

Un pass completo per l'addestramento dell'intero set di formazione in modo che ogni esempio venga elaborato una sola volta.

Un'epoca rappresenta N/dimensione batch iterazioni di addestramento, dove N è il numero totale di esempi.

Ad esempio, supponiamo quanto segue:

• Il set di dati è composto da 1000 esempi.
• La dimensione del batch è 50 esempi.

Pertanto, una singola epoca richiede 20 iterazioni:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

Consulta Regressione lineare: Iperparametri in Machine Learning Crash Course.

norme greedy epsilon

Nell'apprendimento basato su rinforzo, una norma che segue una norma casuale con probabilità epsilon o una norma avida in caso contrario. Ad esempio, se epsilon è 0,9, il criterio segue un criterio casuale il 90% delle volte e un greedy il 10% delle volte.

Nelle varie puntate, l'algoritmo riduce il valore di epsilon per passare dal seguire un criterio casuale a seguire un criterio avido. Spostando il criterio, l'agente esplora prima in modo casuale l'ambiente e poi sfrutta avidamente i risultati dell'esplorazione casuale.

uguaglianza di opportunità

Una metrica di equità per valutare se un modello predittivo è ugualmente efficace per tutti i valori di un attributo sensibile. In altre parole, se il risultato desiderabile di un modello è la classe positiva, l'obiettivo è che il tasso di veri positivi sia la la stessa per tutti i gruppi.

L'uguaglianza di opportunità è correlata alle probabilità uguali, che richiedono che entrambi i tassi di veri positivi e falsi positivi siano uguali per tutti i gruppi.

Supponiamo che l'Università di Glubbdubdrib ammetta sia i lillipuziani che i brobdingnagiani a un rigoroso programma di matematica. Lilliputiani le scuole secondarie offrono un un solido programma di lezioni di matematica e la stragrande maggioranza degli studenti qualificato per il programma universitario. Le scuole secondarie dei Brobdingnagiani non offrono affatto corsi di matematica e, di conseguenza, un numero molto minore di loro è qualificato. L'uguaglianza delle opportunità è soddisfatta per l'etichetta preferita "ammissione" in relazione alla nazionalità (lillupiano o Brobdingnagian) se che gli studenti qualificati hanno la stessa probabilità di essere ammessi, indipendentemente dal fatto che sono lillupiani o brobdingnagian.

Ad esempio, supponiamo che 100 Lilliputi e 100 Brobdingnagian si applichino a Le decisioni relative all'ammissione e alla Glubbdubdrib University vengono prese come segue:

Tabella 1. Candidati lillupiani (il 90% è qualificato)

Tabella 2. Candidati Brobdingnagian (il 10% è qualificato):

Gli esempi precedenti soddisfano l'uguaglianza di opportunità di accettazione gli studenti qualificati perché lilliputi e brobdingnagiani qualificati hanno il 50% di probabilità di essere ammessi.

Sebbene sia soddisfatta l'uguaglianza delle opportunità, le due metriche di equità riportate di seguito non sono soddisfatti:

• Parità demografica: lilliputi e I Brobdingnagiani vengono ammessi all'università con tempistiche diverse; Il 48% degli studenti lilliputi è ammesso, ma solo il 14% di Sono ammessi studenti brobdingnag.
• probabilità paritarie: sebbene la qualifica sia lillitica e gli studenti di Brobdingnagian hanno le stesse probabilità di essere ammessi, l'ulteriore vincolo che i lilliputi non qualificati e I brobdingnagia hanno la stessa probabilità di essere rifiutati soddisfatto. I lilliputi non qualificati hanno un tasso di rifiuto del 70%, mentre i Brobdingnagias non qualificati hanno un tasso di rifiuto del 90%.

Consulta Equità: uguaglianza di opportunità in Machine Learning Crash Course.

probabilità equalizzato

Una metrica di equità per valutare se un modello prevede i risultati in modo uguale bene per tutti i valori di un attributo sensibile con rispetto sia alla classe positiva che classe negativa: non solo una classe o l'altra in modo esclusivo. In altre parole, sia la percentuale di veri positivi sia la percentuale di falsi negativi devono essere uguali per tutti i gruppi.

Le probabilità ugualizzate sono correlate all'uguaglianza di opportunità, che si concentra solo sui tassi di errore per una singola classe (positiva o negativa).

Ad esempio, supponiamo che l'Università di Glubbdubdrib ammetta sia i lillipuziani che i Brobdingnagiani a un rigoroso programma di matematica. I licei dei Lillipuziani offrono un solido programma di corsi di matematica e la stragrande maggioranza degli studenti è idonea al programma universitario. I Brobdingnagiani non offrono affatto corsi di matematica nelle scuole secondarie e, di conseguenza, un numero molto inferiore di studenti è qualificato. Le probabilità uguali sono soddisfatte a condizione che, indipendentemente dal fatto che un richiedente sia un lillipuziano o un brobdignag, se è idoneo, abbia le stesse probabilità di essere ammesso al programma e, se non è idoneo, abbia le stesse probabilità di essere rifiutato.

Supponiamo che 100 Lilliputi e 100 Brobdingnagiani si applichino a Glubbdubdrib Le decisioni relative all'università e alle ammissioni vengono prese come segue:

Tabella 3. Lilliputian (90% idonei)

Tabella 4. Candidati Brobdingnagian (il 10% è qualificato):

Le quote equalizzate sono soddisfatte perché i valori Lilliputian e Brobdingnagian sono qualificati entrambi gli studenti hanno il 50% di probabilità di essere ammessi, mentre quelli lillupiani non qualificati e Brobdingnagian hanno l'80% di probabilità di essere rifiutati.

Le probabilità ugualizzate sono definite formalmente in "Equality of Opportunity in Supervised Learning" come segue: "il predittore Ŷ soddisfa le probabilità ugualizzate rispetto all'attributo protetto A e al risultato Y se Ŷ e A sono indipendenti, in base a Y".

Estimator

Un'API TensorFlow deprecata. Utilizza tf.keras anziché gli estimatori.

evals

Utilizzato principalmente come abbreviazione per valutazioni LLM. Più in generale, evals è un'abbreviazione per qualsiasi forma di valutazione.

valutazione

Il processo di misurazione della qualità di un modello o di confronto tra modelli diversi.

Per valutare un machine learning supervisionato modello, solitamente lo giudichi rispetto a un insieme di convalida e un set di test. Valutazione di un LLM comporta in genere valutazioni più ampie di qualità e sicurezza.

esempio

I valori di una riga di caratteristiche e possibilmente un'etichetta. Esempi in L'apprendimento supervisionato si suddividono in due categorie generali:

• Un esempio con etichetta è costituito da una o più caratteristiche e un'etichetta. Durante l'addestramento vengono usati esempi etichettati.
• Un esempio non etichettato è costituito da una o più funzionalità, ma senza etichetta. Durante l'inferenza vengono utilizzati esempi non etichettati.

Ad esempio, supponiamo che tu stia addestrando un modello per determinare l'influenza delle condizioni meteo nei punteggi dei test degli studenti. Ecco tre esempi etichettati:

Ecco tre esempi non etichettati:

La riga di un dataset è in genere l'origine non elaborata di un esempio. In altre parole, un esempio è costituito in genere da un sottoinsieme di colonne del set di dati. Inoltre, le funzionalità di un esempio possono includere anche caratteristiche sintetiche, come incroci di caratteristiche.

Vedi Apprendimento supervisionato in il corso Introduction to Machine Learning per saperne di più.

riprodurre di nuovo l'esperienza

Nell'apprendimento per rinforzo, una tecnica DQN utilizzata per ridurre le correlazioni temporali nei dati di addestramento. L'agente archivia le transizioni di stato in un buffer di replica transizioni di esempio dal buffer di ripetizione per creare i dati di addestramento.

pregiudizi dello sperimentatore

Consulta la sezione Bias di conferma.

problema del gradiente con esplosione

La tendenza dei gradienti nelle reti neurali profonde (in particolare reti neurali ricorrenti) a diventare sorprendentemente ripidi (alti). Le derive ripide spesso causano aggiornamenti molto elevati ai pesi di ogni nodo in una rete neurale profonda.

I modelli soggetti al problema del gradiente con esplosione diventano difficili o impossibile da addestrare. Taglio delle sfumature può mitigare questo problema.

Confronta con il problema della scomparsa del gradiente.

F

F₁

Una metrica di classificazione binaria "aggregata" che si basa sia sulla precisione sia sul richiamo. Ecco la formula:

Ad esempio, in base a quanto segue:

• precision = 0.6
• richiamo = 0,4

Quando precisione e richiamo sono abbastanza simili (come nell'esempio precedente), F₁ è molto simile alla sua media. Quando precisione e richiamo differiscono In modo significativo, F₁ è più vicino al valore più basso. Ad esempio:

• precisione = 0,9
• recall = 0.1

vincolo di equità

• Esegui il post-trattamento dell'output del modello.
• Modifica della funzione di perdita per includere una penalizzazione per violazione di una metrica di equità.
• Aggiunta diretta di un vincolo matematico a un problema di ottimizzazione.

metrica di equità

Una definizione matematica di "equità" misurabile. Alcune metriche di equità di uso comune includono:

• quote paritarie
• parità predittiva
• equità controfattuale
• parità demografica

Molte metriche di equità si escludono a vicenda; vedi incompatibilità delle metriche di equità.

falso negativo (FN)

Esempio in cui il modello prevede erroneamente classe negativa. Ad esempio, il modello prevede che un determinato messaggio email non è spam (la classe negative), ma in realtà quel messaggio email è spam.

percentuale di falsi negativi

La proporzione di esempi positivi effettivi per cui il modello ha erroneamente ha previsto la classe negativa. La seguente formula calcola il falso tasso negativo:

Per ulteriori informazioni, consulta Soglie e matrice di confusione nel corso introduttivo al machine learning.

falso positivo (FP)

Esempio in cui il modello prevede erroneamente classe positiva. Ad esempio, il modello prevede che un determinato messaggio email sia spam (la classe positiva), ma in realtà il messaggio email non è spam.

Consulta Soglie e confusione una matrice in Machine Learning Crash Course.

tasso di falsi positivi (FPR)

La proporzione di esempi negativi effettivi per i quali il modello ha previsto erroneamente la classe positiva. La seguente formula calcola il falso tasso positivo:

Il tasso di falsi positivi è l'asse x in una curva ROC.

Consulta la sezione Classificazione: ROC e AUC in Machine Learning Crash Course.

caratteristica

Una variabile di input per un modello di machine learning. Un esempio è costituito da una o più funzionalità. Ad esempio, supponiamo che tu stia addestrando modello per determinare l'influenza delle condizioni meteorologiche sui punteggi dei test degli studenti. La tabella seguente mostra tre esempi, ognuno dei quali contiene tre caratteristiche e un'etichetta:

Contrasto con l'etichetta.

Per saperne di più, consulta Apprendimento supervisionato nel corso Introduzione al machine learning.

incrocio di caratteristiche

Una caratteristica sintetica formata da "incroci" di caratteristiche categoriche o in bucket.

Ad esempio, considera le "previsioni del tuo stato d'animo" modello che rappresenta della temperatura in uno dei seguenti quattro bucket:

• freezing
• chilly
• temperate
• warm

e rappresenta la velocità del vento in uno dei seguenti tre bucket:

• still
• light
• windy

Senza incroci di caratteristiche, il modello lineare si addestra in modo indipendente su ciascuno prima di sette diversi bucket. Pertanto, il modello viene addestrato, ad esempio, su freezing indipendentemente dall'addestramento su, ad esempio, windy.

In alternativa, puoi creare un incrocio di caratteristiche di temperatura e velocità del vento. Questa funzionalità sintetica avrebbe le seguenti 12 possibili valori:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Grazie agli incroci di caratteristiche, il modello può apprendere le differenze di umore tra un giorno freezing-windy e un giorno freezing-still.

Se crei una caratteristica sintetica da due caratteristiche che hanno ciascuna molti bucket diversi, l'incrocio di caratteristiche risultante avrà un numero enorme di combinazioni possibili. Ad esempio, se una funzionalità ha 1000 bucket e l'altra 2000, l'intersezione delle funzionalità risultante ha 2.000.000 di bucket.

Formalmente, una croce è una Prodotto cartesiano.

Gli incroci di caratteristiche vengono utilizzati principalmente con i modelli lineari e vengono utilizzati raramente con le reti neurali.

Per ulteriori informazioni, consulta Dati categorici: croci tra funzionalità nel corso introduttivo al machine learning.

e applicazione del feature engineering.

Una procedura che prevede le seguenti fasi:

1. Determinare quali funzionalità potrebbero essere utili durante l'addestramento di un modello.
2. Convertire i dati non elaborati del set di dati in versioni efficienti di queste funzionalità.

Ad esempio, potresti determinare che temperature potrebbe essere un utile funzionalità. Poi, puoi sperimentare il bucketing per ottimizzare ciò che il modello può apprendere da diversi intervalli temperature.

Il feature engineering è a volte chiamato l'estrazione delle caratteristiche o funzionalità.

Per saperne di più, consulta la sezione Dati numerici: come un modello acquisisce i dati utilizzando vettori di funzionalità nel corso introduttivo al machine learning.

estrazione di funzionalità

Termine sovraccaricato con una delle seguenti definizioni:

• Recupero delle rappresentazioni intermedie delle caratteristiche calcolate da un modello non supervisionato o preaddestrato (ad esempio, i valori dello strato nascosto in un rete neurale) da utilizzare in un altro modello come input.
• Sinonimo di feature engineering.

importanza delle caratteristiche

Sinonimo di importazioni variabili.

insieme di caratteristiche

Il gruppo di caratteristiche del tuo machine learning Viene eseguito l'addestramento di model. Ad esempio, codice postale, dimensioni e condizioni della proprietà potrebbero costituiscono un semplice set di caratteristiche per un modello che prevede i prezzi delle abitazioni.

specifica della funzionalità

Descrive le informazioni necessarie per estrarre i dati delle caratteristiche dal buffer di protocollo tf.Example. Poiché il buffer di protocollo tf.Example è solo un contenitore per i dati, devi specificare quanto segue:

• I dati da estrarre (ovvero le chiavi per le funzionalità)
• Il tipo di dati (ad es. float o int)
• La lunghezza (fissa o variabile)

vettore di caratteristiche

L'array di valori feature che compongono un esempio. Il vettore di caratteristiche viene inserito durante l'addestramento e l'inferenza. Ad esempio, il vettore di caratteristiche per un modello con due caratteristiche distinte potrebbe essere:

[0.92, 0.56]

Ogni esempio fornisce valori diversi per il vettore di caratteristiche, pertanto il vettore di caratteristiche per l'esempio successivo potrebbe essere simile al seguente:

[0.73, 0.49]

Il feature engineering determina come rappresentare caratteristiche nel vettore di caratteristiche. Ad esempio, una caratteristica categorica binaria con cinque possibili valori potrebbe essere rappresentata con la codifica one-hot. In questo caso, la parte del vettore di caratteristiche per un determinato esempio sarà composta da quattro zeri e un singolo 1.0 nella terza posizione, come segue:

[0.0, 0.0, 1.0, 0.0, 0.0]

Come altro esempio, supponiamo che il modello sia costituito da tre elementi:

• una caratteristica categorica binaria con cinque possibili valori rappresentati con codifica one-hot; ad esempio: [0.0, 1.0, 0.0, 0.0, 0.0]
• un'altra caratteristica categorica binaria con tre valori possibili rappresentati con codifica one-hot; ad esempio: [0.0, 0.0, 1.0]
• un valore con rappresentazione in virgola mobile; ad esempio: 8.3.

In questo caso, il vettore di caratteristiche per ogni esempio sarebbe rappresentato da nove valori. Dati i valori di esempio nell'elenco precedente, il valore il vettore di caratteristiche sarebbe:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

Consulta Dati numerici: modalità di importazione di dati da parte di un modello mediante le caratteristiche vettori in Machine Learning Crash Course.

creazione di funzionalità

Il processo di estrazione delle caratteristiche da un'origine di input, come un documento o un video e di mappare queste caratteristiche in un vettore di caratteristiche.

Alcuni esperti di ML utilizzano la funzionalità come sinonimo di feature engineering o estrazione delle caratteristiche.

apprendimento federato

Un approccio di machine learning distribuito che addestra modelli di machine learning utilizzando esempi decentralizzati che risiedono su dispositivi come gli smartphone. Nell'apprendimento federato, un sottoinsieme di dispositivi scarica il modello corrente da un server di coordinamento centrale. I dispositivi utilizzano gli esempi memorizzati su di essi per apportare miglioramenti al modello. I dispositivi caricano poi i miglioramenti del modello (ma non gli esempi di addestramento) sul server di coordinamento, dove vengono aggregati con altri aggiornamenti per produrre un modello globale migliore. Dopo l'aggregazione, gli aggiornamenti del modello calcolati dai dispositivi non sono più necessari e possono essere ignorati.

Poiché gli esempi di addestramento non vengono mai caricati, l'apprendimento federato segue principi sulla privacy incentrati sulla raccolta e sulla minimizzazione dei dati.

Per ulteriori informazioni sull'apprendimento federato, consulta questo tutorial.

feedback loop

Nel machine learning, si tratta di una situazione in cui le previsioni di un modello influenzano di addestramento per lo stesso modello o per un altro. Ad esempio, un modello che consiglia film influisce sui film che le persone guardano, il che a sua volta influisce sui modelli di consigli sui film successivi.

Consulta Sistemi di ML di produzione: domande per chiedi in Machine Learning Crash Course.

rete neurale feed-forward (FFN)

Una rete neurale senza connessioni cicliche o ricorsive. Ad esempio, le reti neurali profonde tradizionali sono reti neurali feedforward. A differenza delle reti neurali recurrenti, che sono cicliche.

apprendimento few-shot

Un approccio di machine learning, spesso utilizzato per la classificazione degli oggetti, progettato per addestrare classificatori efficaci a partire da un numero limitato di esempi di addestramento.

Vedi anche one-shot learning e apprendimento zero-shot.

prompt few-shot

Un prompt contenente più di un esempio (alcuni) che dimostri come deve rispondere il modello linguistico di grandi dimensioni. Ad esempio, il seguente prompt lungo contiene due esempi che mostrano a un modello linguistico di grandi dimensioni come rispondere a una query.

In genere, i prompt few-shot producono risultati più auspicabili rispetto ai prompt zero-shot e ai prompt one-shot. Tuttavia, i prompt few-shot richiedono un prompt più lungo.

Il prompt few-shot è una forma di apprendimento few-shot applicata all'apprendimento basato su prompt.

Per saperne di più, consulta la sezione Progettazione dei prompt nel Machine Learning Crash Course.

Violino

Una libreria di configurazione incentrata su Python che imposta i valori di funzioni e classi senza codice o infrastruttura invasivi. Nel caso di Pax e di altri codebase ML, queste funzioni e rappresentano modelli e addestramento iperparametri.

Violino presuppone che i codebase di machine learning siano generalmente suddivisi in:

• Codice della libreria, che definisce i livelli e gli ottimizzatori.
• Set di dati "glue" che chiama le librerie e collega tutti gli elementi tra loro.

Fiddle acquisisce la struttura di chiamata del codice di collegamento in un formato non valutato e mutabile.

ottimizzazione

Un secondo pass per l'addestramento specifico per un'attività, eseguito su modello preaddestrato per perfezionarne i parametri per un caso d'uso specifico. Ad esempio, l'intera sequenza di addestramento I modelli linguistici di grandi dimensioni sono i seguenti:

1. Preaddestramento: addestra un modello linguistico di grandi dimensioni (LLM) su un ampio set di dati generale, ad esempio tutte le pagine di Wikipedia in lingua inglese.
2. Ottimizzazione: addestra il modello preaddestrato per eseguire un'attività specifica, ad esempio per rispondere a domande mediche. Il perfezionamento implica in genere centinaia o migliaia di esempi incentrati su quell'attività specifica.

Un altro esempio è la sequenza di addestramento completa per un modello di immagini di grandi dimensioni:

1. Preaddestramento: addestrare un modello di immagini di grandi dimensioni su un vasto set di dati di immagini generali, come tutte le immagini di Wikimedia Commons.
2. Ottimizzazione: addestra il modello preaddestrato per eseguire un'attività specifica, ad esempio generando immagini di orche.

La messa a punto può comportare qualsiasi combinazione delle seguenti strategie:

• Modifica di tutti i parametri esistenti del modello preaddestrato. Questa operazione è talvolta chiamata ottimizzazione completa.
• Modificare solo alcuni dei parametri esistenti del modello preaddestrato (in genere, i livelli più vicini al livello di output), mantenendo invariati gli altri parametri esistenti (in genere, i livelli più vicini al livello di input). Consulta ottimizzazione efficiente dei parametri.
• Aggiunta di altri livelli, in genere sopra i livelli esistenti più vicini al livello di output.

Il perfezionamento è una forma di transfer learning. Di conseguenza, la messa a punto fine potrebbe utilizzare una funzione di perdita o un tipo di modello diverso da quelli utilizzati per addestrare il modello preaddestrato. Ad esempio, potresti perfezionare un modello di immagini di grandi dimensioni preaddestrato per produrre un modello di regressione che restituisce il numero di uccelli in un'immagine di input.

Confronta e contrapponi la messa a punto fine con i seguenti termini:

• distillazione
• Apprendimento basato su prompt

Vedi Ottimizzazione in Machine Learning Crash Course.

Lino

Una libreria open source ad alte prestazioni per il deep learning basata su JAX. Il lino offre funzioni per l'addestramento delle reti neurali, come metodi per valutarne le prestazioni.

Flaxformer

Una libreria di Transformer open source basata su Flax, progettata principalmente per l'elaborazione del linguaggio naturale e la ricerca multimodale.

gate di dimenticanza

La parte della memoria a lungo termine a breve termine cella che regola il flusso di informazioni attraverso la cella. Dimentica le porte e mantieni il contesto decidendo quali informazioni scartare dallo stato della cella.

softmax completo

Sinonimo di softmax.

È diverso dal campionamento dei candidati.

Consulta Reti neurali: multiclasse di classificazione in Machine Learning Crash Course.

Strato completamente connesso

Uno strato nascosto in cui ogni nodo è collegato a ogni nodo nel successivo strato nascosto.

Uno strato completamente connesso è anche noto come strato denso.

trasformazione della funzione

Una funzione che prende una funzione come input e restituisce una funzione trasformata come output. JAX utilizza le trasformazioni delle funzioni.

G

GAN

Abbreviazione di rete generative avversaria.

generalizzazione

La capacità di un modello di fare previsioni corrette su nuovi, di dati non visti in precedenza. Un modello in grado di generalizzare è l'opposto di un modello in caso di overfitting.

Per ulteriori informazioni, consulta la sezione Generalizzazione nel corso introduttivo al machine learning.

Gemini

L'ecosistema che comprende l'IA più avanzata di Google. Gli elementi di questo ecosistema includono:

• Vari modelli Gemini.
• L'interfaccia di conversazione interattiva per un modello Gemini. Gli utenti digitano i prompt e Gemini risponde.
• Varie API Gemini.
• Vari prodotti aziendali basati sui modelli Gemini; ad esempio Gemini per Google Cloud.

Modelli Gemini

Il sistema all'avanguardia di Google, basato su Transformer modelli multimodali. I modelli Gemini sono nello specifico progettato per l'integrazione con gli agenti.

Gli utenti possono interagire con i modelli Gemini in diversi modi, ad esempio tramite un'interfaccia di dialogo interattiva e tramite SDK.

curva di generalizzazione

Un grafico sia della perdita di addestramento sia della perdita di convalida in funzione del numero di iterazioni.

Una curva di generalizzazione può aiutarti a rilevare possibili overfitting. Ad esempio, la curva di generalizzazione suggerisce l'overfitting, poiché la perdita di convalida diventa significativamente più alto della perdita dell'addestramento.

Per ulteriori informazioni, consulta la sezione Generalizzazione nel corso introduttivo al machine learning.

modello lineare generalizzato

Una generalizzazione dei modelli di regressione lineare minima, basati sul rumore gaussiano, ad altri tipi di modelli basati su altri tipi di rumore, come il rumore di Poisson o il rumore categorico. Esempi di modelli lineari generalizzati includono:

• regressione logistica
• regressione multiclasse
• regressione lineare dei minimi quadrati

I parametri di un modello lineare generalizzato sono disponibili ottimizzazione convessa:

I modelli lineari generalizzati presentano le seguenti proprietà:

• La previsione media del modello di regressione con minimi quadrati ottimale è uguale all'etichetta media sui dati di addestramento.
• La probabilità media prevista dalla regressione logistica ottimale equivale all'etichetta media dei dati di addestramento.

La potenza di un modello lineare generalizzato è limitata dalle sue caratteristiche. Non mi piace un modello deep, un modello lineare generalizzato non può "imparare nuove caratteristiche".

rete generativa avversaria (GAN)

Un sistema per creare nuovi dati in cui un generatore crea dati e un discriminatore determina se i dati creati sono validi o non validi.

Per ulteriori informazioni, consulta il corso sulle reti generative avversarie.

IA generativa

Un campo trasformativo emergente senza definizione formale. Detto questo, la maggior parte degli esperti concorda sul fatto che i modelli di IA generativa possono creare ("generare") contenuti che soddisfano tutte le seguenti caratteristiche:

• complesso
• coerente
• originale

Ad esempio, un modello di IA generativa può creare testi o immagini sofisticati.

Alcune tecnologie precedenti, tra cui gli LSTMs. e gli RNN, possono anche generare origini contenuti coerenti. Alcuni esperti considerano queste tecnologie precedenti come l'IA generativa, mentre altri ritengono che la vera IA generativa richieda più modelli di quello che le tecnologie precedenti erano in grado di produrre.

Confrontare con l'ML predittivo.

modello generativo

In pratica, un modello che esegue una delle seguenti operazioni:

• Crea (genera) nuovi esempi dal set di dati di addestramento. Ad esempio, un modello generativo potrebbe creare poesie dopo l'addestramento su un set di dati di poesie. La parte relativa al generatore di un rete generativa avversaria in questa categoria.
• Determina la probabilità che un nuovo esempio provenga un set di addestramento personalizzato o è stato creato dallo stesso meccanismo che ha creato il set di addestramento. Ad esempio, dopo l'addestramento su un set di dati costituito da frasi in inglese, un modello generativo potrebbe determinare la probabilità che il nuovo input sia una frase in inglese valida.

Un modello generativo può teoricamente distinguere la distribuzione di esempi o determinate funzionalità in un set di dati. Ossia:

p(examples)

I modelli di apprendimento non supervisionato sono generativi.

A differenza dei modelli discriminativi.

generatore

Il sottosistema all'interno di una rete di GAN che crea nuovi esempi.

Contrasta il modello discriminativo.

Impurità di Gini

Una metrica simile all'entropia. Separatori utilizzare i valori derivati dall'impurità o dall'entropia di gini per comporre condizioni per la classificazione alberi decisionali. Il guadagno di informazione deriva dall'entropia. Non esiste un termine equivalente universalmente accettato per la metrica derivata dall'impurità di gini; Tuttavia, questa metrica senza nome è importante quanto guadagno di informazioni.

L'impurità di Gini è chiamata anche indice di Gini o semplicemente Gini.

set di dati di riferimento

Un insieme di dati selezionati manualmente che acquisiscono i dati empirici reali. I team possono utilizzare uno o più set di dati aurei per valutare la qualità di un modello.

Alcuni set di dati aurei catturano diversi sottodomini di dati empirici reali. Ad esempio, un set di dati di riferimento per la classificazione delle immagini potrebbe acquisire le condizioni di illuminazione e la risoluzione delle immagini.

GPT (Generative Pre-trained Transformer)

Una famiglia di modelli linguistici di grandi dimensioni basati su Transformer sviluppati da OpenAI.

Le varianti GPT possono essere applicate a diverse modalità, tra cui:

• Generazione di immagini (ad esempio, ImageGPT)
• generazione di testo in immagini (ad esempio, DALL-E).

gradiente

Il vettore delle derivate parziali rispetto a tutte le variabili indipendenti. Nel machine learning, il gradiente è il vettore delle derivate parziali della funzione del modello. Il gradiente punta nella direzione della salita più ripida.

accumulo di gradiente

Una tecnica di retropropagazione che aggiorna la parametri solo una volta per epoca anziché una volta ogni dell'iterazione. Dopo aver elaborato ogni mini-batch, l'accumulo del gradiente aggiorna semplicemente un totale corrente dei gradienti. Poi, dopo l'elaborazione dell'ultimo mini-batch nell'epoca, il sistema aggiorna finalmente i parametri in base al totale di tutte le modifiche del gradiente.

L'accumulo del gradiente è utile quando la dimensione del batch è molto grande rispetto alla quantità di memoria disponibile per l'addestramento. Quando la memoria è un problema, la tendenza naturale è ridurre la dimensione del batch. Tuttavia, la riduzione della dimensione del batch in una normale retropropagazione dell'errore aumenta il numero di aggiornamenti dei parametri. L'accumulo di gradienti consente al modello di evitare problemi di memoria, ma di continuare ad addestrarsi in modo efficiente.

alberi a gradiente (decision) (GBT)

Un tipo di foresta decisionale in cui:

• L'addestramento si basa su incremento del gradiente.
• Il modello debole è un albero decisionale.

Per ulteriori informazioni, consulta la sezione Albero decisionale con boosting della regressione nel corso Foreste decisionali.

incremento del gradiente

Un algoritmo di addestramento in cui i modelli deboli vengono addestrati per migliorare in modo iterativo la qualità (ridurre la perdita) di un modello efficace. Ad esempio, un modello debole potrebbe essere un modello di albero decisionale lineare o di piccole dimensioni. Il modello efficace diventa la somma di tutti i modelli deboli addestrati in precedenza.

Nella forma più semplice di aumento del gradiente, a ogni iterazione, un modello debole addestrato per prevedere il gradiente di perdita del modello forte. Poi, l'output del modello migliore viene aggiornato sottraendo il gradiente previsto, in modo simile alla discesa del gradiente.

dove:

• $F_{0}$ è il modello forte iniziale.
• $F_{i+1}$ è il prossimo modello molto efficace.
• $F_{i}$ è il modello attualmente forte.
• $\xi$ è un valore compreso tra 0,0 e 1,0 chiamato shrinkage, in modo analogo tasso di apprendimento in della discesa del gradiente.
• $f_{i}$ è il modello debole addestrato a prevedere il gradiente di perdita di $F_{i}$.

Le varianti moderne del boosting per gradiente includono anche la seconda derivata (Hessian) della perdita nel calcolo.

Gli alberi decisionali vengono comunemente utilizzati come modelli deboli nell'aumento di gradiente. Consulta alberi ad alto gradiente (decisione).

taglio del gradiente

Un meccanismo di uso comune per attenuare il problema del gradiente esplosivo limitando artificialmente (tagliando) il valore massimo dei gradienti quando si utilizza la discesa del gradiente per addestrare un modello.

discesa del gradiente

Una tecnica matematica per ridurre al minimo la perdita. La discesa del gradiente si regola in modo iterativo ponderazioni e pregiudizi, trovare gradualmente la combinazione migliore per ridurre al minimo la perdita.

La discesa del gradiente è più antica, molto, molto più antica, del machine learning.

Consulta Regressione lineare: gradiente descent in Machine Learning Crash Course.

grafico

In TensorFlow, una specifica di calcolo. I nodi nel grafico rappresentano le operazioni. Gli archi sono diretti e rappresentano il passaggio del risultato di un'operazione (un tensore) come operando a un'altra operazione. Utilizza TensorBoard per visualizzare un grafico.

esecuzione del grafo

Un ambiente di programmazione TensorFlow in cui il programma costruisce inizialmente un grafico che ne esegue l'intero grafico o una sua parte. L'esecuzione del grafo è la modalità di esecuzione predefinita in TensorFlow 1.x.

È il contrario dell'esecuzione anticipata.

norme greedy

Nell'apprendimento per rinforzo, una norma che sceglie sempre con il ritorno previsto più elevato.

dati di fatto

Realtà.

Ciò che è effettivamente successo.

Ad esempio, prendiamo in considerazione un modello di classificazione binaria che prevede se uno studente al primo anno di università si laureerà entro sei anni. I dati di fatto per questo modello indicano se lo studente si è effettivamente laureato entro sei anni.

bias di attribuzione gruppo

Supponendo che ciò che è vero per un individuo sia vero anche per tutti nel gruppo. Gli effetti del bias di attribuzione del gruppo possono essere esacerbati se per la raccolta dei dati viene utilizzato un campionamento di convenienza. In un campione non rappresentativo, le attribuzioni che non riflettono la realtà.

Vedi anche bias di omogeneità fuori gruppo e bias in-group. Inoltre, vedi Equità: tipi di bias in Machine Learning Crash Course.

H

allucinazione

La produzione di output apparentemente plausibili, ma in realtà errati, da parte di un modello di IA generativa che pretende di fare un'affermazione sul mondo reale. Ad esempio, un modello di IA generativa che afferma che Barack Obama è morto nel 1865 è allucinante.

hashing

Nel machine learning, un meccanismo per il raggruppamento di dati categorici, in particolare quando il numero di categorie è elevato, ma il numero di categorie effettivamente visualizzate nel set di dati è relativamente ridotto.

Ad esempio, la Terra ospita circa 73.000 specie di alberi. Potresti rappresentano ciascuna delle 73.000 specie di alberi in 73.000 bucket. In alternativa, se in un set di dati vengono visualizzate solo 200 di queste specie di alberi, puoi utilizzare l'hashing per suddividerle in circa 500 bucket.

Un singolo secchio potrebbe contenere più specie di alberi. Ad esempio, l'hashing potrebbe inserire baobab e acero rosso, due specie geneticamente diverse, nello stesso bucket. In ogni caso, l'hashing è ancora un buon modo per mappare insiemi di categorie di grandi dimensioni nel numero selezionato di bucket. L'hashing trasforma una caratteristica categorica con un numero elevato di valori possibili in un numero molto inferiore di valori raggruppandoli in modo deterministico.

Per ulteriori informazioni, consulta Dati categorici: vocabolario e one-hot encoding nel corso introduttivo al machine learning.

euristica

Una soluzione a un problema semplice e rapidamente implementata. Ad esempio, "Con un'euristica abbiamo raggiunto un'accuratezza dell'86%. Quando abbiamo adottato una rete neurale profonda, l'accuratezza è aumentata fino al 98%".

strato nascosto

Uno strato di una rete neurale tra livello di input (le caratteristiche) e il strato di output (la previsione). Ogni strato nascosto è costituito da uno o più neuroni. Ad esempio, la seguente rete neurale contiene due strati nascosti, la prima con tre neuroni e la seconda con due neuroni:

Una rete neurale profonda contiene più di un strati nascosti. Ad esempio, l'illustrazione precedente mostra una rete neurale profonda perché il modello contiene due strati nascosti.

Consulta Reti neurali: nodi e nascosti strati in Machine Learning Crash Course.

clustering gerarchico

Una categoria di algoritmi di clustering che creano un albero dei cluster. Il clustering gerarchico è adatto ai dati gerarchici, come le tassonomie botaniche. Esistono due tipi di algoritmi di clustering gerarchico:

• Il clustering agglomerativo assegna innanzitutto ogni esempio al proprio cluster e unisce in modo iterativo i cluster più vicini per creare un albero gerarchico.
• Il clustering divisivo raggruppa prima tutti gli esempi in un unico cluster e poi divide in modo iterativo il cluster in un albero gerarchico.

È diverso dal clustering basato su centroidi.

Consulta la sezione Cluster algoritmi disponibili nel corso Clustering per ulteriori informazioni.

perdita della cerniera

Una famiglia di funzioni di perdita per la classificazione progettata per trovare il confine di decisione il più lontano possibile da ogni esempio di addestramento, quindi massimizzando il margine tra gli esempi e il confine. Le KSVM utilizzano la perdita cerniera (o una funzione correlata, come perdita di cerniera al quadrato). Per la classificazione binaria, la funzione di perdita di hinge è definita come segue:

dove y è l'etichetta vera, -1 o +1, e y' è l'output non elaborato del modello di classificazione:

Di conseguenza, un grafico della perdita a cerniera rispetto a (y * y') è il seguente:

bias storico

Un tipo di bias che esiste già nel mondo ed è entrato in un set di dati. Questi bias tendono a riflettere stereotipi culturali, disuguaglianze demografiche e pregiudizi esistenti nei confronti di determinati gruppi sociali.

Ad esempio, prendiamo in considerazione un modello di classificazione che predittivo se un richiedente di prestito non adempie o meno al proprio prestito. Il modello è stato addestrato con dati storici sui mancati pagamenti dei prestiti degli anni '80 di banche locali in due comunità diverse. Se in passato i richiedenti della Comunità A avevano sei volte più probabilità di non pagare i prestiti rispetto ai richiedenti della Comunità B, il modello potrebbe apprendere un bias storico che lo rende meno propenso ad approvare i prestiti nella Comunità A, anche se le condizioni storiche che hanno portato a tassi di insolvenza più elevati in quella comunità non sono più pertinenti.

Per saperne di più, consulta Equità: tipi di bias nel corso introduttivo al machine learning.

dati di controllo

Esempi non utilizzati intenzionalmente ("messi da parte") durante l'addestramento. Il set di dati di convalida e Il set di dati di test è un esempio di dati di holdout. Dati di holdout aiuta a valutare la capacità del modello di generalizzare in base a dati diversi da dati su cui è stato addestrato. La perdita nel set di esclusione fornisce una stima migliore della perdita in un set di dati non visto rispetto alla perdita nel set di addestramento.

host

Quando addestrini un modello di ML su chip acceleratore (GPU o TPU), la parte del sistema che controlla entrambi i seguenti elementi:

• Il flusso complessivo del codice.
• L'estrazione e la trasformazione della pipeline di input.

In genere, l'host viene eseguito su una CPU, non su un chip di accelerazione. Il dispositivo manipola i tensori sui chip di accelerazione.

iperparametro

Le variabili che tu o un servizio di ottimizzazione degli iperparametri regolare durante esecuzioni successive di addestramento di un modello. Ad esempio, il tasso di apprendimento è un iperparametro. Potresti e impostare il tasso di apprendimento a 0,01 prima di una sessione di addestramento. Se stabilisci che 0,01 è troppo alto, potresti impostare il tasso di apprendimento su 0,003 per la sessione di addestramento successiva.

I parametri, invece, sono i vari pesi e bias che il modello apprende durante l'addestramento.

Per ulteriori informazioni, consulta Regressione lineare: iperparametri nel corso introduttivo al machine learning.

iperpiano

Un confine che separa uno spazio in due sottospazi. Ad esempio, una linea è un iperpiano in due dimensioni e un piano è un iperpiano in tre dimensioni. Più tipicamente nel machine learning, un iperpiano è il confine che separa un spazio ad alta dimensionalità. Le macchine a vettori di supporto con kernel utilizzano hyperplane per separare le classi positive dalle classi negative, spesso in uno spazio di dimensioni molto elevate.

I

i.i.d.

Abbreviazione di distribuzione indipendente e identica.

riconoscimento immagini

Un processo che classifica oggetti, pattern o concetti in un'immagine. Il riconoscimento delle immagini è anche noto come classificazione delle immagini.

Per ulteriori informazioni, consulta ML Practicum: Image Classification.

Consulta il ML Practicum: classificazione delle immagini corso per ulteriori informazioni.

set di dati sbilanciato

Sinonimo di class-imbalanced dataset.

bias implicito

Creare automaticamente un'associazione o un'ipotesi in base alle proprie opinioni di archiviazione e memoria. I pregiudizi impliciti possono influire su quanto segue:

• Modalità di raccolta e classificazione dei dati.
• Come vengono progettati e sviluppati i sistemi di machine learning.

Ad esempio, quando crei un classificatore per identificare le foto dei matrimoni, un ingegnere potrebbe usare la presenza di un abito bianco in una foto come caratteristica. Tuttavia, gli abiti bianchi sono stati consueti solo in determinate epoche e in determinate culture.

Vedi anche differenziazione della conferma.

imputazione

Forma abbreviata di attribuzione del valore.

Incompatibilità delle metriche di equità

L'idea che alcune nozioni di equità siano reciprocamente incompatibili e non possano essere soddisfatte contemporaneamente. Di conseguenza, non esiste una sola metrica universale per quantificare l'equità che può essere applicata a tutti i problemi di ML.

Anche se può sembrare scoraggiante, l'incompatibilità delle metriche di equità non implica che gli sforzi per l'equità siano infruttuosi. Suggerisce invece l'equità deve essere definita contestualmente per un dato problema di ML, l'obiettivo di prevenire danni specifici per i suoi casi d'uso.

Vedi "Sulla (im)possibilità di equità" per una discussione più dettagliata su questo argomento.

Apprendimento contestuale

Sinonimo di prompt few-shot.

distribuite in modo indipendente e identico (i.i.d.)

Dati estratti da una distribuzione che non cambia e in cui ogni valore estratto non dipende dai valori estratti in precedenza. Un i.i.d. è il gas ideale della macchina dell'apprendimento: un costrutto matematico utile ma quasi mai trovato esattamente nel mondo reale. Ad esempio, la distribuzione dei visitatori di una pagina web può essere i.i.d. in un breve periodo di tempo, ovvero la distribuzione non cambia durante questo breve periodo e la visita di una persona è generalmente indipendente da quella di un'altra. Tuttavia, se espandi la finestra di tempo, potrebbero apparire differenze stagionali nei visitatori della pagina web.

Vedi anche nonstationarity.

equità individuale

Una metrica di equità che verifica se persone simili sono classificate in modo simile. Ad esempio, la Brobdingnagian Academy potrebbe voler soddisfare la equità individuale garantendo che due studenti con voti e punteggi dei test standardizzati identici abbiano la stessa probabilità di ottenere l'ammissione.

Tieni presente che l'equità individuale si basa interamente sul modo in cui definisci la "somiglianza" (in questo caso, voti e punteggi dei test) ed è possibile correre il rischio Introduzione di nuovi problemi di equità se la metrica di somiglianza non riesce a individuare elementi importanti informazioni (ad esempio il rigore del programma di studio).

Vedi "Fairness Through Awareness" per approfondire l'argomento dell'equità individuale.

inferenza

Nel machine learning, il processo di elaborazione di previsioni applicando un modello addestrato a esempi senza etichetta.

L'inferenza ha un significato leggermente diverso in statistica. Consulta le Articolo di Wikipedia sull'inferenza statistica per maggiori dettagli.

Consulta la sezione Apprendimento supervisionato nel corso Introduzione all'ML per conoscere il ruolo dell'inferenza in un sistema di apprendimento supervisionato.

percorso di inferenza

In un albero decisionale, durante l'inferenza, viene indicato il percorso seguito da un determinato esempio dalla radice ad altre condizioni, che termina con un elemento foglia. Ad esempio, nella seguente struttura decisionale, le frecce più spesse mostrano il percorso di inferenza per un esempio con i seguenti valori delle funzionalità:

• x = 7
• y = 12
• z = -3

Il percorso di inferenza nell'illustrazione seguente attraversa tre condizioni prima di raggiungere la foglia (Zeta).

Le tre frecce spesse mostrano il percorso di inferenza.

Per ulteriori informazioni, consulta la sezione Alberi decisionali nel corso Foreste di alberi decisionali.

guadagno di informazioni

Nelle foreste di alberi decisionali, la differenza tra l'entropia di un nodo e la somma ponderata (in base al numero di esempi) dell'entropia dei suoi nodi secondari. L'entropia di un nodo è l'entropia degli esempi in quel nodo.

Ad esempio, considera i seguenti valori di entropia:

• entropia del nodo principale = 0,6
• entropia di un nodo figlio con 16 esempi pertinenti = 0,2
• entropia di un altro nodo figlio con 24 esempi pertinenti = 0,1

Il 40% degli esempi si trova in un nodo figlio e il 60% nella dall'altro nodo figlio. Pertanto:

• somma dell'entropia ponderata dei nodi secondari = (0,4 * 0,2) + (0,6 * 0,1) = 0,14

Quindi, l'acquisizione di informazioni è:

• guadagno di informazioni = entropia del nodo padre - somma di entropia ponderata dei nodi figlio
• guadagno informativo = 0,6 - 0,14 = 0,46

La maggior parte degli strumenti di suddivisione cerca di creare condizioni che massimizzano l'aumento delle informazioni.

bias nel gruppo

Mostrare parzialità nei confronti del proprio gruppo o delle proprie caratteristiche. Se i tester o i valutatori sono amici, familiari o colleghi dello sviluppatore di machine learning, il bias di gruppo potrebbe invalidare i test del prodotto o il set di dati.

Il bias nel gruppo è una forma di bias di attribuzione del gruppo. Vedi anche bias di omogeneità del gruppo esterno.

Consulta la sezione Equità: tipi di pregiudizi Machine Learning Crash Course per ulteriori informazioni.

generatore di input

Un meccanismo mediante il quale i dati vengono caricati una rete neurale.

Un generatore di input può essere considerato un componente responsabile dell'elaborazione dei dati non elaborati in tensori che vengono sottoposti a iterazione per generare batch per l'addestramento, la valutazione e l'inferenza.

livello di input

Il livello di una rete neurale che contiene il vettore di caratteristiche. In altre parole, il livello di input fornisce esempi per l'addestramento o per l'inferenza. Ad esempio, il livello di input nel seguente la rete neurale è composta da due funzionalità:

Condizione in-set

In un albero decisionale, una condizione che verifica la presenza di un elemento in un insieme di elementi. Ad esempio, la seguente è una condizione in-set:

  house-style in [tudor, colonial, cape]

Durante l'inferenza, se il valore della caratteristica in stile casa è tudor, colonial o cape, questa condizione restituisce Sì. Se il valore della caratteristica casalinga è un altro (ad esempio, ranch), questa condizione restituisce un valore pari a No.

Le condizioni in sede di solito portano a alberi decisionali più efficienti rispetto a che verificano le caratteristiche con codifica one-hot.

istanza

Sinonimo di example.

Ottimizzazione delle istruzioni

Una forma di ottimizzazione che migliora una Abilità del modello di IA generativa istruzioni. L'ottimizzazione delle istruzioni prevede l'addestramento di un modello su una serie di prompt di istruzioni, che in genere coprono un'ampia gamma di attività. Il modello ottimizzato per l'istruzione risultante tende quindi generare risposte utili ai prompt zero-shot in una serie di attività.

Confronta e metti a confronto con:

• ottimizzazione efficiente dei parametri
• ottimizzazione del prompt

interpretabilità

La capacità di spiegare o presentare il ragionamento di un modello ML in comprensibili per un essere umano.

La maggior parte dei modelli di regressione lineare, ad esempio, ha una capacità elevata interpretabili. (devi solo esaminare i pesi addestrati per ogni feature.) Le foreste di alberi decisionali sono anche altamente interpretabili. Alcuni modelli, tuttavia, richiedono una visualizzazione sofisticata per diventare interpretabili.

Puoi utilizzare lo Strumento di interpretabilità dell'apprendimento (LIT) per interpretare i modelli di ML.

accordo tra classificatori

Una misurazione della frequenza con cui i revisori umani concordano nello svolgere un'attività. Se i revisori non sono d'accordo, potrebbe essere necessario migliorare le istruzioni delle attività. Talvolta chiamato anche contratto inter-annotatore o affidabilità tra classificatori. Vedi anche Di Cohen Kappa, che è una delle più comuni misurazioni del contratto tra le valutazioni.

Per ulteriori informazioni, consulta Dati categorici: problemi comuni nel corso introduttivo al machine learning.

intersezione su unione (IoU)

L'intersezione di due insiemi divisa per la loro unione. Nelle attività di rilevamento delle immagini con il machine learning, l'IoU viene utilizzato per misurare l'accuratezza del riquadro di delimitazione previsto dal modello rispetto al riquadro di delimitazione dei dati empirici reali. In questo caso, l'IoU per "due caselle" è il rapporto tra l'area di sovrapposizione e l'area totale, e il suo valore è compreso tra 0 (nessuna sovrapposizione del riquadro di delimitazione previsto e dei dati empirici reali il riquadro di delimitazione) a 1 (il riquadro di delimitazione previsto e il riquadro di delimitazione dei dati empirici reali hanno esattamente le stesse coordinate).

Ad esempio, nell'immagine seguente:

• Il riquadro di delimitazione previsto (le coordinate che delimitano il punto in cui il modello prevede che il comodino nel dipinto) sia contornato in viola.
• Il riquadro di delimitazione dei dati empirici reali (le coordinate che delimitano il luogo della notte di Google Cloud nel dipinto) è contornato in verde.

Qui l'intersezione dei riquadri di delimitazione per la previsione e i dati empirici reali (sotto a sinistra) è 1 e l'unione dei riquadri di delimitazione per la previsione e i dati empirici reali (sotto a destra) è 7, quindi l'IoU è \(\frac{1}{7}\).

IoU

Abbreviazione di intersection over Union.

matrice di elementi

Nei sistemi di consigli, una matrice di vettori di incorporamento generata fattorizzazione matriciale che contengono indicatori latenti su ogni elemento. Ogni riga della matrice contiene il valore di un singolo elemento latente per tutti gli articoli. Ad esempio, considera un sistema di consigli sui film. Ogni colonna nella matrice degli elementi rappresenta un singolo filmato. Gli indicatori latenti possono rappresentare generi o essere indicatori più difficili da interpretare che coinvolgono interazioni complesse tra genere, stelle, età del film o altri fattori.

La matrice degli elementi ha lo stesso numero di colonne della matrice di destinazione che viene fattorizzata. Ad esempio, dato un sistema di consigli per i film che valuta 10.000 titoli di film, la matrice degli elementi avrà 10.000 colonne.

elementi

In un sistema di suggerimenti, le entità consigliate da un sistema. Ad esempio, i video sono gli articoli di un video consiglia, mentre i libri sono gli articoli consigliati da una libreria.

iterazione

Un singolo aggiornamento dei parametri di un modello, ovvero i suoi pesi e bias, durante l'addestramento. La dimensione del batch determina il numero di esempi elaborati dal modello in una singola iterazione. Ad esempio, se la dimensione del batch è 20, il modello elabora 20 esempi prima regolare i parametri.

Durante l'addestramento di una rete neurale, una singola iterazione coinvolge i seguenti due passaggi:

1. Un passaggio in avanti per valutare la perdita su un singolo batch.
2. Un passaggio all'indietro (retropropagazione) per regolare i parametri del modello in base alla perdita e al tasso di apprendimento.

J

JAX

Una libreria di array computing, che riunisce XLA (Accelerated Linear Algebra) e differenziazione automatica per il calcolo numerico ad alte prestazioni. JAX fornisce un'API semplice e potente per scrivere codice numerico accelerato con trasformazioni componibili. JAX offre funzionalità come:

• grad (differenziazione automatica)
• jit (compilazione just-in-time)
• vmap (Vectorizzazione o batch automatici)
• pmap (parallelizzazione)

JAX è un linguaggio per esprimere e comporre trasformazioni di analogo, ma di ambito molto più ampio, a NumPy di Python libreria. (Di fatto, la libreria .numpy in JAX è una funzione equivalente, ma una versione completamente riscritta della libreria Python NumPy.)

JAX è particolarmente adatta per accelerare molte attività di machine learning trasformando i modelli e i dati in una forma adatta al parallelismo su GPU e chip dell'acceleratore TPU.

Flax, Optax, Pax e molti altri sono basate sull'infrastruttura JAX.

K

Keras

Un'API di machine learning Python molto utilizzata. Keras funziona su diversi framework di deep learning, tra cui TensorFlow, dove è reso disponibile come tf.keras.

Macchine a vettori di supporto con kernel (KSVM)

Un algoritmo di classificazione che cerca di massimizzare il margine tra positiva e classi negative mediante la mappatura dei vettori di dati di input in uno spazio dimensionale più elevato. Ad esempio, considera una classificazione problema in cui il set di dati di input ha un centinaio di caratteristiche. Per massimizzare il margine tra classi positive e negative, una KSVM potrebbe mappare internamente queste caratteristiche in uno spazio milionario. I KSVM utilizzano una funzione di perdita chiamata perdita a cerniera.

keypoints

Coordinate di elementi particolari in un'immagine. Ad esempio, per un modello di riconoscimento delle immagini che distingue le specie di fiori, i punti chiave potrebbero essere il centro di ogni petalo, il gambo, lo stame e così via.

convalida incrociata k-fold

Un algoritmo per prevedere la capacità di un modello di generalizzare con nuovi dati. Il valore k in k-fold si riferisce al numero di gruppi uguali in cui dividi gli esempi di un set di dati, ovvero addestra e testa il modello k volte. Per ogni fase di addestramento e test, un gruppo diverso è il set di test, mentre tutti i gruppi rimanenti costituiscono il set per iniziare. Dopo k cicli di addestramento e test, si calcola la media e deviazione standard delle metriche di test scelte.

Ad esempio, supponiamo che il tuo set di dati sia costituito da 120 esempi. Supponiamo inoltre che tu decida di impostare k su 4. Pertanto, dopo aver rimescolato gli esempi, suddividi il set di dati in quattro gruppi uguali di 30 esempi e conduci quattro fasi di addestramento e test:

Ad esempio, errore quadratico medio (MSE) potrebbe essere la metrica più significativa per un modello di regressione lineare. Pertanto, troverai la media e la deviazione standard dell'errore quadratico medio in tutti e quattro i round.

K-means

Un algoritmo di clustering molto utilizzato che raggruppa gli esempi nell'apprendimento non supervisionato. L'algoritmo k-means esegue in sostanza le seguenti operazioni:

• Determina iterativamente i migliori punti k centrali (noti come centroids).
• Assegna ogni esempio al centroide più vicino. Gli esempi più vicini allo stesso centroide appartengono allo stesso gruppo.

L'algoritmo k-means sceglie le posizioni dei centroidi per ridurre al minimo il valore quadrato cumulativo delle distanze da ciascun esempio al centroide più vicino.

Ad esempio, considera il seguente diagramma di altezza rispetto alla larghezza del cane:

Se k=3, l'algoritmo K-means determinerà tre centroidi. Ogni esempio al centroide più vicino, generando tre gruppi:

Immagina che un produttore voglia determinare le taglie ideali per maglioni di taglia media e grande per cani. I tre centroidi identificano la media l'altezza e la larghezza media di ogni cane in quell'ammasso. Pertanto, il produttore dovrebbe basare le taglie dei maglioni su questi tre centroidi. Tieni presente che il centroide di un cluster in genere non è un esempio nel cluster.

Le illustrazioni precedenti mostrano k-means per esempi con solo due caratteristiche (altezza e larghezza). Tieni presente che k-means può raggruppare gli esempi in base a molte funzionalità.

mediana k

Un algoritmo di clustering strettamente correlato al clustering K-means. La differenza pratica tra i due è la seguente:

• In K-means, i baridi vengono determinati minimizzando la somma dei quadrati della distanza tra un candidato centroide e ciascuno di i suoi esempi.
• Nella mediana k, i baridi sono determinati minimizzando la somma dei distanza tra un candidato baricentro e ognuno dei suoi esempi.

Tieni presente che anche le definizioni di distanza sono diverse:

• k-means si basa sulla distanza euclidea dal centroide a un esempio. (In due dimensioni, il modello la distanza indica che si usa il teorema di Pitagora per calcolare dell'ipotenusa). Ad esempio, la distanza k-means tra (2,2) e (5,-2) sarebbe:

• Il k-median si basa sulla distanza di Manhattan dal centroide a un esempio. Questa distanza è la somma dei variazioni assolute in ogni dimensione. Ad esempio, la mediana k la distanza tra (2,2) e (5,-2) sarebbe:

L

Regolarizzazione L₀

Un tipo di regolarizzazione che penalizza il numero totale di ponderazioni diverse da zero in un modello. Ad esempio, un modello con 11 pesi diversi da zero verrebbe penalizzato più di un modello simile con 10 pesi diversi da zero.

La regolarizzazione L₀ viene talvolta chiamata regolarizzazione della norma L0.

Perdita L₁

Una funzione di perdita che calcola il valore assoluto della differenza tra i valori effettivi delle etichette e i valori previsti da un modello. Ad esempio, di seguito è riportato il calcolo della perdita L₁ per un batch di cinque esempi:

La perdita L₁ è meno sensibile agli outlier rispetto alla perdita di L₂.

L'errore medio assoluto è la media Perdita di ₁ per esempio.

Regolarizzazione L₁

Un tipo di regolarizzazione che penalizza le ponderazioni in proporzione alla somma del valore assoluto delle ponderazioni. La regolarizzazione L₁ aiuta a gestire la ponderazione di elementi o funzionalità appena pertinenti su 0. Una caratteristica con una ponderazione pari a 0 viene effettivamente rimossa dal modello.

È diversa dalla regolarizzazione L₂.

Perdita L₂

Una funzione di perdita che calcola il quadrato della differenza tra i valori effettivi di etichetta e i valori previsti da un modello. Ad esempio, ecco il calcolo della perdita L₂ per un batch di cinque esempi:

A causa della quadratura, la perdita L₂ amplifica l'influenza degli outlier. Vale a dire che la perdita L₂ reagisce più fortemente a previsioni errate rispetto a perdita di L₁. Ad esempio, la perdita L₁ per il batch precedente sarebbe 8 anziché 16. Nota che una singola i valori anomali rappresentano 9 dei 16.

I modelli di regressione in genere utilizzano la perdita L₂ come funzione di perdita.

Lo scarto quadratico medio è la perdita L₂ media per esempio. La perdita quadratica è un altro nome per la perdita L₂.

Regolarizzazione L₂

Un tipo di regolarizzazione che penalizza le ponderazioni in proporzione alla somma dei quadrati delle ponderazioni. La regolarizzazione L₂ aiuta a generare ponderazioni outlier (ovvero con valori positivi o negativi bassi) più vicini a 0 ma non proprio a 0. Le caratteristiche con valori molto vicini a 0 rimangono nel modello, ma non influiscono molto sulla previsione del modello.

La regolarizzazione L₂ migliora sempre la generalizzazione nelle modelli lineari.

Confrontare con la regolarizzazione L₁.

etichetta

Nel machine learning supervisionato, la parte "risposta" o "risultato" di un esempio.

Ogni esempio con etichetta è costituito da uno o più elementi e da un'etichetta. Ad esempio, in un file di rilevamento, l'etichetta sarà probabilmente "spam" o "non spam." In un set di dati sulla pioggia, l'etichetta potrebbe essere la quantità di pioggia caduta durante un determinato periodo.

Esempio con etichetta

Un esempio che contiene una o più caratteristiche e un'etichetta. Ad esempio, la tabella seguente mostra tre esempi etichettati di un modello di valutazione di case, ciascuno con tre funzionalità e un'etichetta:

Nel machine learning supervisionato, i modelli vengono addestrati su esempi etichettati ed effettuano previsioni su esempi non etichettati.

Confronta l'esempio etichettato con gli esempi senza etichetta.

fuga di etichette

Un difetto di progettazione del modello in cui una caratteristica è un proxy per etichetta. Ad esempio, considera un modello di classificazione binaria che prevede se un potenziale cliente acquisterà o meno un determinato prodotto. Supponiamo che una delle caratteristiche del modello sia un nome booleano SpokeToCustomerAgent. Supponiamo inoltre che un agente addetto alla clientela venga assegnato solo dopo che il potenziale cliente ha effettivamente acquistato il prodotto. Durante l'addestramento, il modello apprenderà rapidamente l'associazione tra SpokeToCustomerAgent e l'etichetta.

lambda

Sinonimo di tasso di regolarizzazione.

Lambda è un termine sovraccaricato. Qui ci concentriamo sulla definizione del termine all'interno della regolarizzazione.

LaMDA (Language Model for Dialogue Applications)

Un modello linguistico di grandi dimensioni basato su Transformer sviluppato da Google e addestrato su un ampio set di dati di dialogo in grado di generare risposte di conversazione realistiche.

LaMDA: la nostra tecnologia di conversazione rivoluzionaria fornisce una panoramica.

punti di riferimento

Sinonimo di keypoint.

modello linguistico

Un modello che stima la probabilità che un token o una sequenza di token si verifichi in una sequenza più lunga di token.

modello linguistico di grandi dimensioni

Come minimo, un modello linguistico con un numero molto elevato di parametri. In modo più informale, qualsiasi Transformer (LLM), ad esempio Gemini o GPT.

spazio latente

Sinonimo di spazio di incorporamento.

livello

Un insieme di neuroni in una rete neurale. Tre tipi comuni di strati sono i seguenti:

• Il livello di input, che fornisce i valori per tutte le caratteristiche.
• Uno o più livelli nascosti, che trovano relazioni non lineari tra le caratteristiche e l'etichetta.
• Lo strato di output, che fornisce la previsione.

Ad esempio, l'illustrazione seguente mostra una rete neurale con uno di input, due nascosti e uno di output:

In TensorFlow, i livelli sono anche funzioni Python che accettano come input Tensor e opzioni di configurazione e producono come output altri tensori.

API Livelli (tf.layers)

Un'API TensorFlow per la creazione di una rete neurale profonda una composizione di strati. L'API Livelli ti consente di creare tipi di livelli, ad esempio:

• tf.layers.Dense per uno strato completamente connesso.
• tf.layers.Conv2D per un livello convoluzionale.

L'API Livelli segue le convenzioni dell'API per i livelli Keras. Ciò significa che, a parte un prefisso diverso, tutte le funzioni dell'API Layers hanno gli stessi nomi e le stesse firme delle relative controparti nell'API di Keras.

foglia

Qualsiasi endpoint in un albero decisionale. A differenza di una condizione, una foglia non esegue un test. Piuttosto, una foglia è una possibile previsione. Una foglia è anche il nodo terminale di un percorso di inferenza.

Ad esempio, il seguente albero decisionale contiene tre foglie:

Learning Interpretability Tool (LIT)

Uno strumento visivo e interattivo per la comprensione dei modelli e la visualizzazione dei dati.

Puoi utilizzare LIT open source per interpretare i modelli o per visualizzare testo, immagini e dati tabulari.

tasso di apprendimento

Un numero in virgola mobile che indica all'algoritmo di discesa del gradiente quanto modificare le ponderazioni e i bias a ogni iterazione. Ad esempio, un tasso di apprendimento di 0,3 aggiusterebbe i pesi e i bias tre volte più efficacemente di un tasso di apprendimento di 0,1.

Il tasso di apprendimento è un iperparametro fondamentale. Se imposti il tasso di apprendimento è troppo basso, l'addestramento richiederà troppo tempo. Se impostate il tasso di apprendimento troppo alto, la discesa del gradiente spesso ha difficoltà a raggiungere la convergenza.

regressione lineare dei minimi quadrati

Un modello di regressione lineare addestrato mediante la minimizzazione della perdita L₂.

lineare

Una relazione tra due o più variabili che può essere rappresentata unicamente tramite addizione e moltiplicazione.

Il diagramma di una relazione lineare è una linea.

È il contrario di non lineare.

modello lineare

Un modello che assegna un peso per feature per fare previsioni. I modelli lineari incorporano anche un bias. Al contrario, la relazione delle caratteristiche con le previsioni nei modelli diretti è generalmente nonlinear.

I modelli lineari sono in genere più facili da addestrare e più interpretabili rispetto ai modelli di deep learning. Tuttavia, i modelli di apprendimento profondo possono apprendere relazioni complesse tra le caratteristiche.

Regressione lineare e La regressione logistica sono due tipi di modelli lineari.

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

regressione lineare

Un tipo di modello di machine learning in cui si verificano entrambe le seguenti condizioni:

• Il modello è un modello lineare.
• La previsione è un valore con virgola mobile. (Questa è la parte di regressione della regressione lineare.)

Confronta la regressione lineare con la regressione logistica. Inoltre, confronta la regressione con la classificazione.

LIT

Abbreviazione per Strumento di interpretabilità dell'apprendimento (LIT), precedentemente noto come strumento di interpretabilità linguistica.

LLM

Abbreviazione di Large Language Model.

Valutazioni LLM (evals)

Un insieme di metriche e benchmark per valutare le prestazioni di modelli linguistici di grandi dimensioni (LLM). A livello generale, Valutazioni LLM:

• Aiutare i ricercatori a identificare le aree in cui gli LLM devono essere migliorati.
• Sono utili per confrontare diversi LLM e identificare l'LLM migliore per un un'attività specifica.
• Contribuisci ad assicurare che gli LLM siano sicuri ed etici.

regressione logistica

Un tipo di modello di regressione che prevede una probabilità. I modelli di regressione logistica hanno le seguenti caratteristiche:

• L'etichetta è categorica. Il termine regressione logistica solitamente si riferisce alla regressione logistica binaria, ovvero a un modello che calcola le probabilità per le etichette con due valori possibili. Una variante meno comune, la regressione logistica multinomiale, calcola probabilità di etichette con più di due valori possibili.
• La funzione di perdita durante l'addestramento è perdita logaritmica. (È possibile posizionare più unità di perdita di log in parallelo per le etichette) con più di due valori possibili).
• Il modello ha un'architettura lineare, non una rete neurale profonda. Tuttavia, il resto di questa definizione si applica anche modelli profondi che prevedono le probabilità per le etichette categoriche.

Ad esempio, considera un modello di regressione logistica che calcola il la probabilità che un'email di input sia spam o non spam. Durante l'inferenza, supponiamo che il modello preveda 0,72. Pertanto, il modello stima:

• 72% di probabilità che l'email sia spam.
• 28% di probabilità che l'email non sia spam.

Un modello di regressione logistica utilizza la seguente architettura in due passaggi:

1. Il modello genera una previsione non elaborata (y') applicando una funzione lineare di caratteristiche di input.
2. Il modello utilizza questa previsione non elaborata come input per un funzione sigmoidale, che converte i dati non elaborati la previsione con un valore compreso tra 0 e 1, esclusi.

Come ogni modello di regressione, anche quello logistica prevede un numero. Tuttavia, questo numero in genere diventa parte di una classificazione binaria modello come segue:

• Se il numero previsto è maggiore del valore soglia di classificazione, il modello di classificazione binaria prevede la classe positiva.
• Se il numero previsto è inferiore alla soglia di classificazione, il modello di classificazione binaria prevede la classe negativa.

logit

Il vettore di previsioni non elaborate (non normalizzate) che una classificazione generato dal modello, che di solito viene passato a una funzione di normalizzazione. Se il modello risolve una classificazione multiclasse problema, i logit di solito diventano un input Funzione softmax. La funzione softmax genera quindi un vettore di probabilità (normalizzate) con un valore per ogni classe possibile.

Log Loss

La funzione di perdita utilizzata nella regressione logistica binaria.

probabilità logaritmica

Il logaritmo delle probabilità di un evento.

LSTM (Long Short-Term Memory).

Un tipo di cella in una rete neurale ricorrente utilizzata per elaborare sequenze di dati in applicazioni come il riconoscimento della scrittura, traduzione e didascalie delle immagini. Gli LSTM risolvono il problema problema di scomparsa del gradiente che si verifica quando di addestramento degli RNN grazie a lunghe sequenze di dati mantenendo la cronologia in stato della memoria interna in base al nuovo input e al contesto delle celle precedenti nell'RNN.

LoRA

Abbreviazione di Low-Rank Adaptability.

perdita

Durante l'addestramento di un modello supervisionato, una misura della distanza tra la previsione di un modello e la sua etichetta.

Una funzione di perdita calcola la perdita.

aggregatore perdita

Un tipo di algoritmo di machine learning che migliora le prestazioni di un modello combinando le previsioni di più modelli e utilizzando queste previsioni per fare una singola previsione. Di conseguenza, un aggregatore di perdite può ridurre la varianza delle previsioni e migliorare la loro accuratezza.

curva di perdita

Un grafico della perdita in funzione del numero di iterazioni di addestramento. Il grafico seguente mostra una perdita tipica curva:

Le curve di perdita possono aiutarti a determinare quando il modello è in fase di convergenza o soffre di overfitting.

Le curve di perdita possono tracciare tutti i seguenti tipi di perdita:

• perdita dell'addestramento
• Perdita di convalida
• perdita del test

Vedi anche curva di generalizzazione.

funzione di perdita

Durante l'addestramento o il test, funzione matematica che calcola su un batch di esempi. Una funzione di perdita restituisce una perdita inferiore per i modelli che fanno buone previsioni rispetto a quelli che fanno cattive previsioni.

Lo scopo dell'addestramento è in genere minimizzare la perdita restituita da una funzione di perdita.

Esistono molti tipi diversi di funzioni di perdita. Scegli la funzione di perdita appropriata per il tipo di modello che stai creando. Ad esempio:

• Perdita L₂ (o errore quadratico medio) è la funzione di perdita della regressione lineare.
• La perdita logaritmica è la funzione di perdita per la regressione logistica.

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

  f(x, y) = 3x -5xy + y2 + 17

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

  height > width