Glossaire du machine learning

Ce glossaire définit des termes généraux liés au machine learning, ainsi que des termes spécifiques à TensorFlow.

A

ablation

Technique d'évaluation de l'importance d'une caractéristique ou un composant en les supprimant temporairement d'un modèle. Vous réentraînez ensuite le modèle sans cette caractéristique ou ce composant. Si les performances du modèle réentraîné sont nettement moins bonnes, la caractéristique ou le composant supprimés étaient probablement importants.

Par exemple, supposons que vous entraîniez un modèle de classification sur 10 caractéristiques et que vous obteniez une précision de 88 % sur l'ensemble de test. Pour vérifier l'importance de la première caractéristique, vous pouvez réentraîner le modèle en n'utilisant que les neuf autres caractéristiques. Si les performances du modèle réentraîné sont nettement inférieures une précision de 55 %), la caractéristique supprimée était probablement importante. À l'inverse, si le modèle réentraîné fonctionne tout aussi bien, cette caractéristique n'était probablement pas si importante.

L'ablation peut également aider à déterminer l'importance de:

• Composants plus volumineux, comme le sous-système complet d'un système de ML plus vaste
• Processus ou techniques, comme une étape de prétraitement des données

Dans les deux cas, vous observerez comment les performances du système changent (ou ne change pas) après avoir supprimé le composant.

Tests A/B

Façon statistique de comparer deux (ou plus) techniques : le A et le B. En règle générale, le A est une technique existante, et le La technique B est une nouvelle technique. Les tests A/B permettent non seulement de déterminer quelle technique est la plus performante, mais aussi si la différence est statistiquement pertinente.

Les tests A/B comparent généralement une seule métrique sur deux techniques. par exemple, quelle est la différence entre la justesse techniques? Toutefois, les tests A/B permettent également de comparer n'importe quel nombre fini de métriques.

chip d'accélération

Catégorie de composants matériels spécialisés conçus pour offrir des performances clés nécessaires aux algorithmes de deep learning.

Les puces d'accélération (ou accélérateurs, en abrégé) peuvent considérablement augmenter la vitesse et l'efficacité des tâches d'entraînement et d'inférence ; par rapport à un CPU à usage général. Elles sont idéales pour l'entraînement les réseaux de neurones et d'autres tâches similaires utilisant beaucoup de ressources de calcul.

Voici quelques exemples de puces d'accélération:

• TPU (Tensor Processing Units) de Google avec du matériel dédié pour le deep learning.
• Les GPU NVIDIA qui, bien qu'ils aient été initialement conçus pour le traitement graphique, sont conçus pour permettre le traitement en parallèle, ce qui peut considérablement d'augmenter la vitesse de traitement.

accuracy

Nombre de prédictions de classification correcte divisé par le nombre total de prédictions. Par exemple :

Par exemple, un modèle ayant effectué 40 prédictions correctes et 10 prédictions incorrectes la précision des prédictions est de:

La classification binaire fournit des noms spécifiques pour connaître les différentes catégories de prédictions correctes prédictions incorrectes. La formule de précision pour la classification binaire est donc la suivante :

où :

• Le TP correspond au nombre de vrais positifs (prédictions correctes).
• TN correspond au nombre de vrais négatifs (prédictions correctes).
• Le FP correspond au nombre de faux positifs (prédictions incorrectes).
• "FN" correspond au nombre de faux négatifs (prédictions incorrectes).

Comparez la justesse à la précision et au rappel.

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

Pour en savoir plus, consultez Classification : précision, rappel, précision et métriques associées dans le cours d'initiation au machine learning.

action

Dans l'apprentissage par renforcement, le mécanisme par lequel l'agent des transitions entre les états environnement. L'agent choisit l'action à l'aide d'une règle.

fonction d'activation

Fonction qui permet aux réseaux de neurones d'apprendre Relations nonlinear (complexes) entre les caractéristiques et l'étiquette.

Les fonctions d'activation les plus courantes sont les suivantes:

• ReLU
• Sigmoïde

Les tracés des fonctions d'activation ne sont jamais des lignes droites. Par exemple, le tracé de la fonction d'activation ReLU se compose de deux lignes droites :

Un graphique de la fonction d'activation sigmoïde se présente comme suit :

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Voir la section Réseaux de neurones: activation Fonctions dans le Cours d'initiation au Machine Learning.

apprentissage actif

Méthode d'entraînement dans laquelle l'algorithme sélectionne une partie des données qui servent à son apprentissage. Apprentissage actif est particulièrement utile pour les exemples étiquetés sont rares ou coûteux à obtenir. Au lieu de chercher aveuglément à accéder d'exemples étiquetés, un algorithme d'apprentissage actif recherche de manière sélective la gamme particulière d'exemples dont il a besoin pour apprendre.

AdaGrad

Algorithme sophistiqué de descente de gradient qui redimensionne les gradients de chaque paramètre, ce qui permet d'attribuer chaque paramètre un taux d'apprentissage indépendant ; Pour une explication complète, consultez cet article d'AdaGrad.

agent

Dans le machine learning par renforcement, entité qui utilise une stratégie pour maximiser le rendement attendu obtenu en passant d'un état à un autre de l'environnement.

Plus généralement, un agent est un logiciel qui planifie et exécute de manière autonome série d'actions pour atteindre un objectif, avec la capacité de s'adapter aux changements dans son environnement. Par exemple, un agent basé sur LLM peut utiliser un LLM pour générer un plan, plutôt que d'appliquer une politique d'apprentissage par renforcement.

clustering agglomératif

Voir clustering hiérarchique.

détection d'anomalies

Processus d'identification des anomalies. Par exemple, si la moyenne d'une certaine fonctionnalité est de 100 avec une déviation standard de 10, la détection des anomalies doit signaler une valeur de 200 comme suspecte.

AR

Abréviation de réalité augmentée.

aire sous la courbe PR

Consultez AUC PR (aire sous la courbe PR).

aire sous la courbe ROC

Consultez la section AUC (aire sous la courbe ROC).

intelligence générale artificielle

Mécanisme non humain qui démontre un vaste éventail de résolutions de problèmes la créativité et l'adaptabilité. Par exemple, un programme démontrant des l'intelligence générale pouvait traduire du texte, composer des symphonies et exceller dans des jeux qui n'ont pas encore été inventés.

intelligence artificielle

Programme ou modèle non humain capable d'exécuter des tâches complexes. Par exemple, un programme ou un modèle qui traduit du texte, ou un programme ou un modèle identifie les maladies à partir d'images radiologiques souffrent toutes deux d'intelligence artificielle.

Officiellement, le machine learning est un sous-domaine de l'intelligence artificielle et l'intelligence artificielle. Cependant, ces dernières années, certaines entreprises ont commencé à utiliser les termes intelligence artificielle et machine learning sont interchangeables.

"Attention",

Mécanisme utilisé dans un réseau de neurones qui indique l'importance d'un mot ou d'une partie de mot spécifique. L'attention se compresse la quantité d'informations dont un modèle a besoin pour prédire le jeton ou le mot suivant. Un mécanisme d'attention typique peut consister en une somme pondérée sur un ensemble d'entrées, où le poids de chaque entrée est calculé par une autre partie du réseau de neurones.

Consultez également la auto-attention et l'auto-attention multitête, qui sont les éléments de base des Transformers.

Voir l'article LLM: Qu'est-ce qu'un grand langage modèle ? dans le Cours d'initiation au Machine Learning pour en savoir plus sur l'auto-attention.

attribut

Synonyme de caractéristique.

Dans l'équité du machine learning, les attributs font souvent référence aux caractéristiques des individus.

échantillonnage d'attributs

Une tactique d'entraînement d'une forêt de décision dans laquelle chaque L'arbre de décision ne considère qu'un sous-ensemble aléatoire de possibilités features lors de l'apprentissage de la condition. En règle générale, un sous-ensemble différent de caractéristiques est échantillonné pour chaque node. En revanche, lors de l'entraînement d'un arbre de décision sans échantillonnage d'attributs, toutes les caractéristiques possibles sont prises en compte pour chaque nœud.

AUC (aire sous la courbe ROC)

Un nombre compris entre 0,0 et 1,0 représentant une modèle de classification binaire possibilité de séparer les classes positives des classes négatives. Plus l'AUC est proche de 1,0, meilleure est la capacité du modèle à séparer les uns des autres.

Par exemple, l'illustration suivante montre un modèle de classificateur qui sépare parfaitement les classes positives (ovales verts) des classes négatives (rectangles violets). Ce modèle irréaliste parfaitement un AUC de 1,0:

À l'inverse, l'illustration suivante montre les résultats d'un modèle de classificateur qui a généré des résultats aléatoires. Ce modèle a une AUC de 0,5 :

Oui, le modèle précédent a une AUC de 0,5, et non de 0,0.

La plupart des modèles se situent entre les deux extrêmes. Par exemple, le paramètre permet de séparer quelque peu les positifs et les négatifs. a un AUC compris entre 0,5 et 1,0:

L'AUC ignore toute valeur définie pour seuil de classification. Au lieu de cela, l'AUC prend en compte tous les seuils de classification possibles.

Pour en savoir plus, consultez la section Classification : ROC et AUC du cours d'initiation au machine learning.

réalité augmentée

Technologie qui superpose une image générée par ordinateur à la vue d'un utilisateur de le monde réel, fournissant ainsi une vue composite.

auto-encodeur

Un système qui apprend à extraire les informations les plus importantes du saisie. Les auto-encodeurs sont la combinaison d'un encodeur et décodeur. Les autoencodeurs reposent sur le processus en deux étapes suivant :

1. L'encodeur mappe l'entrée sur un format (intermédiaire) à faible dimension (généralement avec perte).
2. Le décodeur crée une version avec perte de l'entrée d'origine en mappant le format à dimension inférieure sur le format d'entrée d'origine à dimension supérieure.

Les auto-encodeurs sont entraînés de bout en bout, reconstruire l'entrée d'origine à partir du format intermédiaire de l'encodeur aussi près que possible. Comme le format intermédiaire est plus petit, (dimensions inférieures) par rapport au format d'origine, l'auto-encodeur est forcé pour savoir quelles informations de l'entrée sont essentielles, doit être parfaitement identique à l'entrée.

Exemple :

• Si les données d'entrée sont des graphiques, la copie non exacte sera semblable à l'image d'origine, mais quelque peu modifiée. Il se peut que la copie non exacte élimine le bruit de l'image d'origine ou remplit il manque des pixels.
• Si les données d'entrée sont du texte, un auto-encodeur génère un nouveau texte imite (mais n'est pas identique) le texte d'origine.

Voir également les auto-encodeurs variationnels.

biais d'automatisation

Lorsqu'un décisionnaire humain favorise les recommandations émises par une solution de prise de décision basée sur les informations prises sans automatisation, lorsque le système automatisé de prise de décision fait des erreurs.

Pour en savoir plus, consultez la section Équité : types de biais dans le cours d'initiation au machine learning.

AutoML

Tout processus automatisé de création de modèles de machine learning . AutoML peut effectuer automatiquement des tâches telles que les suivantes :

• Recherchez le modèle le plus approprié.
• Réglez les hyperparamètres.
• Préparer les données (y compris effectuer l'ingénierie des caractéristiques)
• Déployez le modèle obtenu.

AutoML est utile pour les data scientists, car il peut leur faire gagner du temps et développement de pipelines de machine learning et améliorer les prédictions précision. Il est également utile aux non-experts, car il rend les tâches de machine learning complexes plus accessibles.

Voir Machine automatisée Apprentissage (AutoML) dans le Cours d'initiation au Machine Learning.

modèle autorégressif

Un modèle qui déduit une prédiction à partir de ses propres prédictions des prédictions. Par exemple, les modèles de langage autorégressifs prédisent jeton basé sur les jetons précédemment prédits. Tous les grands modèles de langage basés sur Transformer sont autorégressifs.

En revanche, les modèles d'images basés sur GAN ne sont généralement pas autorégressifs. car ils génèrent une image en un seul passage avant et non de manière itérative dans étapes. Cependant, certains modèles de génération d'images sont autorégressifs, car ils génèrent une image par étapes.

perte auxiliaire

Une fonction de perte, utilisée conjointement avec la fonction de perte principale du modèle de réseau de neurones, qui permet d'accélérer l'entraînement lors des premières itérations, lorsque les poids sont initialisés de manière aléatoire.

Les fonctions de perte auxiliaires transfèrent les gradients efficaces vers les couches précédentes. Cela facilite la convergence lors de l'entraînement en luttant contre le problème de gradient qui disparaît.

précision moyenne

Métrique permettant de résumer les performances d'une séquence de résultats classée. La précision moyenne est calculée en prenant la moyenne des valeurs de précision pour chaque résultat pertinent (chaque résultat de la liste triée où le rappel augmente par rapport au résultat précédent).

Consultez également Aire sous la courbe PR.

condition alignée sur l'axe

Dans un arbre de décision, condition ne concernant qu'une seule fonctionnalité. Par exemple, si la zone est une fonctionnalité, la condition suivante est une condition alignée sur l'axe :

area > 200

À comparer à la condition oblique.

B

rétropropagation

L'algorithme qui implémente descente de gradient dans réseaux de neurones.

L'entraînement d'un réseau de neurones implique de nombreuses itérations du cycle en deux étapes suivant :

1. Lors de la passée avant, le système traite un lot d'exemples pour générer une ou plusieurs prédictions. Le système compare chaque à chaque valeur d'étiquette. La différence entre la prédiction et la valeur de l'étiquette correspond à la perte pour cet exemple. Le système agrège les pertes pour tous les exemples afin de calculer le total pour le lot actuel.
2. Lors de la rétropropagation, le système réduit la perte de ajuster les pondérations de tous les neurones de toutes les couche(s) cachée(s).

Les réseaux de neurones contiennent souvent de nombreux neurones sur de nombreuses couches cachées. Chacun de ces neurones contribue à la perte globale de différentes manières. La rétropropagation détermine s'il faut augmenter ou diminuer les pondérations appliquées à certains neurones.

Le taux d'apprentissage est un multiplicateur qui contrôle degré auquel chaque rétrogradation augmente ou diminue chaque pondération. Un taux d'apprentissage élevé augmente ou diminue chaque pondération un faible taux d'apprentissage.

En termes de calcul, la rétropropagation implémente le règle de la chaîne. du calcul. Autrement dit, la rétropropagation calcule dérivée partielle de l'erreur avec pour chaque paramètre.

Il y a quelques années, les professionnels du ML devaient écrire du code pour implémenter la rétropropagation. Les API de ML modernes comme Keras implémentent désormais la rétropropagation pour vous. Ouf !

Pour en savoir plus, consultez la section Réseaux de neurones du cours d'initiation au machine learning.

bagging

Méthode pour entraîner un ensemble où chaque Le modèle constitutif est entraîné sur un sous-ensemble aléatoire de l'entraînement exemples échantillonné avec remplacement. Par exemple, une forêt d'arbres décisionnels est une collection d'arbres de décision entraînés avec le bagging.

Le terme bagging est l'abréviation de bootstrap aggrégat.

Pour en savoir plus, consultez la section Forêts d'arbres aléatoires du cours "Forêts d'arbres décisionnels".

sac de mots

Représentation des mots d'une expression ou d'un extrait, quel que soit leur ordre. Par exemple, un sac de mots représente trois expressions de manière identique:

• le chien saute
• saute le chien
• dog jumps the

Chaque mot est mappé à un indice dans un vecteur sparse, où le vecteur a un indice pour chaque mot du vocabulaire. Par exemple, la phrase the dog jumps est mappée dans un vecteur de caractéristiques dont les trois indices correspondant aux mots the, dog et jumps auront des valeurs non nulles. La valeur non nulle peut être l'une des suivantes :

• 1 pour indiquer la présence d'un mot.
• Nombre d'apparitions d'un mot dans le sac. Par exemple, si l'expression est the maroon dog is a dog with maroon fur, les mots maroon et dog seront représentés par la valeur 2, tandis que les autres mots seront représentés par la valeur 1.
• Une autre valeur, comme le logarithme du nombre de fois qu’un mot apparaît dans le sac.

Valeur de référence

Modèle utilisé comme point de référence pour comparer les performances (généralement un modèle plus complexe) est performant. Par exemple, un modèle de régression logistique peut servir de référence pour un modèle profond.

Pour un problème particulier, la référence aide les développeurs de modèles à quantifier les performances minimales attendues qu'un nouveau modèle doit atteindre pour du modèle d'IA générative.

lot

Ensemble d'exemples utilisés dans une itération d'entraînement. La taille de lot détermine le nombre d'exemples dans un lot.

Consultez la section epoch pour comprendre comment un lot se rapporte à une époque.

Pour en savoir plus, consultez la section Régression linéaire : hyperparamètres du cours d'initiation au machine learning.

inférence par lot

Déduire des prédictions sur plusieurs exemples non étiquetés divisés en plus petits sous-ensembles ("lots").

L'inférence par lot peut exploiter les fonctionnalités de parallélisation de puces accélérateurs. Autrement dit, plusieurs accélérateurs peuvent inférer simultanément des prédictions sur différents lots de données non étiquetées ce qui augmente considérablement le nombre d'inférences par seconde.

Pour en savoir plus, consultez la section Systèmes de ML en production : inférence statique ou dynamique dans le cours d'initiation au machine learning.

normalisation des lots

Normalisation de l'entrée ou de la sortie des fonctions d'activation dans une couche cachée. La normalisation des lots peut offrir les avantages suivants :

• Renforcez la stabilité des réseaux de neurones en les protégeant contre les pondérations correspondant à des anomalies.
• Activer des taux d'apprentissage plus élevés, ce qui peut l'entraînement rapide.
• Réduire le surapprentissage.

taille de lot

Nombre d'exemples dans un lot. Par exemple, si la taille de lot est de 100, le modèle traite 100 exemples par itération.

Voici quelques stratégies de taille de lot populaires :

• Descente de gradient stochastique (SGD), dans laquelle la taille de lot est de 1.
• Lot complet, dans lequel la taille de lot correspond au nombre d'exemples de l'ensemble d'entraînement. Par exemple, si l'ensemble d'entraînement contient un million d'exemples, la taille de lot sera de un million d'exemples. Le traitement par lot complet est généralement une stratégie inefficace.
• mini-lot, dont la taille est généralement comprise entre 10 et 1 000. La stratégie de mini-lot est généralement la plus efficace.

Pour en savoir plus, lisez les informations ci-après.

• Systèmes de ML de production: statique et dynamique inférence du cours d'initiation au machine learning.
• Playbook de réglage du deep learning

Réseau de neurones bayésien

Réseau de neurones probabiliste qui prend en compte les incertitudes liées aux pondérations et aux résultats. Un réseau de neurones standard le modèle de régression prédit généralement une valeur scalaire ; Par exemple, un modèle standard prédit le prix d'une maison de 853 000. En revanche, un réseau de neurones bayésien prédit la distribution values; par exemple, un modèle bayésien prédit le prix d'une maison de 853 000 un écart type de 67 200.

Un réseau de neurones bayésien repose sur <ph type="x-smartling-placeholder"></ph> Bayes Theorem pour calculer les incertitudes dans les pondérations et les prédictions. Un réseau de neurones bayésien peut être utile lorsqu'il est important de quantifier l'incertitude, comme dans les modèles liés aux produits pharmaceutiques. Les réseaux de neurones bayésiens peuvent également aider empêchent le surapprentissage.

Optimisation bayésienne

Technique de modèle de régression probabiliste permettant d'optimiser des fonctions objectives coûteuses en calcul en optimisant plutôt un substitut qui quantifie l'incertitude à l'aide d'une technique d'apprentissage bayésien. Depuis L'optimisation bayésienne est elle-même très onéreuse, elle sert généralement à optimiser les tâches coûteuses à évaluer qui comportent un petit nombre de paramètres, comme en sélectionnant hyperparamètres.

Équation de Bellman

Dans l'apprentissage par renforcement, l'identité suivante est satisfaite par la fonction Q optimale :

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

Les algorithmes d'apprentissage par renforcement appliquent cette identité pour créer un apprentissage par Q-learning via la règle de mise à jour suivante :

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

Au-delà de l'apprentissage par renforcement, l'équation de Bellman s'applique à la programmation dynamique. Consultez le <ph type="x-smartling-placeholder"></ph> Article Wikipédia sur l'équation de Bellman.

BERT (Bidirectional Encoder) Représentations de transformateurs)

Architecture de modèle pour la représentation de texte. Un technicien BERT peut s'intégrer à un modèle plus vaste de classification de texte d'autres tâches de ML.

BERT présente les caractéristiques suivantes:

• Utilise l'architecture Transformer et s'appuie donc sur l'auto-attention.
• Utilise la partie encodeur du Transformer. La tâche de l'encodeur est de créer de bonnes représentations de texte, plutôt que d'effectuer une une tâche comme la classification.
• est bidirectionnel ;
• Utilise le masquage pour l'entraînement non supervisé.

Voici quelques variantes de BERT:

• ALBERT, l'acronyme de A Light BERT (BERT).
• LaBSE

(voir l'article Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language) Traitement en cours pour découvrir une présentation de BERT.

biais (éthique/impartialité)

1. Stéréotypage, préjugé ou favoritisme envers certaines choses, des personnes, ou des groupes plutôt que d'autres. Ces biais peuvent avoir une incidence sur la collecte et l'interprétation des données, ainsi que sur la conception d'un système et la manière dont les utilisateurs interagissent avec celui-ci. Les formes de ce type de préjugé comprennent:

• biais d'automatisation
• biais de confirmation
• biais de l'expérimentateur
• biais de représentativité
• biais implicite
• biais d'appartenance
• biais d'homogénéité de l'exogroupe

2. Erreur systématique introduite par une procédure d'échantillonnage ou de création de rapports. Les formes de ce type de préjugé comprennent:

• biais de couverture
• biais de non-réponse
• biais de participation
• biais de fréquence
• biais d'échantillonnage
• biais de sélection

À ne pas confondre avec le biais des modèles de machine learning ou le biais de prédiction.

Voir la section Équité: types de biais pour plus d'informations.

biais (mathématiques) ou terme de biais

Interception ou décalage par rapport à une origine. Le biais est un paramètre dans de machine learning, symbolisé par l'un ou l'autre suivantes:

• B
• w₀

Par exemple, b représente le biais dans la formule suivante :

Dans une ligne bidimensionnelle simple, le biais signifie simplement "ordonnée". Par exemple, dans l'illustration suivante, le biais de la ligne est de 2.

Il existe un biais, car tous les modèles ne partent pas de l'origine (0,0). Par exemple : supposons que l'entrée d'un parc d'attractions coûte 2 euros et 0,5 euro par heure de séjour. Par conséquent, un modèle mappant le coût total a un biais de 2, car le coût le plus bas est de 2 euros.

Il ne faut pas confondre les préjugés avec les biais en matière d'éthique et d'équité. ou biais de prédiction.

Pour en savoir plus, consultez la section Régression linéaire du cours d'initiation au machine learning.

bidirectionnelle

Terme utilisé pour décrire un système qui évalue le texte qui précède et suit une section cible de texte. En revanche, système unidirectionnel uniquement évalue le texte qui précède une section de texte cible.

Prenons l'exemple d'un modèle de langage masqué qui doit déterminer les probabilités pour le ou les mots représentant le soulignement dans la question suivante:

Qu'est-ce que _____ avec vous ?

Un modèle de langage unidirectionnel ne doit baser ses probabilités sur le contexte fourni par les mots "Quoi", "est" et "le". En revanche, un modèle de langage bidirectionnel peut aussi obtenir du contexte en partant du principe et "vous", ce qui peut aider le modèle à générer de meilleures prédictions.

modèle de langage bidirectionnel

Modèle de langage qui détermine la probabilité qu'un jeton donné soit présent à un emplacement donné dans un extrait de texte en fonction du texte précédent et suivant.

bigramme

Un N-gramme dans lequel N=2.

classification binaire

Type de tâche de classification qui prédit l'une des deux classes mutuellement exclusives :

• la classe positive ;
• la classe négative

Par exemple, les deux modèles de machine learning suivants effectuent chacun une classification binaire :

• Un modèle qui détermine si les e-mails sont spam (classe positive) ou non spam (classe négative).
• Un modèle qui évalue les symptômes médicaux pour déterminer si une personne souffre d'une maladie particulière (la classe positive) ou n'en souffre pas ; (classe négative).

À comparer à la classification à classes multiples.

Consultez également les articles régression logistique et seuil de classification.

Voir Classification dans le Cours d'initiation au Machine Learning.

condition binaire

Dans un arbre de décision, une condition qui n'a que deux résultats possibles, généralement oui ou non. Par exemple, voici une condition binaire:

temperature >= 100

À comparer à la condition non binaire.

Pour en savoir plus, consultez la section Types de conditions du cours sur les forêts décisionnelles.

binning

Synonyme de binning.

BLEU (Bilingual Evaluation Understudy)

Un score compris entre 0.0 et 1.0, inclus, indiquant la qualité d'une traduction entre deux langues (par exemple, entre l'anglais et le russe). UN BLEU un score de 1,0 indique une traduction parfaite. un score BLEU de 0,0 indique mauvaise traduction.

boosting

Technique de machine learning qui combine de manière itérative un ensemble de classificateurs simples et peu précis (appelés classificateurs "faibles") en un classificateur très précis (classificateur "fort") en surpondérant les exemples que le modèle classifie actuellement de manière erronée.

Voir Décision avec boosting de gradient Des arbres ? dans le cours sur les forêts d'arbres décisionnels.

cadre de délimitation

Dans une image, les coordonnées (x, y) d'un rectangle autour d'une zone de centres d'intérêt, comme le chien dans l'image ci-dessous.

diffusion

Développer la forme d'un opérande dans une opération mathématique matricielle à dimensions compatibles pour cette opération. Par exemple : l'algèbre linéaire nécessite que les deux opérandes dans une opération d'addition matricielle doivent avoir les mêmes dimensions. Par conséquent, vous ne pouvez pas ajouter une matrice de forme (m, n) à un vecteur de longueur n. Le broadcasting permet d'effectuer cette opération en développant virtuellement le vecteur de longueur n en une matrice de forme (m, n) en répliquant les mêmes valeurs dans chaque colonne.

Par exemple, compte tenu des définitions suivantes, l'algèbre linéaire interdit A+B, car A et B ont des dimensions différentes:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

Cependant, le broadcasting permet d'effectuer l'opération A+B en développant virtuellement B en:

 [[2, 2, 2],
  [2, 2, 2]]

Ainsi, A+B est maintenant une opération valide:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

Reportez-vous à la description suivante broadcasting dans NumPy.

le binning

Convertir une seule caractéristique en plusieurs caractéristiques binaires appelés buckets ou bins, généralement en fonction d'une plage de valeurs. La caractéristique hachée est généralement caractéristique continue.

Par exemple, au lieu de représenter la température comme une seule caractéristique à virgule flottante continue, vous pouvez diviser les plages de températures en buckets distincts, par exemple :

• Une température inférieure ou égale à 10 degrés Celsius correspond au "froid" bucket.
• Entre 11 et 24 degrés Celsius correspond à la température "tempérée" bucket.
• Une température supérieure ou égale à 25 degrés Celsius correspond à la température "chaude". bucket.

Le modèle traitera toutes les valeurs du même bucket de la même manière. Pour Par exemple, les valeurs 13 et 22 se trouvent toutes deux dans le bucket tempéré. traite les deux valeurs de manière identique.

Voir Données numériques: Binning dans le Cours d'initiation au Machine Learning.

C

couche de calibrage

Ajustement réalisé après la prédiction, généralement pour prendre en compte le biais de prédiction. Les prédictions ajustées et les probabilités doivent correspondre à la distribution d'un ensemble observé d'étiquettes.

génération de candidats

Il s'agit de l'ensemble initial de recommandations choisi système de recommandation. Prenons l'exemple proposant 100 000 titres. La phase de génération de candidats crée une liste bien plus petite de livres adaptés à un utilisateur particulier, disons 500. Mais même 500 livres, c'est bien trop à recommander à un utilisateur. Les phases ultérieures, plus coûteuses, d'un système de recommandation (telles que l'évaluation et le reclassement) réduisent ces 500 recommandations à un ensemble beaucoup plus petit et plus utile.

Pour en savoir plus, consultez la section Présentation de la génération de candidats dans le cours sur les systèmes de recommandation.

échantillonnage de candidats

Optimisation réalisée lors de l'entraînement, qui calcule une probabilité pour toutes les étiquettes positives, en utilisant par exemple softmax, mais seulement pour un échantillon aléatoire d'étiquettes négatives. Prenons un exemple étiqueté beagle et dog, l'échantillonnage de candidats calcule les probabilités prédites et les termes de perte correspondants pour:

• beagle
• chien
• un sous-ensemble aléatoire des classes négatives restantes (par exemple, cat, lollipop ou fence).

L'idée est que les classes négatives peuvent apprendre à partir d'un renforcement négatif moins fréquent tant que les classes positives reçoivent toujours un renforcement positif approprié, ce qui est effectivement observé empiriquement.

L'échantillonnage de candidats est plus efficace en termes de calcul que les algorithmes d'entraînement. qui calculent les prédictions pour toutes les classes négatives, en particulier lorsque le le nombre de classes négatives est très élevé.

données catégorielles

Caractéristiques avec un ensemble spécifique de valeurs possibles. Par exemple : considérez une caractéristique catégorielle nommée traffic-light-state, qui ne peut ont l'une des trois valeurs suivantes:

• red
• yellow
• green

En représentant traffic-light-state comme une caractéristique catégorielle, un modèle peut apprendre impacts différents de red, green et yellow sur le comportement des conducteurs.

Les caractéristiques catégorielles sont parfois appelées caractéristiques discrètes.

À comparer aux données numériques.

Reportez-vous à la section Utiliser des métriques données dans le Cours d'initiation au Machine Learning.

modèle de langage causal

Synonyme de modèle de langage unidirectionnel.

Consultez modèle de langage bidirectionnel pour comparer les différentes approches directionnelles dans le modèle de langage.

centroid

Centre d'un cluster déterminé par un algorithme k-moyennes ou k-médiane. Par exemple, si k est égal à 3, alors l'algorithme k-moyennes ou k-médiane trouve 3 centroïdes.

Consultez la page Algorithmes de clustering. dans le cours sur le clustering.

clustering basé sur centroïde

Catégorie d'algorithmes de clustering qui organise les données en clusters non hiérarchiques. k-moyennes est l'algorithme de clustering basé sur le centroïde le plus utilisé.

À comparer au clustering hiérarchique algorithmes.

Consultez la page Algorithmes de clustering. dans le cours sur le clustering.

requêtes en chaîne de pensée

Technique d'ingénierie des requêtes qui encourage un grand modèle de langage (LLM) pour expliquer le raisonnement, étape par étape. Prenons l'exemple de l'invite suivante, en accordant une attention particulière à la deuxième phrase :

Combien de forces g un conducteur vivrait-il dans une voiture sur une échelle de 0 à 60 ? de miles par heure en 7 secondes ? Dans la réponse, montrez tous les calculs pertinents.

Il est probable que la réponse du LLM:

• Afficher une séquence de formules de physique, en insérant les valeurs 0, 60 et 7 aux endroits appropriés.
• Expliquez pourquoi il a choisi ces formules et ce que signifient les différentes variables.

Les requêtes de chaîne de pensée obligent le LLM à effectuer tous les calculs, ce qui pourrait conduire à une réponse plus correcte. De plus, les invites de la chaîne de pensée permettent à l'utilisateur d'examiner les étapes de la LLM pour déterminer si la réponse est logique ou non.

chat

Le contenu d'un dialogue avec un système de ML, généralement grand modèle de langage. L'interaction précédente dans une discussion (ce que vous avez saisi et la réponse du grand modèle de langage) devient le contexte des parties suivantes de la discussion.

Un chatbot est une application d'un grand modèle de langage.

point de contrôle

Données qui capturent l'état des paramètres d'un modèle pendant l'entraînement ou après la fin de l'entraînement. Par exemple, pendant l'entraînement, vous pouvez:

1. Arrêter l'entraînement, peut-être intentionnellement ou après certaines erreurs.
2. Capturez le point de contrôle.
3. Plus tard, rechargez le point de contrôle, éventuellement sur un autre matériel.
4. Redémarrez l'entraînement.

classe

Catégorie à laquelle un libellé peut appartenir. Exemple :

• Dans un modèle de classification binaire qui détecte le spam, les deux classes peuvent être spam et non spam.
• Dans un modèle de classification à classes multiples identifiant la race des chiens, les classes peuvent être caniche, beagle, carlin, et ainsi de suite.

Un modèle de classification prédit une classe. En revanche, un modèle de régression prédit un nombre et non une classe.

Voir Classification dans le Cours d'initiation au Machine Learning.

modèle de classification

Modèle dont la prédiction est une classe. Par exemple, les modèles suivants sont tous des modèles de classification :

• Un modèle qui prédit la langue d'une phrase d'entrée (le français ? Espagnol ? italien ?).
• Un modèle qui prédit les espèces d'arbres Chêne ? Baobab?).
• Modèle qui prédit la classe positive ou négative pour une affection médicale particulière.

En revanche, les modèles de régression prédisent des nombres plutôt que des classes.

Voici deux types courants de modèles de classification:

• classification binaire
• classification à classes multiples

seuil de classification

Dans une classification binaire, entre 0 et 1, qui convertit la sortie brute d'une modèle de régression logistique ; en une prédiction de la classe positive ou la classe négative. Notez que le seuil de classification est une valeur choisie par un humain, et non par l'entraînement du modèle.

Un modèle de régression logistique génère une valeur brute comprise entre 0 et 1. Ensuite :

• Si cette valeur brute est supérieure au seuil de classification, la classe positive est prédite.
• Si cette valeur brute est inférieure au seuil de classification, la classe négative est prédite.

Par exemple, supposons que le seuil de classification soit de 0,8. Si la valeur brute égale à 0,9, le modèle prédit la classe positive. Si la valeur brute est de 0,7, le modèle prédit la classe négative.

Le choix du seuil de classification a une forte influence sur le nombre faux positifs et faux négatifs.

Voir la section Seuils et confusion matricielle dans le Cours d'initiation au Machine Learning.

ensemble de données avec déséquilibre des classes

Ensemble de données pour un problème de classification dans lequel le nombre total d'étiquettes de chaque classe diffère considérablement. Prenons l'exemple d'un ensemble de données de classification binaire dont deux étiquettes sont divisés comme suit:

• 1 000 000 de libellés négatifs
• 10 libellés positifs

Le ratio entre les étiquettes négatives et positives est de 100 000 pour 1. est un ensemble de données avec déséquilibre des classes.

En revanche, l'ensemble de données suivant n'est pas déséquilibré par classe, car le ratio entre les libellés négatifs et les libellés positifs est relativement proche de 1 :

• 517 étiquettes à exclure
• 483 étiquettes positives

Les ensembles de données à classes multiples peuvent également présenter un déséquilibre entre les classes. Par exemple : un ensemble de données de classification à classes multiples présente également un déséquilibre entre classes, car une étiquette contient beaucoup plus d'exemples que les deux autres:

• 1 000 000 libellés de la classe "vert"
• 200 étiquettes avec la classe "violet"
• 350 libellés de la classe "orange"

Voir également entropie, classe majoritaire et classe minoritaire.

rognage

Une technique de gestion des valeurs aberrantes : l'un des éléments suivants, ou les deux:

• Réduire les valeurs de caractéristiques supérieures à une valeur maximale jusqu'à ce seuil maximal.
• Augmenter les valeurs des caractéristiques inférieures à un seuil minimal jusqu'à cette seuil minimal.

Par exemple, supposons que moins de 0,5 % des valeurs d'une caractéristique particulière ne sont pas comprises entre 40 et 60. Dans ce cas, vous pouvez procéder comme suit:

• Borner toutes les valeurs supérieures à 60 (seuil maximal) pour obtenir exactement 60.
• Borner toutes les valeurs inférieures à 40 (seuil minimal) pour obtenir exactement 40.

Les anomalies peuvent endommager les modèles et entraîner parfois des pondérations pendant l'entraînement. Certaines valeurs aberrantes peuvent aussi considérablement gâcher des métriques telles que la précision. Le rognage est une technique courante pour limiter les dommages.

Force le bornement de gradient des valeurs de gradient dans une plage désignée pendant l'entraînement.

Voir Données numériques: Normalisation dans le Cours d'initiation au Machine Learning.

Cloud TPU

Accélérateur matériel spécialisé conçu pour accélérer les charges de travail de machine learning sur Google Cloud.

clustering

Regroupement des exemples associés, en particulier lors de l'apprentissage non supervisé. Une fois que toutes les les exemples sont regroupés, un humain peut éventuellement donner un sens à chaque cluster.

Il existe de nombreux algorithmes de clustering. Par exemple, l'algorithme k-moyennes regroupe les exemples en fonction de leur proximité avec un centroïde, comme dans le diagramme suivant :

Un chercheur humain pourrait alors examiner les groupes et, par exemple, étiqueter le groupe 1 comme "arbres nains" et le groupe 2 comme « arbres de taille réelle ».

Autre exemple, celui d'un algorithme de clustering basé sur la distance entre un exemple et un point central, illustré comme suit :

Consultez le cours sur le clustering pour en savoir plus.

coadaptation

Lorsque des neurones prédisent des schémas dans les données d'entraînement en s'appuyant presque exclusivement sur les sorties d'autres neurones spécifiques, au lieu de s'appuyer sur le comportement du réseau dans son ensemble. Lorsque les schémas à l'origine de la coadaptation ne sont pas présents dans les données de validation, la coadaptation entraîne alors un surapprentissage. La régularisation par abandon réduit l'occurrence de la coadaptation, car l'abandon empêche les neurones de ne s'appuyer que sur d'autres neurones spécifiques.

filtrage collaboratif

Prédictions sur les centres d'intérêt d'un utilisateur en fonction de ceux de nombreux autres utilisateurs. Le filtrage collaboratif est souvent utilisé dans les systèmes de recommandation.

Voir la section filtrage dans le cours sur les systèmes de recommandation.

dérive conceptuelle

Changement de la relation entre les caractéristiques et l'étiquette. Au fil du temps, la dérive conceptuelle réduit la qualité d'un modèle.

Pendant l'entraînement, le modèle apprend la relation entre les caractéristiques et leurs étiquettes dans l'ensemble d'entraînement. Si les étiquettes de l'ensemble d'entraînement de bons proxys pour le monde réel, le modèle devrait s'adapter les prédictions du monde réel. Toutefois, en raison de la dérive conceptuelle, les prédictions du modèle ont tendance à se dégrader au fil du temps.

Prenons l'exemple d'un modèle de classification binaire qui prédit si un certain modèle de voiture est "économe en carburant" ou non. Les fonctionnalités peuvent être les suivantes :

• poids de la voiture
• compression du moteur
• transmission type

tandis que le libellé est :

• économes en carburant
• pas économe en carburant

Toutefois, le concept de "voiture économe en carburant" conserve en constante évolution. En 1994, un modèle de voiture portant la mention Consommation en carburant sera marquée comme non économe en carburant en 2024. Un modèle présentant une dérive conceptuelle tend à faire des prédictions de moins en moins utiles au fil du temps.

Comparez et contrastez avec la non-stationnarité.

état

Dans un arbre de décision, tout nœud qui évalue une expression. Par exemple, la partie suivante d'un arbre de décision contient deux conditions :

Une condition est également appelée "split" ou "test".

Condition de contraste avec la feuille.

Voir également :

• condition binaire
• condition non binaire.
• condition-alignée sur l'axe
• condition-oblique

Pour en savoir plus, consultez la section Types de conditions du cours sur les forêts décisionnelles.

confabulation

Synonyme de hallucination.

Confabulation est probablement un terme plus précis d'un point de vue technique que l'hallucination. Cependant, l'hallucination est devenue populaire en premier.

configuration

Processus d'attribution des valeurs de propriété initiales utilisées pour entraîner un modèle, y compris :

• les couches de composition du modèle ;
• l'emplacement des données ;
• hyperparamètres tels que :
  • taux d'apprentissage
  • itérations
  • optimiseur
  • fonction de perte

Dans les projets de machine learning, la configuration peut être effectuée via un fichier de configuration spécial ou à l'aide de bibliothèques de configuration telles que les suivantes :

• HParam
• Épic
• Violon

biais de confirmation

Tendance à rechercher, interpréter, favoriser et rappeler des informations d'une manière qui confirme ses croyances ou hypothèses préexistantes. Les développeurs en machine learning peuvent collecter ou étiqueter par inadvertance des données d’une manière qui influence un résultat soutenant leur croyances. Le biais de confirmation est une forme de biais implicite.

Le biais de l'expérimentateur est une forme de préjugé de confirmation dans lequel l'expérimentateur continue d'entraîner des modèles jusqu'à ce qu'un testeur l'hypothèse est confirmée.

matrice de confusion

Tableau NxN qui résume le nombre de prédictions correctes et incorrectes effectuées par un modèle de classification. Prenons l'exemple de la matrice de confusion suivante pour un modèle de classification binaire :

La matrice de confusion précédente montre les éléments suivants:

• Sur les 19 prédictions pour lesquelles la vérité terrain était "Tumor", le modèle a classé 18 correctement et 1 de manière incorrecte.
• Sur les 458 prédictions pour lesquelles la vérité terrain était "Non-tumeur", le modèle en a correctement classé 452 et 6 de manière incorrecte.

Matrice de confusion pour une classification à classes multiples peut vous aider à identifier des modèles d'erreurs. Prenons par exemple la matrice de confusion suivante pour un modèle de classification multiclasse à trois classes qui catégorise trois types d'iris différents (Virginica, Versicolor et Setosa). Lorsque la vérité terrain était Virginica, la matrice de confusion montre que le modèle était beaucoup plus susceptible de se tromper pour prédire des couleurs Versicolor plutôt que Setosa:

Autre exemple, une matrice de confusion peut révéler qu'un modèle entraîné à reconnaître les chiffres manuscrits tend à prédire à tort 9 au lieu de 4, ou prédit à tort 1 au lieu de 7.

Les matrices de confusion contiennent suffisamment d'informations pour calculer diverses métriques de performances, y compris la précision et le rappel.

analyse des circonscriptions

Diviser une phrase en structures grammaticales plus petites ("composants"). Une autre partie du système de ML, de compréhension du langage naturel, peut analyser les éléments constitutifs plus facilement que la phrase d'origine. Par exemple : considérez la phrase suivante:

Mon ami a adopté deux chats.

L'analyseur de circonscription peut diviser cette phrase comme suit : deux composants:

• Mon ami est un syntagme nominal.
• a adopté deux chats est un groupe verbal.

Ces constituants peuvent être subdivisés en constituants plus petits. Par exemple, l'expression verbale

a adopté deux chats ;

peut être subdivisé en:

• adopté est un verbe.
• deux chats est un autre syntagme nominal.

représentation vectorielle continue du langage contextualisé

Embedding qui se rapproche de la "compréhension" des mots et des expressions comme le font les locuteurs natifs. Les représentations vectorielles continues du langage contextualisées peuvent comprendre la syntaxe, la sémantique et le contexte complexes.

Prenons l'exemple de représentations vectorielles continues du mot anglais cow. Les anciens représentations vectorielles continues, telles que word2vec, peuvent représenter des mots anglais de sorte que la distance dans l'espace d'embedding entre cow (vache) et bull (taureau) soit semblable à celle entre ewe (brebis) et ram (bélier) ou entre female (femelle) et male (mâle). Les représentations vectorielles continues de langage contextualisées peuvent aller plus loin en reconnaissant que les anglophones utilisent parfois le mot cow pour désigner une vache ou un taureau.

fenêtre de contexte

Nombre de jetons qu'un modèle peut traiter dans une invite donnée. Plus la fenêtre de contexte est grande, plus le modèle peut utiliser d'informations pour fournir des réponses cohérentes et cohérentes à la requête.

fonctionnalité continue

Caractéristique à virgule flottante avec une plage infinie de valeurs possibles, telles que la température ou le poids.

À comparer à la caractéristique discrète.

échantillonnage de commodité

Utiliser un jeu de données non collecté de manière scientifique afin d’exécuter rapidement tests. Par la suite, il est essentiel de passer à un ensemble de données collecté de manière scientifique.

convergence

État atteint lorsque les valeurs de perte changent très peu ou pas du tout à chaque itération. Par exemple, la courbe de perte suivante suggère une convergence vers 700 itérations :

Un modèle converge lorsque l'entraînement supplémentaire ne l'améliore pas.

Dans le deep learning, les valeurs de perte restent parfois constantes ou presque pendant de nombreuses itérations avant de finalement diminuer. Sur une longue période de valeurs de perte constantes, vous pouvez temporairement avoir une fausse impression de convergence.

Voir aussi arrêt prématuré.

Voir Convergence et perte du modèle courbes dans le Cours d'initiation au Machine Learning.

fonction convexe

Fonction dans laquelle la région au-dessus du graphique est un ensemble convexe. La fonction convexe prototypique a une forme qui ressemble à la lettre U. Par exemple : sont toutes des fonctions convexes:

À l'inverse, la fonction suivante n'est pas convexe. Notez que la région au-dessus du graphique diffère d'un ensemble convexe :

Une fonction strictement convexe comporte exactement un point minimum local, qui est également le point minimum global. Les fonctions classiques en U sont strictement convexes. Ce n'est pas le cas de certaines fonctions convexes, comme les droites.

Pour en savoir plus, consultez la section Convergence et fonctions convexes dans le cours d'initiation au machine learning.

optimisation convexe

Le processus d'utilisation de techniques mathématiques telles que la descente de gradient pour trouver la valeur minimale d'une fonction convexe. De nombreuses recherches dans le domaine du machine learning se sont concentrées sur la formulation des problèmes sous forme de problèmes d'optimisation convexes efficacement.

Pour des détails complets, voir Boyd et Vandenberghe, Convex Optimisation :

ensemble convexe

Sous-ensemble de l'espace euclidien tel qu'une ligne tracée entre deux points quelconques du reste entièrement dans le sous-ensemble. Par exemple, les deux les formes sont des ensembles convexes:

En revanche, les deux formes suivantes ne sont pas des ensembles convexes:

Convolution

En mathématiques, de manière informelle, mélange de deux fonctions. Dans le machine learning, une convolution mélange le filtre convolutif et la matrice d'entrée afin d'entraîner les pondérations.

En machine learning, le terme "convolution" est souvent utilisé pour désigner une opération de convolution ou une couche de convolution.

Sans convolution, un algorithme de machine learning devrait apprendre une pondération différente pour chaque cellule d'un grand tensor. Par exemple, un algorithme de machine learning dont l'entraînement s'effectue sur des images de 2K x 2K serait forcé de trouver 4 millions de pondérations. Grâce aux convolutions, un algorithme de machine learning ne doit trouver des pondérations que pour chaque cellule du filtre convolutif, ce qui réduit considérablement la mémoire nécessaire à l'entraînement du modèle. Lorsque le filtre convolutif est appliqué, il est simplement répliqué entre les cellules, de sorte que chacune d'elles est multipliée par le filtre.

Pour en savoir plus, consultez la section Présentation des réseaux de neurones convolutifs du cours sur la classification d'images.

filtre convolutif

L'un des deux acteurs Opération convolutive. (L'autre acteur est une tranche d'une matrice d'entrée.) Un filtre convolutif est une matrice de même rang que la matrice d'entrée, mais de forme plus petite. Par exemple, étant donné une matrice d'entrée 28 x 28, le filtre peut être n'importe quelle matrice 2D de taille inférieure à 28 x 28.

Dans la manipulation photographique, toutes les cellules d'un filtre de convolution sont généralement définies sur un motif constant d'uns et de zéros. En machine learning, les filtres convolutifs sont généralement ensemencés avec des nombres aléatoires, puis le entraîne les valeurs idéales.

Pour en savoir plus, consultez la section Convolution du cours sur la classification des images.

couche convolutive

Couche d'un réseau de neurones profond dans laquelle un Le filtre convolutif transmet une entrée matricielle. Soit, par exemple, le filtre convolutif 3 x 3 suivant :

L'animation suivante montre une couche convolutive composée de neuf opérations convolutives impliquant la matrice d'entrée 5 x 5. Notez que chaque l'opération convolutive fonctionne sur une tranche 3x3 différente de la matrice d'entrée. La matrice 3 x 3 résultante (à droite) est constituée des résultats des 9 opérations convolutives :

Pour en savoir plus, consultez la section Couches entièrement connectées du cours sur la classification des images.

réseau de neurones convolutif

Réseau de neurones dans lequel au moins une couche est un couche convolutive. Une couche convolutive classique Le réseau de neurones est constitué d'une combinaison des couches suivantes:

• couches convolutives
• couches de pooling
• couches denses

Les réseaux de neurones convolutifs ont eu beaucoup de succès pour certains types de problèmes, notamment la reconnaissance d'images.

opération convolutive

L'opération mathématique en deux étapes suivante :

1. La multiplication élément par élément des filtre convolutif et une tranche d'une la matrice d'entrée. La tranche de la matrice d'entrée est de même rang et de même taille que le filtre convolutif.
2. Somme de toutes les valeurs de la matrice de produits obtenue.

Prenons l'exemple de la matrice d'entrée 5 x 5 suivante:

Imaginons maintenant le filtre convolutif 2 x 2 suivant:

Chaque opération convolutif implique une seule tranche 2x2 de la matrice d'entrée. Par exemple, supposons que nous utilisions la tranche 2 x 2 en haut à gauche de la matrice d'entrée. L'opération de convolution ce segment se présente comme suit:

Une couche convolutive consiste en série d'opérations convolutives, chacune agissant sur une tranche différente de la matrice d'entrée.

coût

Synonyme de perte.

co-formation

Approche d'apprentissage semi-supervisé particulièrement utile lorsque toutes les conditions suivantes sont remplies:

• Ratio entre le nombre d'exemples sans étiquette et exemples étiquetés dans l'ensemble de données est élevé.
• Il s'agit d'un problème de classification (binaire ou multiclasse).
• L'ensemble de données contient deux ensembles différents de fonctionnalités prédictives, qui sont indépendants les uns des autres et complémentaires.

La co-formation consiste essentiellement à amplifier des signaux indépendants pour obtenir un signal plus fort. Prenons l'exemple d'un modèle de classification qui classe les voitures d'occasion individuelles dans la catégorie Bon ou Mauvais. Un ensemble de Les caractéristiques prédictives peuvent se concentrer sur des caractéristiques agrégées telles que l'année, la marque et le modèle de la voiture ; un autre ensemble de caractéristiques prédictives le dossier de conduite du propriétaire précédent et l'historique d'entretien de la voiture.

L'article phare sur le co-entraînement est intitulé Combiner des données étiquetées et non étiquetées avec Co-formation par Blum et Mitchell.

équité contrefactuelle

Métrique d'équité qui vérifie si un classificateur produit le même résultat pour un individu que pour un autre qui est identique au premier, sauf en ce qui concerne un ou plusieurs attributs sensibles. Évaluer un classificateur pour L’impartialité contrefactuelle est une méthode pour révéler les sources potentielles de les biais d'un modèle.

Pour en savoir plus, consultez l'une des ressources suivantes :

• Équité : équité contrefactuelle dans le cours d'initiation au machine learning.
• When Worlds Collide: Integrating Different Counterfactual Assumptions in Fairness

biais de couverture

Voir biais de sélection.

pépinière d'accident

Phrase ou expression au sens ambigu. Les phrases équivoques posent un problème majeur pour la compréhension du langage naturel. Par exemple, l'expression au pied de la lettre est une phrase équivoque, car un modèle NLU peut l'interpréter littéralement ou figurativement.

critique

Synonyme de réseau Deep Q.

entropie croisée

La perte logistique est une généralisation problèmes de classification à classes multiples. Entropie croisée quantifie l'écart entre deux distributions de probabilité. Voir aussi perplexité.

validation croisée

Mécanisme permettant d'estimer la capacité d'un modèle à généraliser de nouvelles données en testant le modèle sur un ou plusieurs sous-ensembles de données qui ne se chevauchent pas. non inclus dans l'ensemble d'entraînement.

fonction de distribution cumulée (CDF)

Fonction qui définit la fréquence des échantillons inférieure ou égale à une la valeur cible. Prenons l'exemple d'une distribution normale des valeurs continues. Une CDF vous indique qu'environ 50% des échantillons doivent être inférieurs ou égaux à la moyenne et qu'environ 84% des échantillons doivent être inférieurs ou égaux à un écart type au-dessus de la moyenne.

D

analyse de données

Procédure visant à comprendre des données en en étudiant les échantillons, les mesures et les visualisations. L'analyse de données peut être particulièrement utile ensemble de données est reçu en premier, avant de créer le premier modèle. Elle est également cruciale pour interpréter les expériences et déboguer les problèmes affectant le système.

augmentation des données

Augmenter artificiellement l'éventail et le nombre d'exemples d'entraînement en transformant les exemples existants afin d'en créer de nouveaux. Par exemple : supposons que les images features, mais pas votre ensemble de données. contenir suffisamment d'exemples d'images pour que le modèle apprend les associations utiles. Idéalement, vous ajouteriez suffisamment des images étiquetées à votre ensemble de données pour pour que votre modèle puisse s'entraîner correctement. Si cela n'est pas possible, l'augmentation des données faire pivoter, étirer et réfléchir chaque image pour obtenir de nombreuses variantes avec une image d'origine, en générant peut-être suffisamment de données étiquetées pour obtenir de machine learning.

DataFrame

Type de données pandas populaire, qui permet de représenter ensembles de données en mémoire.

Un DataFrame est analogue à un tableau ou à une feuille de calcul. Chaque colonne d'un DataFrame porte un nom (un en-tête) et chaque ligne est identifiée par un numéro unique.

Chaque colonne d'un DataFrame est structurée comme un tableau 2D, à l'exception du fait que chaque colonne peut être associée à son propre type de données.

Consultez également la page de référence officielle de pandas.DataFrame.

parallélisme des données

Un moyen de faire évoluer l'entraînement ou l'inférence qui réplique l'intégralité d'un modèle sur plusieurs appareils, puis transmet un sous-ensemble des données d'entrée à chaque appareil. Le parallélisme de données peut permettre l'entraînement et l'inférence sur de très grandes tailles de lot. Toutefois, le parallélisme de données nécessite que le modèle soit suffisamment petit pour tenir sur tous les appareils.

Le parallélisme des données accélère généralement l'entraînement et l'inférence.

Voir aussi le parallélisme des modèles.

ensemble de données

Ensemble de données brutes, généralement (mais pas exclusivement) organisées de façon à des formats suivants:

• une feuille de calcul
• Un fichier au format CSV (valeurs séparées par des virgules)

API Dataset (tf.data)

une API TensorFlow de haut niveau pour la lecture de données et en les transformant dans une forme requise par un algorithme de machine learning. Un objet tf.data.Dataset représente une séquence d'éléments, dans laquelle chaque élément contient un ou plusieurs Tensors. tf.data.Iterator permet d'accéder aux éléments d'un Dataset.

frontière de décision

Le séparateur entre classes apprises par une modèle dans un classe binaire ou problèmes de classification à classes multiples. Par exemple : Dans l'image suivante, qui représente un problème de classification binaire, la frontière de décision est la frontière entre la classe orange la classe bleue:

Forêt de décision

Modèle créé à partir de plusieurs arbres de décision Une forêt de décision effectue une prédiction en agrégation des prédictions de ses arbres de décision. Les types de forêts de décision les plus courants incluent forêts aléatoires et arbres à boosting de gradient.

Pour en savoir plus, consultez la section Forêts de décision du cours sur les forêts de décision.

seuil de décision

Synonyme de seuil de classification.

arbre de décision

Un modèle d'apprentissage supervisé composé d'un ensemble Les conditions et les feuilles sont organisées de façon hiérarchique. Voici un exemple d'arbre de décision :

décodeur

En général, tout système de ML qui convertit une base de données une représentation interne en une représentation plus brute, dispersée ou externe.

Les décodeurs sont souvent un composant d'un modèle plus vaste, où ils sont souvent associés à un encodeur.

Dans les tâches séquence à séquence, un décodeur commence par l'état interne généré par l'encodeur pour prédire séquence.

Consultez Transformer pour connaître la définition d'un décodeur dans l'architecture Transformer.

Pour en savoir plus, consultez la section Grands modèles de langage dans le cours d'initiation au machine learning.

modèle deep learning

Réseau de neurones contenant plusieurs couches cachées.

Un modèle profond est également appelé réseau de neurones profond.

À comparer au modèle large.

de réseau de neurones profond

Synonyme de modèle profond.

Deep Q-Network (DQN)

Dans l'apprentissage par renforcement, un réseau de neurones profond prédit des fonctions Q.

Critic est l'équivalent de Deep Q-Network.

parité démographique

Métrique d'équité qui est satisfaite si les résultats de la classification d'un modèle ne dépendent pas d'un attribut sensible donné.

Par exemple, si des Lilliputiens et des Brobdingnagiens postulent à l'université Glubbdubdrib, la parité démographique est atteinte si le pourcentage de Lilliputiens admis est le même que celui des Brobdingnagiens, que l'un des groupes soit en moyenne plus qualifié que l'autre ou non.

Contrairement aux probabilités égales et à l'égalité des chances, qui permettent aux résultats de classification agrégés de dépendre d'attributs sensibles, les résultats de classification pour certains libellés de vérité terrain spécifiés ne peuvent pas dépendre d'attributs sensibles. Consultez Lutter contre les discriminations grâce à un machine learning plus intelligent pour découvrir une visualisation des compromis à prendre en compte lors de l'optimisation pour la parité démographique.

Pour en savoir plus, consultez la section Équité : parité démographique du cours d'initiation au machine learning.

suppression du bruit

Une approche courante de l'apprentissage auto-supervisé dans lequel:

1. Du bruit est ajouté artificiellement à l'ensemble de données.
2. Le modèle s'efforce de supprimer le bruit.

La suppression du bruit permet d'apprendre à partir d'exemples sans étiquette. L'dataset d'origine sert de cible ou label et les données comportant du bruit comme entrée.

Certains modèles de langage masqués utilisent le débruitage comme suit :

1. Du bruit est ajouté artificiellement à une phrase sans étiquette en masquant certaines les jetons.
2. Le modèle tente de prédire les jetons d'origine.

caractéristique dense

Fonctionnalité dont la plupart des valeurs ou toutes sont non nulles, généralement un Tensor de valeurs à virgule flottante. Par exemple, le tenseur à 10 éléments suivant est dense, car neuf de ses valeurs sont non nulles :

À comparer à la caractéristique creuse.

couche dense

Synonyme de couche entièrement connectée.

profondeur

Somme des éléments suivants dans un réseau de neurones :

• le nombre de couches cachées ;
• le nombre de couches de sortie, qui est généralement de 1
• le nombre de couches d'intégration ;

Par exemple, un réseau de neurones avec cinq couches cachées et une couche de sortie a une profondeur de 6.

Notez que la couche d'entrée n'a aucune incidence sur la profondeur.

Réseau de neurones convolutifs séparables en profondeur (sepCNN)

Un réseau de neurones convolutif basée sur l'architecture Inception, mais où les modules Inception sont remplacés par des modules séparables en profondeur. et les convolutions. Également appelé Xception.

Une convolution séparable en profondeur (également abrégée en "convolution séparable") factorise une convolution 3D standard en deux opérations de convolution distinctes plus efficaces en termes de calcul : d'abord, une convolution en profondeur, avec une profondeur de 1 (n ✕ n ✕ 1), puis une convolution ponctuelle, avec une longueur et une largeur de 1 (1 ✕ 1 ✕ n).

Pour en savoir plus, consultez l'article Xception: Deep Learning with Depthwise Separable. Convolutions

étiquette dérivée

Synonyme d'étiquette de proxy.

appareil

Terme complexe ayant deux définitions possibles :

1. Catégorie de matériel pouvant exécuter une session TensorFlow, y compris Processeurs, GPU et TPU.
2. Lors de l'entraînement d'un modèle de ML sur des chips d'accélérateur (GPU ou TPU), partie du système qui manipule réellement les tensors et les embeddings. L'appareil s'exécute sur des puces d'accélération. En revanche, l'hôte s'exécute généralement sur un processeur.

confidentialité différentielle

Dans le machine learning, une approche d'anonymisation pour protéger les données sensibles (par exemple, les informations personnelles d'une personne) incluses dans le ensemble d'entraînement d'être exposé. Cette approche garantit que le modèle n'apprend ni ne se souvient pas beaucoup d'un individu spécifique. Pour cela, il convient d'échantillonner et d'ajouter du bruit pendant pour masquer les points de données individuels, ce qui réduit des données d'entraînement sensibles.

La confidentialité différentielle est également utilisée en dehors du machine learning. Par exemple, les data scientists utilisent parfois la confidentialité différentielle pour protéger la confidentialité individuelle lors du calcul des statistiques d'utilisation des produits pour différentes données démographiques.

réduction de la dimensionnalité

Diminution du nombre de dimensions utilisées pour représenter une caractéristique particulière dans un vecteur de caractéristiques, généralement par conversion en un vecteur d'encapsulation.

dimensions

Terme complexe ayant l'une des définitions suivantes:

• Nombre de niveaux de coordonnées dans un Tensor. Exemple :

  • Un scalaire a zéro dimension, par exemple ["Hello"].
  • Un vecteur a une dimension ; Exemple : [3, 5, 7, 11].
  • Une matrice a deux dimensions : par exemple, [[2, 4, 18], [5, 7, 14]]. Vous pouvez spécifier de manière unique une cellule particulière dans un vecteur unidimensionnel avec une seule coordonnée ; vous avez besoin de deux coordonnées une cellule spécifique d'une matrice bidimensionnelle.

• Nombre d'entrées dans un vecteur de caractéristiques.

• Nombre d'éléments dans une couche de représentation vectorielle continue.

requête directe

Synonyme de requête zero-shot.

caractéristique discrète

Caractéristique avec un ensemble fini de valeurs possibles. Par exemple : une caractéristique dont les valeurs peuvent uniquement être animal, légume ou minéral est une caractéristique discrète (ou catégorielle).

À comparer à la caractéristique continue.

modèle discriminatif

Modèle qui prédit des libellés à partir d'un ensemble d'une ou plusieurs caractéristiques. Plus formellement, les modèles discriminatifs définissent probabilité conditionnelle d'un résultat en fonction des caractéristiques weights; c'est-à-dire:

p(output | features, weights)

Par exemple, un modèle qui prédit si un e-mail est un spam à partir de caractéristiques et les pondérations est un modèle discriminatif.

La grande majorité des modèles d'apprentissage supervisé, y compris la classification, et de régression sont des modèles discriminatifs.

À comparer au modèle génératif.

discriminateur

Système qui détermine si les exemples sont réels ou faux.

Le sous-système d'une attaque générative réseau qui détermine si les exemples créés par le générateur sont réels ou faux.

Pour en savoir plus, consultez la section Le discriminateur du cours sur les GAN.

impact différencié

Prendre des décisions concernant des personnes qui ont un impact disproportionné sur différents sous-groupes de population Il s'agit généralement de situations où un processus de prise de décision algorithmique nuit ou profite davantage à certains sous-groupes qu'à d'autres.

Par exemple, supposons qu'un algorithme qui détermine l'éligibilité d'un Lilliputien à un prêt immobilier miniature soit plus susceptible de le classer comme "inéligible" si son adresse postale contient un certain code postal. Si les Lilliputiens big-endian sont plus susceptibles d'avoir des adresses postales avec ce code postal que les Lilliputiens little-endian, cet algorithme peut avoir un impact disparate.

À comparer au traitement disparate, qui se concentre sur les disparités qui se produisent lorsque les caractéristiques d'un sous-groupe sont des entrées explicites d'un processus de prise de décision basé sur des algorithmes.

traitement disparate

Factorisation des sujets attributs sensibles dans un processus de prise de décision basé sur un algorithme, de sorte que différents sous-groupes des personnes sont traitées différemment.

Prenons l'exemple d'un algorithme détermine le score l'éligibilité à un prêt immobilier miniature en fonction du les données qu'ils fournissent dans leur demande de prêt. Si l'algorithme utilise L’affiliation de Lilliputian en tant que Big-Endian ou Little-Endian en tant qu’entrée, il consiste à appliquer un traitement disparate selon cette dimension.

À comparer à l'impact disparate, qui met l'accent sur les disparités dans l'impact sociétal des décisions algorithmiques sur les sous-groupes, que ces sous-groupes constituent ou non des entrées du modèle.

distillation

Processus consistant à réduire la taille d'un modèle (appelé enseignant) en un modèle plus petit (appelé élève) qui émule les prédictions du modèle d'origine aussi fidèlement que possible. La distillation est utile, car le modèle plus petit présente deux avantages clés par rapport au modèle plus grand (l'enseignant) :

• Temps d'inférence plus rapide
• Réduction de la consommation de mémoire et d'énergie

Toutefois, les prédictions de l'élève ne sont généralement pas aussi bonnes que les prédictions de l'enseignant.

La distillation entraîne le modèle élève pour minimiser une fonction de perte en fonction de la différence entre les sorties des prédictions des modèles élève et enseignant.

Indiquer les points communs et les différences entre la distillation et les termes suivants:

• optimisation
• apprentissage par requête

Pour en savoir plus, consultez LLM : ajustement fin, distillation et ingénierie des requêtes dans le cours d'initiation au machine learning.

distribution

Fréquence et plage des différentes valeurs pour une fonctionnalité ou un libellé donnés. Une distribution indique la probabilité d'une valeur donnée.

L'image suivante montre des histogrammes de deux distributions différentes:

• À gauche, distribution de la richesse en fonction de la loi de puissance par rapport au nombre de personnes qui la possèdent.
• À droite, distribution normale de la taille par rapport au nombre de personnes ayant cette taille.

Comprendre la distribution de chaque caractéristique et de chaque étiquette peut vous aider à déterminer comment normaliser les valeurs et détecter les valeurs aberrantes.

L'expression out of distribution (hors distribution) fait référence à une valeur qui n'apparaît pas dans le ou est très rare. Par exemple, une image de la planète Saturne serait considérée comme hors distribution pour un ensemble de données composé d'images de chats.

clustering divisif

Voir clustering hiérarchique.

sous-échantillonnage

Terme complexe pouvant signifier l'un des éléments suivants:

• Réduction de la quantité d'informations dans une fonctionnalité afin d'entraîner un modèle plus efficacement. Par exemple : avant d'entraîner un modèle de reconnaissance d'image, en sous-échantillonnant dans un format de résolution inférieure.
• Entraînement sur un pourcentage disproportionné des personnes surreprésentées classe afin d'améliorer l'entraînement du modèle sur les classes sous-représentées. Par exemple, dans une classe avec déséquilibre des classes d'un ensemble de données, les modèles ont tendance à en apprendre beaucoup sur majorité et pas assez classe minoritaire. Le sous-échantillonnage aide équilibrer la quantité de formation sur les classes majoritaires et minoritaires.

Consultez la page Ensembles de données: déséquilibre ensembles de données dans le Cours d'initiation au Machine Learning.

DQN

Abréviation de Deep Q-Network.

régularisation par abandon

Forme de régularisation utile pour l'entraînement réseaux de neurones. La régularisation par abandon supprime de manière aléatoire un nombre fixe d'unités dans une couche du réseau pour un pas de gradient unique. Plus il y a d'unités abandonnées, plus la régularisation. Cette méthode est analogue à l'entraînement du réseau pour l'émulation un ensemble exponentiellement grand de réseaux plus petits. Pour en savoir plus, consultez l'article Dropout: A Simple Way to Prevent Neural Networks from Overfitting (en anglais).

dynamic

Activité effectuée fréquemment ou en continu. Les termes dynamique et en ligne sont des synonymes en machine learning. Voici des utilisations courantes de l'apprentissage dynamique et de l'apprentissage en ligne dans l'apprentissage automatique :

• Un modèle dynamique (ou modèle en ligne) est un modèle qui est réentraîné fréquemment ou en continu.
• L'entraînement dynamique (ou l'entraînement en ligne) est le processus d'entraînement. fréquemment ou en continu.
• L'inférence dynamique (ou inférence en ligne) est un processus générer des prédictions à la demande.

modèle dynamique

Un modèle fréquemment (peut-être continu) réentraîné. Un modèle dynamique apprend tout au long de sa vie que s'adapte constamment à l'évolution des données. Un modèle dynamique est également appelé modèle en ligne.

À comparer au modèle statique.

E

exécution eager

Environnement de programmation TensorFlow dans lequel les opérations s'exécuter immédiatement. En revanche, les opérations appelées les exécutions de graphe ne sont pas exécutées tant qu'elles n'ont pas été explicitement évalué. L'exécution eager est une interface impérative, à l'instar du code de la plupart des langages de programmation. Les programmes d'exécution eager sont généralement bien plus faciles à déboguer que les programmes d'exécution de graphe.

arrêt prématuré

Méthode de régularisation qui consiste à mettre fin à l'entraînement avant que la perte d'entraînement ne finisse de diminuer. Lors de l'arrêt prématuré, vous arrêtez intentionnellement l'entraînement du modèle Lorsque la perte d'un ensemble de données de validation commence à increase; c'est-à-dire, quand les performances en généralisation se dégradent.

distance du déménageur (EMD)

Mesure de la similarité relative de deux distributions. Plus la distance du transporteur de terre est faible, plus les distributions sont similaires.

modifier la distance

Mesure du degré de similarité entre deux chaînes de texte. En machine learning, la modification de la distance est utile, car elle permet le calcul, et c'est un moyen efficace de comparer deux chaînes connues pour être similaires ou pour trouver des chaînes similaires à une chaîne donnée.

Il existe plusieurs définitions de la distance d'édition, chacune utilisant des opérations de chaîne différentes. Par exemple, la distance de Levenshtein prend en compte le moins d'opérations de suppression, d'insertion et de substitution.

Par exemple, la distance de Levenshtein entre les mots "cœur" et "fléchettes" est de trois, car les trois modifications suivantes sont les moins nombreuses à transformer un mot en l'autre :

1. cœur → deart (remplacez "h" par "d")
2. deart → fléchette (supprime "e")
3. fléchette → fléchettes (insert "s")

Notation Einsum

Une notation efficace pour décrire comment deux tensors doivent être combinés. Les Tensors sont combinés en multipliant les éléments d'un Tensor par les éléments de l'autre Tensor, puis en additionnant les produits. La notation Einsum utilise des symboles pour identifier les axes de chaque Tensor, lesquels les mêmes symboles sont réorganisés pour spécifier la forme du nouveau Tensor qui en résulte.

NumPy fournit une implémentation courante d'Einsum.

couche d'embedding

Couche cachée spéciale qui s'entraîne sur une caractéristique catégorique à haute dimension pour apprendre progressivement un vecteur d'embedding de dimension inférieure. Une la couche de représentation vectorielle continue permet à un réseau de neurones d'entraîner plus efficace que l'entraînement avec la caractéristique catégorielle de grande dimension.

Par exemple, la Terre compte actuellement environ 73 000 espèces d'arbres. Supposons espèce d'arbre est une caractéristique de votre modèle. Par conséquent, la couche d'entrée inclut un vecteur one-hot 73 000 les éléments de long. Par exemple, baobab serait peut-être représenté comme ceci:

Un tableau de 73 000 éléments est très long. Si vous n'ajoutez pas de couche de représentation vectorielle continue au modèle, l'entraînement prend beaucoup de temps, car en multipliant 72 999 zéros. Vous pouvez choisir que la couche d'embedding se compose de 12 dimensions. Par conséquent, la couche d'embedding apprendra progressivement un nouveau vecteur d'embedding pour chaque espèce d'arbre.

Dans certains cas, le hachage constitue une alternative raisonnable à une couche d'encapsulation.

Pour en savoir plus, consultez la section Embeddings dans le cours d'initiation au machine learning.

espace de représentation vectorielle continue

L'espace vectoriel à d dimensions qui provient d'une dimension de plus grande dimension l’espace vectoriel auxquels sont mappés. Dans l'idéal, l'espace de représentation vectorielle contient une structure qui génère des résultats mathématiques significatifs ; par exemple, dans un espace de représentation vectorielle optimal, l'addition et la soustraction de représentations vectorielles continues peuvent résoudre des tâches d'analogie de mots.

Le produit scalaire de deux espaces de représentation vectorielle est une mesure de leur similarité.

vecteur d'embedding

De manière générale, un tableau de nombres à virgule flottante tirés de n'importe lequel couche cachée qui décrivent les entrées de cette couche cachée. Souvent, un vecteur d'embedding est le tableau de nombres à virgule flottante entraîné dans une couche d'embedding. Par exemple, supposons qu'une couche de représentation vectorielle continue doit apprendre une pour chacune des 73 000 espèces d'arbres sur Terre. Le tableau suivant est peut-être le vecteur d'embedding d'un baobab :

Un vecteur de représentation vectorielle continue n'est pas un groupe de nombres aléatoires. Une couche d'embedding détermine ces valeurs via l'entraînement, comme un réseau de neurones apprend d'autres poids pendant l'entraînement. Chaque élément du est une notation associée aux caractéristiques d'une espèce d'arbre. Quel élément représente la caractéristique de quelle espèce d'arbre ? C'est très difficile pour que les humains puissent le déterminer.

La partie mathématiquement remarquable d'un vecteur d'embedding est que les éléments similaires ont des ensembles de nombres à virgule flottante similaires. Par exemple, des espèces d'arbres ont un jeu de nombres à virgule flottante plus proche que des espèces d'arbres différentes. Les séquoias et les séquoias géants sont des espèces d'arbres apparentées. Ils auront donc un ensemble de nombres à virgule flottante plus similaire que les séquoias géants et les cocotiers. Les nombres du vecteur de représentation vectorielle continue chaque fois que vous réentraînez le modèle, même si vous le réentraînez avec une entrée identique.

Fonction de distribution cumulative empirique (eCDF ou EDF)

Une fonction de distribution cumulative à partir de mesures empiriques provenant d'un ensemble de données réel. La valeur de la fonction à n'importe quel point de l'axe X correspond à la fraction des observations de l'ensemble de données qui sont inférieures ou égales à la valeur spécifiée.

minimisation du risque empirique (ERM)

Choisir la fonction qui minimise la perte pour l'ensemble d'entraînement. À comparer à la minimisation du risque structurel.

encodeur

En général, tout système de ML qui effectue une conversion à partir d'un système de ML brut, creux ou externe la représentation en une représentation plus traitée, plus dense ou plus interne.

Les encodeurs sont souvent un composant d'un modèle plus vaste, où ils sont souvent associés à un décodeur. Quelques modèles Transformer associer des encodeurs à des décodeurs, bien que les autres modèles Transformer n'utilisent que l'encodeur ou uniquement le décodeur.

Certains systèmes utilisent la sortie de l'encodeur comme entrée d'un réseau de classification ou de régression.

Dans les tâches séquence à séquence, un encodeur prend une séquence d'entrée et renvoie un état interne (un vecteur). Ensuite, le décodeur utilise cet état interne pour prédire la séquence suivante.

Consultez Transformer pour connaître la définition d'un encodeur dans l'architecture Transformer.

Voir l'article LLM: Qu'est-ce qu'un grand langage modèle dans le Cours d'initiation au Machine Learning.

ensemble

Ensemble de modèles entraînés indépendamment et dont les prédictions la moyenne ou agrégée. Dans de nombreux cas, un ensemble produit de meilleurs des prédictions qu'avec un seul modèle. Par exemple, une forêt d'arbres aléatoires est un ensemble construit à partir de plusieurs arbres de décision. Notez que tous les Les forêts de décision sont des ensembles.

Pour en savoir plus, consultez la section Forêt aléatoire du cours d'initiation au machine learning.

entropie

Dans <ph type="x-smartling-placeholder"></ph> théorie de l'information, une description de l'imprévisibilité d'une probabilité la distribution. L'entropie est également définie comme la quantité informations contenues dans chaque exemple. Une distribution comporte l'entropie la plus élevée possible lorsque toutes les valeurs d'une variable aléatoire sont tout aussi probable.

Entropie d'un ensemble avec deux valeurs possibles "0" et "1" (par exemple, étiquettes d'un problème de classification binaire) utilise la formule suivante:

H = -p log p - q log q = -p log p - (1-p) * log (1-p)

où :

• H est l'entropie.
• p correspond à la fraction des exemples "1".
• q est la fraction de "0". exemples. Notez que q = (1 - p).
• log est généralement log₂. Dans ce cas, l'entropie est un peu.

Par exemple, supposons les éléments suivants :

• 100 exemples contiennent la valeur "1"
• 300 exemples contiennent la valeur "0"

La valeur d'entropie est donc la suivante :

• p = 0,25
• q = 0,75
• H = (-0,25)log₂(0,25) - (0,75)log₂(0,75) = 0,81 bit par exemple

Un ensemble parfaitement équilibré (par exemple, 200 "0" et 200 "1") aurait une entropie de 1,0 bit par exemple. À mesure qu'un ensemble devient plus déséquilibré, son entropie tend vers 0,0.

Dans les arbres de décision, l'entropie permet de formuler le gain d'information pour aider le séparateur à sélectionner les conditions au cours de la croissance d'un arbre de décision de classification.

Comparez l'entropie à :

• impurité du gini
• Fonction de perte de l'entropie croisée

L'entropie est souvent appelée entropie de Shannon.

Pour en savoir plus, consultez la section Diviseur exact pour la classification binaire avec des caractéristiques numériques dans le cours sur les forêts de décision.

de production

Dans le renforcement, monde qui contient l'agent et qui lui permet d'observer l'état de ce monde. Par exemple : le monde représenté peut être un jeu comme les échecs, ou un monde physique comme un dans ce labyrinthe. Lorsque l'agent applique une action à l'environnement, puis l'environnement passe d'un état à l'autre.

épisode

Dans l'apprentissage par renforcement, chacune des tentatives répétées de l'agent pour apprendre un environnement.

epoch

Cycle d'entraînement complet sur l'ensemble de l'ensemble d'entraînement de manière à ce que chaque exemple ait été traité une fois.

Une époque représente N/taille de lot itérations d'entraînement, où N est le le nombre total d'exemples.

Par exemple, supposons les éléments suivants:

• L'ensemble de données se compose de 1 000 exemples.
• La taille de lot est de 50 exemples.

Par conséquent, une seule époque nécessite 20 itérations :

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

Voir la section Régression linéaire: Hyperparamètres dans le Cours d'initiation au Machine Learning.

règle égoiste epsilon

Dans l'apprentissage par renforcement, une règle qui suit un règle aléatoire avec une probabilité epsilon ou une règle gloutonne dans les autres cas. Par exemple, si epsilon est égal à 0,9, la règle suit une règle aléatoire 90 % du temps et une règle avide 10 % du temps.

Au fil des épisodes successifs, l'algorithme réduit la valeur d'épsilon afin de passer d'une politique aléatoire à une politique avide. Par en changeant la règle, l'agent explore d'abord l'environnement et exploite les résultats de l'exploration aléatoire.

égalité des chances

Une métrique d'équité pour évaluer si un modèle prédire aussi bien le résultat souhaitable pour toutes les valeurs d'une attribut sensible. En d'autres termes, si le le résultat souhaité pour un modèle est la classe positive, l'objectif est que le taux de vrais positifs soit même pour tous les groupes.

L'égalité des chances est liée aux probabilités égales, ce qui nécessite que les deux taux de vrais positifs et les taux de faux positifs soient les mêmes pour tous les groupes.

Supposons que l'université Glubbdubdrib admette à un programme de mathématiques rigoureux des Lilliputiens et des Brobdingnagiens. Lilliputiens les établissements d'enseignement secondaire proposent de mathématiques et que la grande majorité des élèves sont qualifié pour le programme universitaire. Les établissements d'enseignement secondaire des Brobdingnagiens n'offrent pas du tout de cours de mathématiques. Par conséquent, beaucoup moins de leurs élèves sont qualifiés. L'égalité des chances est satisfaite pour l'étiquette préférée de "admis" en fonction de la nationalité (liliputienne ou brobdingnagienne) : les étudiants qualifiés ont les mêmes chances d'être admis, qu'ils soient c'est un Lilliputien ou un Brobdingnag.

Par exemple, supposons que 100 Lilliputiens et 100 Brobdingnagiens postulent à l'université Glubbdubdrib, et que les décisions d'admission soient prises comme suit :

Tableau 1. Candidats Lilliputiens (90 % sont éligibles)

Tableau 2. Candidats boursiers (10% sont qualifiés):

Les exemples précédents satisfont à l'égalité des chances pour l'acceptation de d'étudiants qualifiés parce que les Lilliputiens et les Brobdingnagiens sont qualifiés ont 50% de chances d'être admis.

Bien que l'égalité des chances soit satisfaite, les deux métriques d'impartialité suivantes ne sont pas satisfaits:

• Parité démographique: les lilliputiens et Les brobdingnagiens sont admis à l'université à des tarifs différents. 48% des étudiants lilliputiens sont acceptés, mais seulement 14 % Les étudiants brobdingnagiens sont acceptés.
• Chances égales : même si les élèves Lilliputiens et Brobdingnagiens qualifiés ont les mêmes chances d'être admis, la contrainte supplémentaire selon laquelle les Lilliputiens et les Brobdingnagiens non qualifiés ont les mêmes chances d'être refusés n'est pas satisfaite. Les Lilliputiens non qualifiés ont un taux de refus de 70 %, tandis que les Brobdingnagiens non qualifiés ont un taux de refus de 90 %.

Pour en savoir plus, consultez la section Équité : égalité des chances dans le cours d'initiation au machine learning.

cotes égales

Métrique d'équité pour évaluer si un modèle prédit les résultats de manière égale convient à toutes les valeurs d'un attribut sensible avec à la fois par rapport à la classe positive et classe négative, pas seulement à l'une ou l'autre des classes exclusivement. En d'autres termes, le taux de vrais positifs et le taux de faux négatifs doivent être les mêmes pour tous les groupes.

Les chances égalisées sont liées à l'égalité des chances, qui ne se concentre que sur les taux d'erreur d'une seule classe (positive ou négative).

Par exemple, supposons que l'université Glubbdubdrib admette à la fois des Lilliputiens et des Brobdingnagiens dans un programme de mathématiques rigoureux. Lilliputiens secondaire proposent un programme rigoureux de cours de mathématiques et la grande majorité des les étudiants sont qualifiés pour le programme universitaire. Les écoles secondaires des Brobdingnagiens n'offrent pas du tout de cours de mathématiques. Par conséquent, beaucoup moins de leurs élèves sont qualifiés. Les chances égales sont respectées, que le demandeur soit un Lilliputien ou un Brobdingnagien. S'il est qualifié, il a autant de chances d'être admis au programme que s'il ne l'est pas.

Supposons que 100 Lilliputiens et 100 Brobdingnagiens s'appliquent à Glubbdubdrib Les décisions concernant les universités et les admissions sont prises comme suit:

Tableau 3 : Candidats lilliputiens (90% sont qualifiés)

Tableau 4. Candidats Brobdingnagiens (10 % sont éligibles) :

La probabilité est égale à égalité, car les qualifications lilliputiennes et brobdingnagiennes qualifiées sont les élèves ont 50% de chances d'être admis, et les lilliputiens non qualifiés et Brobdingnagian ont 80% de chances d'être rejetés.

Les probabilités égalisées sont définies officiellement dans "Equality of Opportunity in Supervised Learning" (Égalité des chances dans l'apprentissage supervisé) comme suit : "Le prédicteur Ŷ satisfait les probabilités égalisées par rapport à l'attribut protégé A et au résultat Y si Ŷ et A sont indépendants, sous réserve de Y."

Estimator

API TensorFlow obsolète. Utilisez tf.keras à la place. des Estimators.

evals

Abréviation principalement utilisée pour les évaluations de LLM. Plus généralement, evals est l'abréviation de toute forme Évaluation.

hors connexion

Processus consistant à mesurer la qualité d'un modèle ou à comparer différents modèles l'un à l'autre.

Pour évaluer un modèle de machine learning supervisé, vous le comparez généralement à un ensemble de validation et à un ensemble de test. Évaluer un LLM implique généralement des évaluations plus larges de la qualité et de la sécurité.

exemple

Valeurs d'une ligne de éléments géographiques et éventuellement d'un libellé. Les exemples d'apprentissage supervisé se divisent en deux catégories générales :

• Un exemple étiqueté se compose d'une ou plusieurs caractéristiques et d'un libellé. Les exemples étiquetés sont utilisés pendant l'entraînement.
• Un exemple sans étiquette comprend un ou plusieurs plus de caractéristiques, mais pas d'étiquette. Les exemples sans étiquette sont utilisés pendant l'inférence.

Par exemple, supposons que vous entraînez un modèle pour déterminer l'influence sur les conditions météorologiques sur les résultats des élèves. Voici trois exemples avec des libellés :

Voici trois exemples sans étiquette:

La ligne d'un ensemble de données est généralement la source brute d'un exemple. Autrement dit, un exemple se compose généralement d'un sous-ensemble des colonnes de l'ensemble de données. De plus, les éléments d'un exemple peuvent également inclure des éléments synthétiques, tels que des croisements de caractéristiques.

Pour en savoir plus, consultez la section Apprentissage supervisé du cours "Introduction au machine learning".

Replay de l'expérience

Dans le renforcement appris, une technique DQN utilisée pour réduire les corrélations temporelles dans les données d'entraînement. L'agent stocke les transitions d'état dans un tampon de relecture, puis échantillonne les transitions à partir du tampon de relecture pour créer des données d'entraînement.

effet expérimentateur

Voir biais de confirmation.

problème de gradient explosif

La tendance des gradients dans les réseaux de neurones profonds (en particulier les réseaux de neurones récurrents) afin qu'ils deviennent étonnamment raide (élevé). Les gradients raides entraînent souvent des mises à jour très importantes des pondérations de chaque nœud dans un réseau de neurones profond.

Les modèles souffrant du problème d'explosion du gradient deviennent difficiles ou impossibles à entraîner. La coupe du dégradé peut atténuer ce problème.

Comparez-le au problème de gradient qui disparaît.

F

F₁

Métrique de classification binaire "récapitulative" qui repose à la fois sur la précision et le rappel. Voici la formule:

Par exemple, supposons les éléments suivants :

• precision = 0,6
• rappel = 0,4

Lorsque la précision et le rappel sont assez similaires (comme dans l'exemple précédent), le score F₁ est proche de leur moyenne. Lorsque la précision et le rappel diffèrent de manière significative, F₁ est plus proche de la valeur la plus basse. Exemple :

• precision = 0,9
• rappel = 0,1

contrainte d'équité

• Post-traitement de la sortie de votre modèle.
• Modifier la fonction de perte pour intégrer une pénalité en cas de non-respect d'une métrique d'équité.
• Ajouter directement une contrainte mathématique à un problème d'optimisation.

métrique d'équité

Une définition mathématique de l'équité qui est mesurable Voici quelques métriques d’équité couramment utilisées:

• cotes égales
• parité prédictive
• impartialité contrefactuelle
• parité démographique

De nombreuses métriques d'équité s'excluent mutuellement. voir incompatibilité des métriques d'équité.

faux négatif (FN)

Exemple dans lequel le modèle prédit à tort classe négative. Par exemple, le modèle prédit qu'un e-mail particulier n'est pas du spam (classe négative), alors qu'en réalité il l'est.

taux de faux négatifs

Proportion d'exemples positifs réels pour lesquels le modèle a prédit à tort la classe négative. La formule suivante calcule le taux de faux négatifs :

Voir la section Seuils et confusion matricielle dans le Cours d'initiation au Machine Learning.

faux positif (FP)

Exemple dans lequel le modèle prédit à tort classe positive. Par exemple, le modèle prédit qu'un e-mail donné est considéré comme du spam (classe positive), mais que l'e-mail n'est en réalité pas un spam.

Pour en savoir plus, consultez la section Seuils et matrice de confusion du cours d'initiation au machine learning.

taux de faux positifs (TFP)

Proportion d'exemples négatifs réels pour lesquels le modèle a prédit à tort la classe positive. La formule suivante calcule le taux de faux positifs :

Le taux de faux positifs correspond à l'abscisse d'une courbe ROC.

Voir la section Classification: ROC et AUC dans le Cours d'initiation au Machine Learning.

fonctionnalité

Variable d'entrée d'un modèle de machine learning. Exemple comprend une ou plusieurs caractéristiques. Par exemple, supposons que vous entraîniez un pour déterminer l'influence des conditions météorologiques sur les résultats des élèves aux tests. Le tableau suivant présente trois exemples, chacun contenant trois éléments géographiques et un libellé :

À comparer au libellé.

Consultez la section Apprentissage supervisé. dans le cours "Introduction to Machine Learning".

croisement de caractéristiques

Caractéristique synthétique résultant du "croisement" de caractéristiques catégorielles ou binées.

Prenons l'exemple d'un modèle de "prédiction de l'humeur" qui représente la température dans l'un des quatre buckets suivants :

• freezing
• chilly
• temperate
• warm

Il représente la vitesse du vent dans l'un des trois buckets suivants :

• still
• light
• windy

Sans croisements de caractéristiques, le modèle linéaire s'entraîne de façon indépendante sur chacune des qui précède sept buckets différents. Ainsi, le modèle s'entraîne sur, par exemple, freezing indépendamment de l'entraînement sur, par exemple, windy.

Vous pouvez également créer un croisement de caractéristiques entre la température et la vitesse du vent. Cette caractéristique synthétique aurait les 12 possibilités suivantes : :

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Grâce aux croisements de caractéristiques, le modèle peut apprendre les différences d'humeur entre un jour freezing-windy et un jour freezing-still.

Si vous créez une caractéristique synthétique à partir de deux caractéristiques qui comportent chacune de nombreux buckets différents, le croisement de caractéristiques qui en résultera aura un nombre énorme de combinaisons possibles. Par exemple, si une caractéristique comporte 1 000 buckets l'autre comporte 2 000 buckets, le croisement de caractéristiques obtenu comporte 2 000 000 Cloud Storage.

Officiellement, une croix est une Produit cartésien.

Les croisements de caractéristiques sont principalement utilisés avec les modèles linéaires et sont rarement utilisés avec les réseaux de neurones.

Pour en savoir plus, consultez la section Données catégorielles : croisements de fonctionnalités dans le cours d'initiation au machine learning.

l'ingénierie des caractéristiques.

Un processus qui comprend les étapes suivantes:

1. Déterminer les fonctionnalités qui pourraient être utiles lors de l'entraînement d'un modèle.
2. Conversion des données brutes de l'ensemble de données en versions efficaces ces caractéristiques.

Par exemple, vous pouvez déterminer que temperature peut être utile . Vous pouvez ensuite tester le binning afin d'optimiser ce que le modèle peut apprendre à partir des différentes plages temperature.

L'ingénierie des caractéristiques est parfois appelée extraction de caractéristiques ou featurisation.

Consultez la page Données numériques: comment un modèle ingère des données à l'aide des caractéristiques. des vecteurs dans le Cours d'initiation au Machine Learning.

extraction de caractéristiques

Terme complexe qui a une des définitions suivantes :

• Récupérer des représentations de caractéristiques intermédiaires calculées par une modèle non supervisé ou pré-entraîné (par exemple, les valeurs de la couche cachée d'une réseau de neurones) pour les utiliser en entrée dans un autre modèle.
• Synonyme d'ingénierie des caractéristiques.

importance des caractéristiques

Synonyme de importance des variables.

ensemble de fonctionnalités

Groupe des caractéristiques utilisées pour l'entraînement de votre modèle de machine learning. Par exemple, le code postal, la taille et l'état du bien peuvent comprend un ensemble de caractéristiques simple pour un modèle qui prédit le prix des logements.

spécification des caractéristiques

Décrit les informations requises pour extraire les données de caractéristiques à partir du tampon de protocole tf.Example. Étant donné que le tampon de protocole tf.Example n'est qu'un conteneur de données, vous devez spécifier les éléments suivants :

• Les données à extraire (c'est-à-dire les clés des caractéristiques)
• Type de données (par exemple, float ou int)
• La longueur (fixe ou variable)

vecteur de caractéristiques

Tableau des valeurs de caractéristiques constituant un exemple. L'entrée du vecteur de caractéristiques pendant l'entraînement et pendant l'inférence. Par exemple, le vecteur de caractéristiques d'un modèle avec deux caractéristiques discrètes peut être le suivant :

[0.92, 0.56]

Chaque exemple fournit des valeurs différentes pour le vecteur de caractéristiques. pour l'exemple suivant, le vecteur de caractéristiques pourrait ressembler à ceci:

[0.73, 0.49]

L'ingénierie des caractéristiques détermine comment représenter les caractéristiques dans le vecteur de caractéristiques. Par exemple, une caractéristique catégorielle binaire avec cinq valeurs possibles peut être représentée par un encodage one-hot. Dans ce cas, la partie le vecteur de caractéristiques pour un exemple particulier se compose de quatre zéros et un seul 1.0 en troisième position, comme suit:

[0.0, 0.0, 1.0, 0.0, 0.0]

Autre exemple : supposons que votre modèle se compose de trois caractéristiques :

• une caractéristique catégorielle binaire avec cinq valeurs possibles représentées par un codage one-hot (par exemple : [0.0, 1.0, 0.0, 0.0, 0.0])
• une autre caractéristique catégorielle binaire avec trois valeurs possibles représentées avec encodage one-hot, Exemple: [0.0, 0.0, 1.0]
• une caractéristique à virgule flottante ; Exemple: 8.3.

Dans ce cas, le vecteur de caractéristiques de chaque exemple serait représenté par neuf valeurs. Compte tenu des exemples de valeurs de la liste précédente, le vecteur de caractéristiques serait le suivant :

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

Consultez la page Données numériques: comment un modèle ingère des données à l'aide des caractéristiques. des vecteurs dans le Cours d'initiation au Machine Learning.

featurization

Processus d'extraction de caractéristiques à partir d'une source d'entrée, telle qu'un document ou une vidéo, et de mappage de ces caractéristiques dans un vecteur de caractéristiques.

Certains experts en ML utilisent la featurization comme synonyme de l'ingénierie des caractéristiques ou extraction de caractéristiques.

apprentissage fédéré

Une approche de machine learning distribué qui entraîne modèles de machine learning à l'aide de modèles exemples stockés sur des appareils tels que des smartphones. Dans l'apprentissage fédéré, un sous-ensemble d'appareils télécharge le modèle actuel. à partir d'un serveur central de coordination. Les appareils utilisent les exemples stockés sur eux pour améliorer le modèle. Les appareils importent ensuite les améliorations du modèle (mais pas les exemples d'entraînement) sur le serveur de coordination, où elles sont agrégées avec d'autres mises à jour pour générer un modèle global amélioré. Après l'agrégation, le modèle met à jour les calculs effectués par les appareils ne sont plus nécessaires et peuvent être supprimés.

Comme les exemples d'entraînement ne sont jamais importés, l'apprentissage fédéré suit le des principes de confidentialité en matière de collecte ciblée et de minimisation des données.

Pour en savoir plus sur l'apprentissage fédéré, consultez ce tutoriel.

boucle de rétroaction

En machine learning, situation dans laquelle les prédictions d'un modèle influencent les données d'entraînement du même modèle ou d'un autre modèle. Par exemple, un modèle qui recommande des films influence les films que les utilisateurs regardent, ce qui influence ensuite les modèles de recommandation de films suivants.

Pour en savoir plus, consultez la section Systèmes de ML en production : questions à se poser dans le cours d'initiation au machine learning.

Réseau de neurones feedforward (FFN)

Réseau de neurones sans connexions cycliques ou récursives. Par exemple : Les réseaux de neurones profonds traditionnels sont les réseaux de neurones feedforward. À comparer au neurone réseaux VPC, qui sont cycliques.

apprentissage few-shot

Approche du machine learning, souvent utilisée pour la classification d'objets, conçue pour entraîner des classificateurs efficaces à partir d'un petit nombre d'exemples d'entraînement.

Voir aussi apprentissage one-shot et Apprentissage zero-shot :

requêtes few-shot

Une requête contenant plusieurs exemples montrant comment le grand modèle de langage doit répondre. Par exemple, la longue requête suivante contient deux Exemples montrant à un grand modèle de langage comment répondre à une requête.

Les requêtes few-shot génèrent généralement des résultats plus intéressants que les requêtes zero-shot et les requêtes one-shot. Toutefois, les requêtes few-shot nécessitent une requête plus longue.

Les requêtes few-shot sont une forme d'apprentissage few-shot appliquée à l'apprentissage basé sur les requêtes.

Pour en savoir plus, consultez la section Ingénierie des requêtes du cours d'initiation au machine learning.

Violon

Bibliothèque de configuration Python first qui définit les valeurs des fonctions et des classes sans code ni infrastructure intrusifs. Dans le cas de Pax (et d'autres codebases de ML), ces fonctions et classes représentent des modèles et des hyperparamètres d'entraînement.

Violon suppose que les codebases de machine learning sont généralement divisés en:

• Le code de bibliothèque, qui définit les couches et les optimiseurs.
• Ensemble de données "glue" qui appelle les bibliothèques et les câbles ensemble.

Fiddle capture la structure d'appel du code de liaison sous une forme non évaluée et modifiable.

optimisation

Un deuxième parcours de formation spécifique à une tâche, effectué sur un modèle pré-entraîné pour affiner ses paramètres pour pour un cas d'utilisation spécifique. Par exemple, la séquence d'entraînement complète Les grands modèles de langage se présentent comme suit:

1. Pré-entraînement:entraînez un grand modèle de langage sur un vaste ensemble de données général. comme toutes les pages Wikipédia en anglais.
2. Ajustement : entraînez le modèle pré-entraîné pour qu'il effectue une tâche spécifique, comme répondre à des requêtes médicales. Le réglage fin implique généralement des centaines ou des milliers d'exemples axés sur la tâche spécifique.

Autre exemple : la séquence d'entraînement complète d'un grand modèle d'image se présente comme suit :

1. Pré-entraînement : entraînez un grand modèle d'image sur un vaste ensemble de données d'images générales, comme toutes les images de Wikimedia Commons.
2. Affinement : entraînez le modèle pré-entraîné pour qu'il effectue une tâche spécifique, comme générer des images d'orques.

L'affinage peut nécessiter n'importe quelle combinaison des stratégies suivantes:

• Modifier tous les paramètres existants du modèle pré-entraîné. On parle parfois de réglage fin complet.
• Modifier seulement certains des paramètres existants du modèle pré-entraîné (généralement, les couches les plus proches de la couche de sortie), tout en laissant les autres paramètres existants inchangés (généralement, les couches les plus proches de la couche d'entrée). Voir réglage efficace des paramètres.
• Ajouter des calques, généralement au-dessus des calques existants les plus proches du couche de sortie.

L'optimisation est une forme d'apprentissage par transfert. Par conséquent, l'affinage peut utiliser une fonction de perte différente ou un modèle différent que celui utilisé pour entraîner le modèle pré-entraîné. Par exemple, vous pouvez affinez un grand modèle d'images pré-entraînés pour produire un modèle de régression renvoie le nombre d'oiseaux dans une image d'entrée.

Indiquer les points communs et les différences entre l'affinage avec les termes suivants:

• distillation
• apprentissage par requête

Pour en savoir plus, consultez la section Réglage dans le Cours d'initiation au Machine Learning.

Lin

Bibliothèque Open Source hautes performances pour le deep learning, basée sur JAX. Flax fournit des fonctions pour entraîner des réseaux de neurones, ainsi que des méthodes pour évaluer leurs performances.

Lin

Transformer Open Source bibliothèque basé sur Flax et conçu principalement pour le traitement du langage naturel et la recherche multimodale.

porte de suppression

La partie d'une mémoire à long terme à court terme. cellule qui régule le flux d'informations dans la cellule. Les portes à oublier conservent le contexte en décidant quelles informations supprimer de l'état de la cellule.

softmax complet

Synonyme de softmax.

À comparer à l'échantillonnage de candidats.

Pour en savoir plus, consultez la section Réseaux de neurones : classification à classes multiples du cours d'initiation au machine learning.

couche entièrement connectée

Couche cachée dans laquelle chaque nœud est connecté à tous les nœuds de la couche cachée suivante.

Une couche entièrement connectée est également appelée couche dense.

transformation de fonction

Fonction qui reçoit une fonction en entrée et renvoie une fonction transformée en sortie. JAX utilise les transformations de fonction.

G

GAN

Abréviation de réseaux antagonistes génératifs.

généralisation

Capacité d'un modèle à effectuer des prédictions correctes pour des données nouvelles, qui n'ont encore jamais été vues. Un modèle qui peut généraliser est l'inverse d'un modèle en surapprentissage.

Consultez la page Généralisation. dans le Cours d'initiation au Machine Learning.

Gemini

Écosystème composé de l'IA la plus avancée de Google. Voici quelques éléments de cet écosystème :

• différents modèles Gemini ;
• Interface de conversation interactive pour un modèle Gemini Les utilisateurs saisissent des requêtes, et Gemini y répond.
• Diverses API Gemini
• Divers produits d'entreprise basés sur les modèles Gemini ; Exemple : Gemini pour Google Cloud.

Modèles Gemini

Les modèles multimodaux de pointe de Google basés sur Transformer Les modèles Gemini sont spécifiquement conçus pour s'intégrer aux agents.

Les utilisateurs peuvent interagir avec les modèles Gemini de différentes manières, y compris via une interface de boîte de dialogue interactive et via des SDK.

courbe de généralisation

Graphique de la perte d'entraînement et de la perte de validation en fonction du nombre d'itérations.

Une courbe de généralisation peut vous aider à détecter un éventuel surapprentissage. Par exemple, la courbe de généralisation suivante suggère un surapprentissage, car la perte de validation devient finalement beaucoup plus élevée que la perte d'entraînement.

Pour en savoir plus, consultez la section Généralisation du cours d'initiation au machine learning.

modèle linéaire généralisé

Généralisation des modèles de régression des moindres carrés, qui sont basés sur le bruit gaussien, à d'autres types de modèles basés sur d'autres types de bruit, tels que le bruit de Poisson ou le bruit catégoriel. Voici quelques exemples de modèles linéaires généralisés :

• régression logistique
• régression à classes multiples
• régression des moindres carrés

Les paramètres d'un modèle linéaire généralisé peuvent être déterminés via optimisation convexe.

Les modèles linéaires généralisés présentent les propriétés suivantes :

• La prédiction moyenne du modèle de régression des moindres carrés optimal est égale à l'étiquette moyenne des données d'entraînement.
• La probabilité moyenne prédite par le modèle de régression logistique optimal est égale à l'étiquette moyenne des données d'entraînement.

La puissance d'un modèle linéaire généralisé est limitée par ses caractéristiques. Retirer le "J’aime" un modèle profond, un modèle linéaire généralisé ne peut pas "apprendre de nouvelles caractéristiques".

réseau antagoniste génératif (GAN)

Système permettant de créer des données, dans lequel un générateur crée et un discriminateur détermine les données créées sont valides ou non valides.

Pour en savoir plus, consultez le cours sur les réseaux génératifs antagonistes.

IA générative

Un domaine qui se transforme en émergence sans définition formelle. Cela dit, la plupart des experts s'accordent à dire que les modèles d'IA générative créer ("générer") un contenu qui correspond à tous les éléments suivants:

• complexe
• cohérent
• originale

Par exemple, un modèle d'IA générative peut créer des modèles des dissertations ou des images.

Certaines technologies plus anciennes, y compris les LSTMs et des RNN, peuvent également générer des du contenu cohérent. Certains experts considèrent ces technologies antérieures comme l'IA générative, tandis que d'autres estiment qu'une véritable IA générative nécessite que ce que ces technologies précédentes peuvent produire.

À comparer au ML prédictif.

modèle génératif

En pratique, un modèle qui effectue l'une des opérations suivantes:

• Crée (génère) de nouveaux exemples à partir de l'ensemble de données d'entraînement. Par exemple, un modèle génératif peut créer de la poésie après l'entraînement sur un jeu de données de poèmes. La partie générateur d'un réseau antagoniste génératif entrent dans cette catégorie.
• Détermine la probabilité qu'un nouvel exemple provienne de l'ensemble d'entraînement, ou ait été créé à partir du même mécanisme à l'origine de l'ensemble d'entraînement. Par exemple, après l'entraînement un ensemble de données composé de phrases en anglais, un modèle génératif déterminer la probabilité que la nouvelle entrée soit une phrase anglaise valide.

Un modèle génératif peut théoriquement discerner la distribution des exemples ou des caractéristiques particulières d'un ensemble de données. Par exemple :

p(examples)

Les modèles d'apprentissage non supervisés sont génératifs.

À comparer aux modèles discriminatifs.

générateur

Sous-système d'un réseau antagoniste génératif qui crée de nouveaux exemples.

À comparer au modèle discriminatif.

impurité du gini

Métrique semblable à l'entropie. Les séparateurs utilisent des valeurs dérivées de l'impureté de Gini ou de l'entropie pour composer des conditions de classification des arbres de décision. Le gain d'information est dérivé de l'entropie. Il n'existe pas de terme équivalent universellement accepté pour la métrique dérivée de l'impureté de Gini. Toutefois, cette métrique sans nom est tout aussi importante que le gain d'informations.

L'impureté de Gini est également appelée indice gini, ou tout simplement gini.

ensemble de données clé

Ensemble de données sélectionnées manuellement qui capture la vérité terrain. Les équipes peuvent évaluer la qualité d'un modèle à l'aide d'un ou de plusieurs ensembles de données clés.

Certains ensembles de données clés capturent différents sous-domaines de la vérité terrain. Par exemple : Un ensemble de données fiable pour la classification d'images peut capturer les conditions d'éclairage et la résolution de l'image.

GPT (Generative Pre-trained Transformer)

Famille de modèles basés sur Transformer grands modèles de langage développés par OpenAI :

Les variantes de GPT peuvent s'appliquer à plusieurs modalités, y compris les suivantes :

• la génération d'images (par exemple, ImageGPT) ;
• la génération d'images à partir de texte (par exemple, DALL-E).

gradient

Vecteur des dérivées partielles calculées pour l'ensemble des variables indépendantes. Dans le machine learning, le gradient correspond au vecteur des dérivées partielles de la fonction du modèle. Les points de dégradé dans la direction de la montée la plus forte.

accumulation de gradients

Technique de propagation inverse qui ne met à jour les paramètres qu'une fois par époque au lieu d'une fois par itération. Après le traitement de chaque mini-lot, le gradient met à jour un total cumulé de gradients. Ensuite, après avoir traité le dernier mini-lot de l'époque, le système met finalement à jour les paramètres en fonction du total de toutes les modifications de gradient.

L'accumulation de gradients est utile lorsque la taille de lot est très importante par rapport à la quantité de mémoire disponible pour l'entraînement. Lorsque la mémoire est un problème, la tendance naturelle est de réduire la taille de lot. Cependant, la réduction de la taille de lot lors d'une rétropropagation normale augmente le nombre de mises à jour des paramètres. L'accumulation de gradients permet au modèle d'éviter les problèmes de mémoire, tout en s'entraînant efficacement.

Arbres de décision à boosting de gradient (GBT)

Type de forêt de décision dans laquelle:

• L'entraînement repose sur le boosting par gradient.
• Le modèle faible est un arbre de décision.

Pour en savoir plus, consultez la section Arbres de décision à boosting de gradient du cours sur les forêts de décision.

boosting de gradient

Algorithme d'entraînement dans lequel des modèles faibles sont entraînés pour améliorer de manière itérative la qualité (réduire la perte) d'un modèle fort. Par exemple : Il peut s'agir d'un modèle linéaire ou de petit arbre de décision. Le modèle fort devient la somme de tous les modèles faibles précédemment entraînés.

Dans la forme la plus simple du renforcement par gradient, à chaque itération, un modèle faible est entraîné pour prédire le gradient de perte du modèle fort. Ensuite, la sortie du modèle fort est mise à jour en soustrayant le gradient prédit semblable à la descente de gradient.

où :

• $F_{0}$ est le modèle fort de départ.
• $F_{i+1}$ est le prochain modèle fort.
• $F_{i}$ est le modèle efficace actuel.
• $\xi$ est une valeur comprise entre 0,0 et 1,0 appelée rétrécissement, qui est analogue au taux d'apprentissage en la descente de gradient.
• $f_{i}$ est le modèle faible entraîné à prédire le gradient de perte de $F_{i}$.

Les variations modernes du boosting de gradient incluent également la dérivée secondaire (Hesses) de la perte dans leur calcul.

Les arbres de décision sont souvent utilisés comme modèles peu fiables l'optimisation du gradient. Voir arbres de décision à boosting de gradient.

bornement de la norme du gradient

Un mécanisme communément utilisé pour atténuer problème de gradient explosif en fournissant artificiellement qui limite (bornement) la valeur maximale des gradients lors de l'utilisation la descente de gradient pour entraîner un modèle.

descente de gradient

Technique mathématique permettant de minimiser la perte. La descente de gradient s'ajuste de façon itérative. les pondérations et les biais, trouver progressivement la meilleure combinaison pour minimiser la perte.

La descente de gradient est beaucoup plus ancienne que le machine learning.

Reportez-vous à la section Régression linéaire: gradient descent dans le Cours d'initiation au Machine Learning.

graphique

Dans TensorFlow, une spécification de calcul. Les nœuds du graphe représentent des opérations. Les bords sont orientés et représentent le passage du résultat d'une opération (un Tensor) en tant qu'opérande vers une autre opération. Pour visualiser un graphe, utilisez TensorBoard.

exécution de graphe

Environnement de programmation TensorFlow dans lequel le programme commence par construire un graphe, puis exécute tout ou partie de ce graphe. L'exécution de graphe est le mode d'exécution par défaut dans TensorFlow 1.x.

À comparer à l'exécution eager.

règlement gourmand

Dans l'apprentissage par renforcement, stratégie qui choisit toujours l'action dont le rendement attendu est le plus élevé.

vérité terrain

La réalité.

Ce qui s'est passé réellement.

Prenons l'exemple d'un modèle de classification binaire qui prédit si un étudiant en première année d'université obtiendra son diplôme dans un délai de six ans. La vérité terrain de ce modèle est de savoir si cet étudiant a effectivement obtenu son diplôme dans les six ans.

biais de représentativité

Supposer que ce qui est vrai pour un individu s'applique aussi à tout le monde dans ce groupe. Les effets du biais de représentativité peuvent être exacerbés si un échantillonnage de convenance est utilisé pour la collecte de données. Dans un échantillon non représentatif, il est possible de faire des attributions qui ne reflètent pas la réalité.

Voir aussi le biais d'homogénéité de l'exogroupe et le biais d'appartenance. Pour en savoir plus, consultez également la section Équité : types de biais du cours d'initiation au machine learning.

H

hallucination

La production de résultats qui semblent plausibles, mais qui sont en fait incorrects par une modèle d'IA générative qui vise à créer sur le monde réel. Par exemple, un modèle d'IA générative affirmant que Barack Obama est mort en 1865. est en hallucination.

hachage

Dans le machine learning, mécanisme qui permet de faire un binning des données catégorielles, en particulier lorsque le nombre de catégories est grand, mais que le nombre de catégories figurant réellement dans l'ensemble de données est comparativement faible.

Par exemple, la Terre abrite environ 73 000 espèces d'arbres. Vous pourriez représentent chacune des 73 000 espèces d'arbres réparties dans 73 000 catégories Cloud Storage. Ou bien, si seulement 200 de ces espèces d'arbres figurent réellement dans un ensemble de données, vous pouvez utiliser le hachage pour diviser les espèces d'arbres en 500 ensembles, par exemple.

Un ensemble peut contenir plusieurs espèces d'arbres. Par exemple, le hachage pourrait placer le baobab et l'érable rouge dans le même ensemble, même si ces deux espèces sont génétiquement dissemblables. Quoi qu'il en soit, le hachage reste un bon moyen de mapper de grands ensembles catégoriels au nombre sélectionné d'ensembles. Le hachage devient caractérisée par un grand nombre de valeurs possibles un plus petit nombre de valeurs en regroupant les valeurs dans déterministe.

Voir Données catégorielles: vocabulaire et one-hot encodage dans le Cours d'initiation au Machine Learning.

heuristique

Solution simple et rapide à un problème. Par exemple : "Avec une heuristique, nous avons atteint une précision de 86 %. Lorsque nous avons opté pour un réseau de neurones profond, la précision a atteint 98 %."

couche cachée

Couche d'un réseau de neurones entre les couche d'entrée (les caractéristiques) et couche de sortie (la prédiction). Chaque couche cachée comprend un ou plusieurs neurones. Par exemple, le réseau de neurones suivant contient deux couches cachées, la première avec trois neurones et la seconde avec deux neurones :

Un réseau de neurones profond contient plus d'une couche cachée. Par exemple, l'illustration précédente montre un schéma neuronal profond car il contient deux couches cachées.

Pour en savoir plus, consultez la section Réseaux de neurones : nœuds et couches cachées du cours d'initiation au machine learning.

clustering hiérarchique

Catégorie d'algorithmes de clustering qui créent un arbre de clusters. Le clustering hiérarchique est parfaitement adapté aux données hiérarchiques, telles que les catégories botaniques. Il existe deux types de tâches hiérarchiques algorithmes de clustering:

• Le clustering agglomératif attribue d'abord chaque exemple à son propre cluster, et fusionne de façon itérative les clusters les plus proches pour créer arbre.
• Le clustering divisif regroupe d'abord tous les exemples en un cluster, puis divise le cluster de manière itérative en un arbre hiérarchique.

À comparer au clustering basé sur centroïde.

Reportez-vous à la section Clustering algorithmes dans le cours sur le clustering.

marge maximale

Une famille de fonctions de perte pour classification conçue pour trouver frontière de décision la plus éloignée possible de chaque exemple d'entraînement, ce qui maximise la marge entre les exemples et la limite. Les KSVMs utilisent la marge maximale (ou une fonction associée, comme quadratique de la marge maximale). Pour la classification binaire, la fonction de marge maximale est défini comme suit:

Où y est l'étiquette réelle, soit -1 ou +1, et y' est la sortie brute du modèle du classificateur :

Par conséquent, le graphique de la marge maximale en fonction de (y * y') se présente comme suit:

biais historique

Type de biais qui existe déjà dans le monde et s'est glissé dans un ensemble de données. Ces biais ont tendance à refléter stéréotypes culturels, inégalités démographiques et préjugés à l'encontre de certaines groupes sociaux.

Prenons l'exemple d'un modèle de classification qui prédit si un demandeur de prêt fera défaut sur son prêt. Il a été entraîné sur des données historiques sur les défauts de paiement des prêts des années 1980 provenant de banques locales de deux communautés différentes. Si les précédents candidats de la communauté A étaient six fois plus nombreux risquent de manquer de crédit que les candidats de la communauté B, peut apprendre un biais historique, ce qui rendrait le modèle moins susceptible à approuver des prêts dans la communauté A, même si les conditions historiques qui en résultent les taux par défaut plus élevés de cette communauté n'étaient plus pertinentes.

Voir la section Équité: types de biais dans le Cours d'initiation au Machine Learning.

données exclues

Exemples intentionnellement non utilisés ("exclus") pendant l'entraînement. L'ensemble de données de validation et Les ensembles de données de test sont des exemples de données exclues. Données exclues permet d'évaluer la capacité de votre modèle à se généraliser à des données autres que des données avec lesquelles il a été entraîné. La perte de l'ensemble de données exclues offre une meilleure de la perte sur un ensemble de données inconnu ensemble d'entraînement.

hôte

Lors de l'entraînement d'un modèle de ML sur des puces accélérateurs (GPU ou TPU), la partie du système qui contrôle les deux éléments suivants:

• Flux global du code
• L'extraction et la transformation du pipeline d'entrée.

L'hôte s'exécute généralement sur un processeur, et non sur une puce d'accélération. la device manipule les tensors sur le les puces d'accélération.

hyperparamètre

Les variables que vous ou un service de réglage lors des exécutions successives de l'entraînement d'un modèle. Par exemple : Le taux d'apprentissage est un hyperparamètre. Vous pourriez définir le taux d'apprentissage sur 0,01 avant une session d'entraînement. Si vous déterminez que 0,01 est trop élevé, vous pouvez peut-être définir le taux d'apprentissage sur 0,003 pour la prochaine session d'entraînement.

En revanche, les paramètres sont les différents pondérations et biais que le modèle apprend pendant l'entraînement.

Pour en savoir plus, consultez la section Régression linéaire : hyperparamètres du cours d'initiation au machine learning.

hyperplan

Limite qui sépare un espace en deux sous-espaces. Par exemple, une ligne est un hyperplan en deux dimensions, et un plan est un hyperplan en trois dimensions. Plus généralement, en machine learning, un hyperplan est la limite qui sépare un espace à haute dimension. Kernel Support Vector Machines (Machines à vecteurs de support à noyau) utilisent les hyperplans pour séparer les classes positives des classes négatives, souvent de manière très dans un espace de grande dimension.

I

iid

Abréviation de variables indépendantes et identiquement distribuées.

reconnaissance d'image

Processus de classification des objets, des formes ou des concepts dans une image. La reconnaissance d'image est également appelée classification d'images.

Pour en savoir plus, consultez Travaux pratiques sur le ML: Classification d'images.

Pour en savoir plus, consultez le cours Travaux pratiques sur le machine learning : Classification d'images.

ensemble de données déséquilibré

Synonyme de ensemble de données avec déséquilibre des classes.

biais implicite

Faire automatiquement une association ou une hypothèse basée sur son esprit les modèles et les mémoires. Le biais implicite peut avoir une incidence sur les points suivants :

• Manière dont les données sont collectées et classées.
• Découvrez comment les systèmes de machine learning sont conçus et développés.

Par exemple, lorsque vous créez un classificateur pour identifier les photos de mariage, un ingénieur peut utiliser la présence d'une robe blanche dans une photo comme caractéristique. Cependant, les robes blanches ne sont d'usage que dans certaines cultures et, de surcroît, seulement à certaines époques.

Voir aussi biais de confirmation.

imputation

Abréviation de imputation de valeur.

Incompatibilité des critères d'équité

Idée selon laquelle certaines notions d'équité sont mutuellement incompatibles et ne peuvent pas être satisfaites simultanément. Par conséquent, il n'existe pas de métrique universelle unique pour quantifier l'équité qui puisse être appliquée à tous les problèmes de ML.

Bien que cela puisse sembler décourageant, l'incompatibilité des métriques d'équité n'implique pas que les efforts d'équité soient infructueux. Au lieu de cela, il suggère l'équité doit être définie en fonction du contexte pour un problème de ML donné, dans le but d'empêcher les dommages spécifiques à ses cas d'utilisation.

Reportez-vous à la section "Sur le (im)possibilité d'équité" pour une discussion plus détaillée à ce sujet.

apprentissage en contexte

Synonyme de requête few-shot.

variables indépendantes et identiquement distribuées (i.i.d)

Données tirées d'une distribution qui ne change pas, et où chaque valeur ne dépend pas des valeurs qui ont été dessinées précédemment. Une variable iid. est le gaz idéal de machine learning d'apprentissage : il s'agit d'une construction mathématique utile qui n'a quasiment jamais été trouvée dans le monde réel. Par exemple, la distribution des visiteurs d'une page Web peut être une variable idd sur une courte période, c'est-à-dire que la distribution ne change pas pendant cette période et que la visite d'un internaute est généralement indépendante de la visite d'un autre. Toutefois, si vous élargissez cette période, des différences saisonnières peuvent apparaître dans les visiteurs de la page Web.

Voir également non-stationnarité.

impartialité individuelle

Métrique d'équité qui vérifie si des individus similaires sont classés de manière similaire. Par exemple, l'Académie des Brobdingnagian peut souhaiter satisfaire l’impartialité individuelle en veillant à ce que deux élèves ayant des notes identiques et les résultats aux tests normalisés ont le même niveau de probabilité d'être admis.

Notez que l'impartialité individuelle repose entièrement sur la définition du terme "similarité" (dans ce cas, les notes et les résultats aux tests), et vous pouvez courir le risque de l'introduction de nouveaux problèmes d'équité si votre métrique de similarité passe à côté d'importantes (par exemple, la rigueur du programme d'un élève).

Voir l'article "L'équité à travers Notoriété pour une discussion plus détaillée sur l'impartialité des individus.

inférence

Dans le machine learning, le processus de réalisation de prédictions Application d'un modèle entraîné à des exemples sans étiquette

L'inférence a une signification quelque peu différente en statistiques. Consultez le <ph type="x-smartling-placeholder"></ph> Article Wikipédia sur l'inférence statistique.

Consultez la section Apprentissage supervisé. du cours d'introduction au ML pour voir le rôle de l'inférence dans un environnement de machine learning.

chemin d'inférence

Dans un arbre de décision, lors de l'inférence, l'itinéraire emprunté par un exemple donné à partir du root à d'autres conditions, se terminant par une feuille. Par exemple, dans l'arborescence de décision suivante, les flèches plus épaisses indiquent le chemin d'inférence pour un exemple avec les valeurs de caractéristique suivantes :

• x = 7
• y = 12
• z = -3

Le chemin d'inférence de l'illustration suivante passe par trois conditions avant d'atteindre la feuille (Zeta).

Les trois flèches épaisses représentent le chemin d'inférence.

Voir Arbres de décision dans le cours sur les forêts d'arbres décisionnels.

acquisition d'informations

Dans les forêts de décision, différence entre l'entropie d'un nœud et la somme pondérée (par le nombre d'exemples) de l'entropie de ses nœuds enfants. L'entropie d'un nœud correspond à l'entropie des exemples de ce nœud.

Prenons l'exemple des valeurs d'entropie suivantes :

• Entropie du nœud parent = 0,6
• entropie d'un nœud enfant avec 16 exemples pertinents = 0,2
• Entropie d'un autre nœud enfant avec 24 exemples pertinents = 0,1

Ainsi, 40 % des exemples se trouvent dans un nœud enfant et 60 % dans l'autre. Par conséquent :

• Somme pondérée de l'entropie des nœuds enfants = (0,4 * 0,2) + (0,6 * 0,1) = 0,14

Le gain d'information est donc le suivant :

• Gain d'information = entropie du nœud parent - somme pondérée de l'entropie des nœuds enfants
• gain d'informations = 0,6 - 0,14 = 0,46

La plupart des spliters cherchent à créer des conditions. qui maximisent l'acquisition d'informations.

biais d'appartenance

Faire preuve de partialité envers son propre groupe ou ses propres traits caractéristiques. Si les testeurs ou les évaluateurs sont des amis du développeur de machine learning, votre famille ou vos collègues, alors le préjugé d'appartenance peut invalider le test du produit ou le jeu de données.

Le biais d'appartenance est une forme de biais de représentativité. Voir aussi le biais d'homogénéité de l'exogroupe.

Pour en savoir plus, consultez la section Équité : types de biais du cours d'initiation au machine learning.

générateur d'entrée

Un mécanisme par lequel les données sont chargées dans un réseau de neurones.

Un générateur d'entrée peut être considéré comme un composant chargé de traiter les données brutes en tenseurs, qui sont itérés pour générer des lots à des fins d'entraînement, d'évaluation et d'inférence.

couche d'entrée

Couche d'un réseau de neurones qui contient le vecteur de caractéristiques. Autrement dit, la couche d'entrée fournit des exemples pour l'entraînement ou inférence. Par exemple, la couche d'entrée du réseau de neurones suivant se compose de deux caractéristiques :

condition dans l'ensemble

Dans un arbre de décision, une condition qui teste la présence d'un élément dans un ensemble d'éléments. Par exemple, voici une condition intégrée:

  house-style in [tudor, colonial, cape]

Pendant l'inférence, si la valeur de la caractéristique de style maison est tudor, colonial ou cape, la condition renvoie la valeur Oui. Si la valeur de la fonctionnalité de style de maison est différente (par exemple, ranch), cette condition renvoie la valeur "Non".

Les conditions du jeu de données génèrent généralement des arbres de décision plus efficaces que les conditions qui testent des caractéristiques encodées en one-hot.

instance

Synonyme d'exemple.

réglage des instructions

Forme d'ajustement qui améliore un la capacité du modèle d'IA générative à suivre instructions. Le réglage des instructions consiste à entraîner un modèle sur une série d'invites d'instructions, qui couvrent généralement une grande variété de tâches. Le modèle optimisé par instruction qui en résulte tend ensuite à générer des réponses utiles aux invites sans entraînement pour diverses tâches.

Comparez et contrastez avec :

• réglage efficace des paramètres
• Réglage de la requête

interprétabilité

Capacité à expliquer ou à présenter le raisonnement d'un modèle de ML à un humain en termes compréhensibles.

La plupart des modèles de régression linéaire, par exemple, sont fortement et interprétables. (Il vous suffit d'examiner les pondérations entraînées pour chaque caractéristique.) Les forêts de décision sont également hautement interprétables. Toutefois, certains modèles nécessitent des visualisations complexes pour pouvoir être interprétés.

Vous pouvez utiliser Learning Interpretability Tool (LIT) pour interpréter des modèles de ML.

accord inter-évaluateurs

Mesure de la fréquence à laquelle les évaluateurs humains sont d'accord lorsqu'ils effectuent une tâche. Si les évaluateurs ne sont pas d'accord, il est possible que les instructions de la tâche doivent être améliorées. Parfois également appelé accord inter-annotateurs ou fiabilité inter-évaluateurs. Voir aussi Cohen's Kappa, qui est l'une des mesures de l'accord inter-évaluateurs les plus populaires.

Voir Données catégorielles: commun problèmes dans le Cours d'initiation au Machine Learning.

Intersection over Union (IoU)

Intersection de deux ensembles divisée par leur union. Dans les tâches de détection d'images de machine learning, l'IoU permet de mesurer la justesse du cadre de délimitation prédit du modèle par rapport au cadre de délimitation de la vérité terrain. Dans ce cas, l'IoU des deux cadres correspond au ratio entre la zone de chevauchement et la zone totale. Sa valeur varie de 0 (pas de chevauchement entre le cadre de délimitation prédit et le cadre de délimitation de la vérité terrain) à 1 (le cadre de délimitation prédit et le cadre de délimitation de la vérité terrain ont exactement les mêmes coordonnées).

Par exemple, dans l'image ci-dessous:

• Le cadre de délimitation prévu (les coordonnées délimitant l'emplacement de la table de chevet dans le tableau, selon le modèle) est entouré en violet.
• Le cadre de délimitation de vérité terrain (les coordonnées délimitant l'emplacement réel de la table de chevet dans le tableau) est encadré en vert.

Ici, l'intersection des cadres de délimitation pour la prédiction et la vérité terrain (en bas à gauche) est 1, et l'union des cadres de délimitation pour la prédiction et la vérité terrain (en bas à droite) est de 7. L'IoU est donc de \(\frac{1}{7}\).

IoU

Abréviation de intersection sur union.

matrice éléments

Dans les systèmes de recommandation, matrice de vecteurs d'embedding générés par la factorisation matricielle qui contient des signaux latents sur chaque élément. Chaque ligne de la matrice éléments contient la valeur d'une seule caractéristique latente pour tous les éléments. Prenons l'exemple d'un système de recommandation de films. Chaque colonne dans la matrice éléments représente un seul film. Les signaux latents peuvent représenter des genres ou être des signaux plus difficiles à interpréter impliquant des interactions complexes entre des facteurs comme le genre, la note ou l'ancienneté du film.

La matrice éléments a le même nombre de colonnes que la matrice cible qui est factorisée. Par exemple, dans le cas d'un système de recommandation de films évaluant 10 000 titres de films, la matrice éléments comportera 10 000 colonnes.

éléments

Dans un système de recommandation, les entités recommandées par un système. Par exemple, les vidéos sont les éléments recommandés par un vidéo club, alors que les livres sont les éléments recommandés par une librairie.

itération

Mise à jour unique des paramètres d'un modèle : ses pondérations et biais, formation. La taille de lot détermine le nombre d'exemples que le modèle traite en une seule itération. Par exemple, si la taille de lot est de 20, le modèle traite 20 exemples avant d'ajuster les paramètres.

Lors de l'entraînement d'un réseau de neurones, une seule itération implique les deux passes suivantes :

1. Une propagation avant pour évaluer la perte d'un seul lot.
2. Une passe arrière (backpropagation) pour ajuster les paramètres du modèle en fonction de la perte et du taux d'apprentissage.

J

JAX

Bibliothèque de calcul matriciel combinant XLA (Accelerated Linear Algebra) et la différenciation automatique pour le calcul numérique hautes performances. JAX fournit une API simple et puissante pour écrire du code numérique accéléré avec des transformations composables. JAX propose des fonctionnalités telles que :

• grad (différenciation automatique)
• jit (compilation juste à temps)
• vmap (vecteur vertical ou traitement par lot automatique)
• pmap (parallélisation)

JAX est un langage permettant d'exprimer et de composer des transformations de données semblable à la bibliothèque NumPy de Python, mais avec un champ d'application beaucoup plus large bibliothèque. (En fait, la bibliothèque .numpy sous JAX est fonctionnellement équivalente, mais entièrement réécrite de la bibliothèque Python NumPy.)

JAX est particulièrement adapté pour accélérer de nombreuses tâches de machine learning en transformant les modèles et les données en une forme adaptée au parallélisme entre les GPU et les puces d'accélérateur TPU.

Flax, Optax, Pax et de nombreuses autres bibliothèques sont basées sur l'infrastructure JAX.

K

Keras

API de machine learning Python populaire. Keras s'exécute sur plusieurs frameworks de deep learning, dont TensorFlow, disponible en tant que tf.keras

machines à vecteurs de support à noyau (KSVM)

Un algorithme de classification qui cherche à maximiser la marge entre positive et classes négatives en mappant des vecteurs de données d'entrée. dans un espace de plus grande dimension. Prenons l'exemple d'une classification dans lequel l'ensemble de données d'entrée propose une centaine de fonctionnalités. Afin de maximiser la marge entre les classes positives et négatives, un KVSM pourrait associer, en interne, chaque vecteur de caractéristiques à un vecteur dans un espace à un million de dimensions. Les KSVM utilisent une fonction de perte appelée marge maximale.

points clés

Coordonnées de caractéristiques particulières d'une image. Par exemple, pour un modèle de reconnaissance d'image qui distingue les espèces de fleurs, les points clés peuvent être le centre de chaque pétale, la tige, les étamines, etc.

validation croisée de k-fold

Algorithme permettant de prédire la capacité d'un modèle à généraliser à de nouvelles données. Le k dans la méthode k-fold fait référence au nombre de groupes égaux dans lesquels vous divisez les exemples d'un ensemble de données. Autrement dit, vous entraînez et testez votre modèle k fois. Pour chaque série d'entraînement et de test, un groupe différent est l'ensemble de test, et tous les groupes restants deviennent l'ensemble d'entraînement. Après k séries d'entraînement et de test, vous calculez la moyenne et écart type des métriques de test choisies.

Par exemple, supposons que votre ensemble de données comporte 120 exemples. Supposons à présent que vous décidez de définir k sur 4. Par conséquent, après brassage des exemples, vous divisez le jeu de données en quatre groupes égaux de 30 exemples et effectuez quatre d'entraînement et de test:

Par exemple, l'erreur quadratique moyenne (MSE) pourrait est la métrique la plus significative pour un modèle de régression linéaire. Par conséquent, vous trouver la moyenne et l'écart type de la MSE sur les quatre cycles.

k-moyennes

Algorithme de clustering populaire qui regroupe des exemples dans l'apprentissage non supervisé. L'algorithme k-moyennes effectue les opérations suivantes :

• Détermination de manière itérative des meilleurs k points centraux (connus centroids).
• Affecte chaque exemple au centroïde le plus proche. Les exemples les plus proches d'un même centroïde appartiennent au même groupe.

L'algorithme k-moyennes choisit l'emplacement des centroïdes pour minimiser la valeur carré des distances entre chaque exemple et son centroïde le plus proche.

Supposons le graphe suivant représentant la taille de chiens en fonction de leur largeur :

Si k=3, l'algorithme k-moyennes détermine trois centroïdes. Chaque exemple est assigné à son centroïde le plus proche, ce qui donne trois groupes :

Imaginez qu’un fabricant veuille déterminer les tailles idéales pour les petites, des pulls moyens et grands pour chiens. Les trois centroïdes identifient la moyenne la hauteur et la largeur moyenne de chaque chien dans ce cluster. Le fabricant devrait donc probablement baser les tailles de pulls sur ces trois centroïdes. Notez que le centroïde d'un cluster n'est généralement pas un exemple dans le cluster.

Les illustrations précédentes montrent les k-moyennes pour des exemples avec seulement deux caractéristiques (hauteur et largeur). Notez que k-means peut regrouper des exemples sur de nombreuses caractéristiques.

k-médiane

Algorithme de clustering étroitement lié à k-moyennes. La différence pratique entre les deux est la suivante :

• Dans l'algorithme k-moyennes, les centroïdes sont déterminés en minimisant la somme des carrés de la distance entre un centroïde potentiel et chacun des ses exemples.
• Dans l'algorithme k-médiane, les centroïdes sont déterminés en minimisant la somme de la distance entre un centroïde potentiel et chacun de ses exemples.

Notez que la définition du terme "distance" est également différente :

• Dans l'algorithme k-moyenne, la notion de distance utilisée est la distance euclidienne entre un centroïde et un exemple. (Dans deux dimensions, la structure euclidienne la distance signifie utiliser le théorème de Pythagore pour calculer l'hypoténuse.) Par exemple, la distance k-moyennes entre (2,2) et (5,-2) est :

• Dans l'algorithme k-médiane, la notion de distance utilisée est la distance de Manhattan entre le centroïde et un exemple. Cette distance est la somme des deltas absolus dans chaque dimension. Par exemple, la distance k-médiane entre (2,2) et (5,-2) est :

L

Régularisation L₀

Type de régularisation qui pénalise le nombre total de pondérations non nulles ; dans un modèle. Par exemple, un modèle avec 11 pondérations non nulles serait pénalisé plus cher qu'un modèle similaire ayant 10 paires de pondérations non nulles.

La régularisation L₀ est parfois appelée régularisation de la norme L0.

perte L₁

Une fonction de perte qui calcule la valeur absolue de la différence entre les valeurs d'étiquette réelles et les valeurs prédites par un modèle. Par exemple, voici le calcul de la perte L₁ pour un lot de cinq exemples :

La perte L₁ est moins sensible aux anomalies. que la perte L₂.

L'erreur absolue moyenne correspond à la moyenne perte L₁ par exemple.

Régularisation L₁

Type de régularisation qui pénalise les pondérations proportionnellement à la somme de la valeur absolue des pondérations. La régularisation L₁ permet de pondérer des données non pertinentes ou les caractéristiques peu pertinentes à exactement 0. Une fonctionnalité avec une pondération de 0 est effectivement retirée du modèle.

À comparer à la régularisation L₂.

perte L₂

Fonction de perte qui calcule le carré de la différence entre les valeurs réelles des étiquettes et les valeurs prédites par un modèle. Par exemple, voici le calcul de la perte L₂ pour un lot de cinq exemples :

En raison de la mise au carré, la perte L₂ amplifie l'influence des valeurs aberrantes. En d'autres termes, la perte L₂ réagit plus fortement aux mauvaises prédictions que la perte L₁. Par exemple, la perte L₁ pour le lot précédent serait de 8 au lieu de 16. Notez qu'un seul les anomalies représentent 9 sur 16.

Les modèles de régression utilisent généralement la perte L₂ comme fonction de perte.

L'erreur quadratique moyenne correspond à la moyenne perte L₂ par exemple. La perte quadratique est un autre nom de la perte L₂.

Régularisation L₂

Type de régularisation qui pénalise pondérations proportionnellement à la somme des carrés des pondérations. La régularisation L₂ permet de générer les pondérations des anomalies (c'est-à-dire avec des valeurs positives ou négatives élevées) plus proches de 0, mais pas tout à fait égales à 0. Les caractéristiques dont les valeurs sont très proches de 0 restent dans le modèle mais n'influencent pas beaucoup la prédiction du modèle.

La régularisation L₂ améliore toujours la généralisation modèles linéaires.

À comparer à la régularisation L₁.

étiquette

En machine learning supervisé, "réponds" ou "résultat" partie d'un exemple.

Chaque exemple étiqueté se compose d'une ou de plusieurs caractéristiques et d'un libellé. Par exemple, dans un dossier de spam l'ensemble de données de détection, l'étiquette serait probablement "spam" ou "non-spam". Dans un ensemble de données sur les précipitations, l'étiquette peut être la quantité qui est tombée pendant une certaine période.

exemple étiqueté

Exemple contenant une ou plusieurs caractéristiques et une étiquette. Par exemple, le tableau suivant présente trois exemples avec étiquette issus d'un modèle d'évaluation de maison, chacun avec trois caractéristiques et un libellé :

En machine learning supervisé, les modèles sont entraînés à partir d'exemples étiquetés et effectuent des prédictions exemples sans étiquette.

Comparer l'exemple étiqueté et les exemples sans étiquette.

fuite d'étiquettes

Un défaut de conception du modèle, pour lequel une caractéristique est un proxy étiquette. Prenons l'exemple d'un modèle de classification binaire qui prédit si un client potentiel achètera ou non un produit particulier. Supposons que l'une des caractéristiques du modèle soit une valeur booléenne nommée SpokeToCustomerAgent. Supposons en outre qu'un agent client ne soit attribué qu'après que le client potentiel ait effectivement acheté le produit. Lors de l'entraînement, le modèle apprendra rapidement l'association entre SpokeToCustomerAgent et l'étiquette.

lambda

Synonyme de taux de régularisation.

Lambda est un terme surchargé. Ici, nous nous concentrons définition dans le cadre de la régularisation.

LaMDA (Language Model for Dialogue Applications)

Grand modèle de langage basé sur un transformateur développé par Google et entraîné sur un grand ensemble de données de dialogue capable de générer des réponses conversationnelles réalistes.

LaMDA: notre conversation révolutionnaire technologie fournit un aperçu.

landmarks

Synonyme de points clés.

modèle de langage

Un modèle qui estime la probabilité d'un jeton ou séquence de jetons se produisant dans une séquence plus longue de jetons.

grand modèle de langage

Au minimum, un modèle de langage comportant un très grand nombre de paramètres. De façon plus informelle, modèle de langage basé sur Transformer, Gemini ou GPT.

espace latent

Synonyme d'espace d'intégration.

cachée)

Ensemble de neurones dans un réseau de neurones. Voici trois types de calques courants :

• La couche d'entrée, qui fournit les valeurs de toutes les fonctionnalités.
• Une ou plusieurs couches cachées, qui permettent de retrouver des relations non linéaires entre les caractéristiques et l'étiquette.
• La couche de sortie, qui fournit la prédiction.

Par exemple, l'illustration suivante montre un réseau de neurones avec une couche d'entrée, deux couches cachées et une couche de sortie :

Dans TensorFlow, les couches sont également des fonctions Python qui prennent des Tensors et des options de configuration en entrée pour générer d'autres Tensors en sortie.

API Layers (tf.layers)

API TensorFlow pour créer un réseau de neurones profond comme une composition de couches. L'API Layers vous permet de créer différents types de couches, par exemple :

• tf.layers.Dense pour une couche entièrement connectée.
• tf.layers.Conv2D pour une couche convolutive.

L'API Layers respecte les conventions de l'API Keras concernant les couches. Autrement dit, à l'exception d'un préfixe différent, toutes les fonctions de l'API Layers ont les mêmes noms et signatures que leurs homologues de l'API Keras Layers.

feuille

Tout point de terminaison dans un arbre de décision. À la différence d'un condition, une feuille n'effectue pas de test. Il s'agit plutôt d'une prédiction possible. Une feuille est également le nœud terminal d'un chemin d'inférence.

Par exemple, l'arbre de décision suivant contient trois feuilles :

Learning Interpretability Tool (LIT)

Un outil visuel et interactif de compréhension des modèles et de visualisation des données.

Vous pouvez utiliser la bibliothèque LIT Open Source pour interpréter des modèles ou visualiser du texte, des images des données tabulaires.

taux d'apprentissage

Nombre à virgule flottante qui indique à l'algorithme de descente de gradient l'intensité avec laquelle ajuster les pondérations et les biais à chaque itération. Par exemple, un taux d'apprentissage de 0,3 ajuster les pondérations et les biais trois fois plus efficacement qu'un taux d'apprentissage de 0,1.

Le taux d'apprentissage est un hyperparamètre clé. Si vous définissez le taux d'apprentissage trop bas, l'entraînement prendra trop de temps. Si vous définissez le taux d'apprentissage trop élevé, la descente de gradient a souvent du mal à atteindre la convergence.

régression des moindres carrés

Modèle de régression linéaire entraîné en minimisant la perte L₂.

linear

Relation entre deux ou plusieurs variables pouvant être représentée uniquement par addition et multiplication.

Le tracé d'une relation linéaire est une ligne.

À comparer à l'nonlinear.

modèle linéaire

Un modèle qui attribue une pondération par fonctionnalité pour effectuer des prédictions. (Les modèles linéaires intègrent également un biais.) En revanche, la relation entre les caractéristiques et les prédictions dans les modèles profonds est généralement non linéaire.

Les modèles linéaires sont généralement plus faciles à entraîner et plus interprétables que les modèles profonds. Toutefois, les modèles profonds peuvent apprendre des relations complexes entre caractéristiques.

Régression linéaire et La régression logistique est deux types de modèles linéaires.

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

régression linéaire

Type de modèle de machine learning dans lequel les deux conditions suivantes sont remplies:

• Il s'agit d'un modèle linéaire.
• La prédiction est une valeur à virgule flottante. (Il s'agit de la partie régression de la régression linéaire.)

Comparer la régression linéaire à la régression logistique. Vous devez aussi comparer la régression à la classification.

LIT

Abréviation de Learning Interpretability Tool (LIT), qui était auparavant connu sous le nom d’Outil d’interprétabilité du langage.

LLM

Abréviation de grand modèle de langage.

Évaluations LLM (évaluations)

Ensemble de métriques et de benchmarks permettant d'évaluer les performances des grands modèles de langage (LLM). Dans les grandes lignes, Évaluations LLM:

• Aidez les chercheurs à identifier les domaines dans lesquels les LLM doivent être améliorés.
• Ils sont utiles pour comparer différents LLM et identifier le meilleur LLM pour une tâche spécifique.
• Assurez-vous que les LLM sont sûrs et éthiques à utiliser.

régression logistique

Type de modèle de régression qui prédit une probabilité. Les modèles de régression logistique présentent les caractéristiques suivantes:

• L'étiquette est catégorielle. Le terme "régression logistique" désigne généralement la régression logistique binaire, c'est-à-dire un modèle qui calcule les probabilités pour les étiquettes ayant deux valeurs possibles. Une variante moins courante, la régression logistique multinomiale, calcule probabilités pour les étiquettes ayant plus de deux valeurs possibles.
• La fonction de perte pendant l'entraînement est la perte logistique. (Plusieurs unités de perte logistique peuvent être placées en parallèle pour les étiquettes avec plus de deux valeurs possibles.)
• Le modèle est doté d'une architecture linéaire et non d'un réseau de neurones profond. Toutefois, le reste de cette définition s'applique également aux modèles profonds qui prédisent les probabilités pour les libellés catégoriels.

Prenons l'exemple d'un modèle de régression logistique qui calcule la probabilité qu'un e-mail soit du spam ou non. Lors de l'inférence, supposons que le modèle prédit 0,72. Par conséquent, le est en train d'estimer:

• Une probabilité que l'e-mail soit du spam est de 72 %.
• Une probabilité de 28% que l'e-mail ne soit pas un spam

Un modèle de régression logistique utilise l'architecture en deux étapes suivante :

1. Le modèle génère une prédiction brute (y') en appliquant une fonction linéaire de caractéristiques d'entrée.
2. Le modèle utilise cette prédiction brute comme entrée pour une fonction sigmoïde, qui convertit la prédiction brute en une valeur comprise entre 0 et 1, exclusive.

Comme tout modèle de régression, un modèle de régression logistique prédit un nombre. Cependant, ce nombre fait généralement partie d'une classification binaire modèle comme suit:

• Si le nombre prédit est supérieur à la valeur seuil de classification, le le modèle de classification binaire prédit la classe positive.
• Si le nombre prédit est inférieur au seuil de classification, le modèle de classification binaire prédit la classe négative.

fonctions logit

Vecteur de prédictions brutes (non normalisées) générées par un modèle de classification, qui est généralement ensuite transmis à une fonction de normalisation. Si le modèle résout un problème de classification multiclasse, les logits deviennent généralement une entrée de la fonction softmax. La fonction softmax génère ensuite un vecteur de les probabilités avec une valeur pour chaque classe possible.

Perte logistique

Fonction de perte utilisée dans la régression logistique binaire.

logarithme de cote

Logarithme des cotes d'un événement donné.

Mémoire à long terme (LSTM)

Type de cellule dans un réseau de neurones récurrent utilisé pour traiter des séquences de données dans des applications telles que la reconnaissance de l'écriture manuscrite, la traduction automatique et le sous-titrage d'images. Les LSTM résolvent le problème de gradient qui disparaît qui se produit lors de l'entraînement des RNN en raison de longues séquences de données en conservant l'historique dans un état de mémoire interne basé sur la nouvelle entrée et le contexte des cellules précédentes du RNN.

LoRA

Abréviation de adaptabilité à faible rang.

perte

Lors de l'entraînement d'un modèle supervisé, mesure de l'écart entre la prédiction d'un modèle et son libellé.

La fonction de perte calcule la perte.

agrégateur de perte

Un type d'algorithme de machine learning qui améliore les performances d'un modèle en combinant les prédictions de plusieurs modèles et utiliser ces prédictions pour faire une seule prédiction. Par conséquent, un agrégateur de pertes peut réduire la variance des prédictions et améliorer leur précision.

courbe de fonction de perte

Tracé de la perte en tant que fonction du nombre d'entraînements itérations. Le graphique suivant montre une perte typique à la courbe:

Les courbes de perte peuvent vous aider à déterminer si votre modèle est en convergence ou en surapprentissage.

Les courbes de perte peuvent représenter tous les types de pertes suivants :

• perte d'entraînement
• perte de validation
• perte de test

Voir également la courbe de généralisation.

fonction de perte

Pendant l'entraînement ou les tests, un fonction mathématique qui calcule sur un lot d'exemples. Une fonction de perte renvoie une perte plus faible pour les modèles qui effectuent de bonnes prédictions que pour ceux qui effectuent de mauvaises prédictions.

L'objectif de l'entraînement est généralement de minimiser la perte renvoyée par une fonction de perte.

Il existe de nombreux types de fonctions de perte. Choisir la perte appropriée pour le type de modèle que vous créez. Exemple :

• La perte L₂ (ou erreur quadratique moyenne) est la fonction de perte de la régression linéaire.
• La perte logistique est la fonction de perte de la régression logistique.

graphe de fonction de perte

Un graphe de pondération(s) par rapport à la perte. Objectifs de la descente de gradient afin de trouver la ou les pondérations pour lesquelles le graphe de fonction de perte a un minimum local.

Adaptabilité de faible rang (LoRA)

Technique efficace en termes de paramètres pour l'ajustement fin qui "gèle" les poids pré-entraînés du modèle (de sorte qu'ils ne puissent plus être modifiés), puis insère un petit ensemble de poids enregistrables dans le modèle. Cet ensemble de pondérations pouvant être entraînées de type "matrices de mise à jour") est considérablement plus petite que le modèle de base et donc beaucoup plus rapide à entraîner.

LoRA offre les avantages suivants :

• Améliore la qualité des prédictions d'un modèle pour le domaine concerné est appliqué.
• Il effectue un ajustement plus rapide que les techniques qui nécessitent d'ajuster tous les paramètres d'un modèle.
• Réduit le coût de calcul de l'inférence en permettant la diffusion simultanée de plusieurs modèles spécialisés partageant le même modèle de base.

LSTM

Abréviation de mémoire à court terme.

M

machine learning

Programme ou système qui entraîne un modèle à partir de données d'entrée. Le modèle entraîné peut faire des prédictions utiles à partir de données inédites issues de la même distribution que celle utilisée pour entraîner le modèle.

Le machine learning désigne aussi le domaine d'étude avec ces programmes ou systèmes.

classe majoritaire

L'étiquette la plus courante ensemble de données avec déséquilibre des classes. Par exemple, pour un ensemble de données contenant 99 % d'étiquettes négatives et 1 % d'étiquettes positives, les étiquettes négatives constituent la classe majoritaire.

À comparer à la classe minoritaire.

Processus de décision de Markov (MDP)

Graphique représentant le modèle de prise de décision dans lequel les décisions (ou actions) sont effectuées pour parcourir une séquence de déclare en partant du principe que Propriété de Markov. Dans le apprentissage par renforcement, ces transitions entre les états renvoient une récompense numérique.

Propriété de Markov

Propriété de certains environnements, où les transitions d'état sont entièrement déterminées par les informations implicites dans l'état actuel et l'action de l'agent.

modèle de langage masqué

Modèle de langage qui prédit la probabilité que des jetons candidats remplissent des espaces vides dans une séquence. Par exemple, un modèle de langage masqué peut calculer les probabilités des mots candidats pour remplacer le texte souligné dans la phrase suivante :

Le ____ qu'il avait dans votre chapeau est revenu.

La littérature utilise généralement la chaîne « MASK » au lieu d'un soulignement. Exemple :

Le "MASK" qui se trouvait dans le chapeau.

La plupart des modèles de langage masqués modernes sont bidirectionnels.

matplotlib

Bibliothèque de traçage 2D open-source écrite en Python. matplotlib vous aide à visualiser différents aspects du machine learning.

factorisation matricielle

En mathématiques, mécanisme pour trouver les matrices dont le produit scalaire se rapproche d'une matrice cible.

Dans les systèmes de recommandation, la matrice cible contient souvent les notes des utilisateurs sur les éléments. Par exemple, la cible pour un système de recommandation de films peut ressembler suivantes, où les entiers positifs correspondent aux notes des utilisateurs et à 0 signifie que l'utilisateur n'a pas évalué le film:

Le système de recommandation de films vise à prédire les notes des utilisateurs pour films non évalués. Par exemple, l'utilisateur 1 va-t-il aimer Black Panther ?

Une approche pour les systèmes de recommandation consiste à utiliser la factorisation matricielle afin de générer les deux matrices suivantes :

• Une matrice utilisateurs, définie sous la forme nombre d'utilisateurs X nombre de dimensions de la représentation vectorielle.
• Une matrice éléments, définie comme le nombre de représentations vectorielles continues (dimensions X) le nombre d'éléments.

Par exemple, en utilisant la factorisation matricielle sur nos trois utilisateurs et cinq éléments pourrait donner la matrice utilisateurs et la matrice éléments suivantes:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

Le produit scalaire de la matrice utilisateurs et de la matrice éléments donne une recommandation qui contient non seulement les notes d'origine des utilisateurs, mais aussi les prédictions pour les films que les utilisateurs n'ont pas encore vus. Prenons par exemple la note de l'utilisateur 1 pour Casablanca, qui était de 5,0. Le produit scalaire correspondant à cette cellule dans la matrice de recommandations devrait normalement se situer autour de 5,0, et c'est bien le cas :

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

Plus important encore, l'utilisateur 1 va-t-il aimer Black Panther ? En prenant le produit scalaire correspondant à la première ligne et à la troisième colonne, on obtient une note de 4,3 :

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

La factorisation matricielle produit généralement une matrice utilisateurs et une matrice éléments qui, ensemble, sont nettement plus compactes que la matrice cible.

Erreur absolue moyenne (EAM)

Perte moyenne par exemple lorsque la perte L₁ est utilisée. Calculez l'erreur absolue moyenne comme suit:

1. Calculez la perte L₁ pour un lot.
2. Divisez la perte L₁ par le nombre d'exemples du lot.

Prenons l'exemple du calcul de la perte L₁ sur le lot suivant de cinq exemples :

Ainsi, la perte L₁ est de 8 et le nombre d'exemples est de 5. Par conséquent, l'erreur absolue moyenne est donc:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

Comparez l'erreur absolue moyenne à l'erreur quadratique moyenne et à la racine carrée de l'erreur quadratique moyenne.

Erreur quadratique moyenne (MSE)

Perte moyenne par exemple lorsque la perte L₂ est utilisée. Calculez l'erreur quadratique moyenne comme suit:

1. Calculez la perte L₂ pour un lot.
2. Divisez la perte L₂ par le nombre d'exemples du lot.

Prenons l'exemple de la perte sur le lot suivant de cinq exemples:

L'erreur quadratique moyenne est donc la suivante :

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

L'erreur quadratique moyenne est un optimiseur d'entraînement populaire, en particulier pour la régression linéaire.

Comparer l'erreur quadratique moyenne avec erreur absolue moyenne et Racine carrée de l'erreur quadratique moyenne.

TensorFlow Playground utilise l'erreur quadratique moyenne pour calculer les valeurs de perte.

Grille

En programmation parallèle de ML, un terme associé à l'attribution des données aux puces TPU, et définir la manière dont ces valeurs seront segmentées ou répliquées.

Le terme "réseau maillé" est un terme complexe qui peut signifier l'un des éléments suivants:

• Disposition physique des puces TPU.
• Construction logique abstraite permettant de mapper les données et le modèle au TPU les chips.

Dans les deux cas, un maillage est spécifié en tant que forme.

méta-apprentissage

Sous-ensemble du machine learning qui découvre ou améliore un algorithme d'apprentissage. Un système de méta-apprentissage peut aussi viser à entraîner un modèle à apprendre rapidement tâche à partir d’une petite quantité de données ou de l’expérience acquise lors de tâches précédentes. Les algorithmes de méta-apprentissage tentent généralement d'obtenir les résultats suivants:

• Améliorer ou apprendre des fonctionnalités conçues manuellement (telles qu'un initialiseur ou un optimiseur)
• optimiser l'efficacité en termes de données et de calcul ;
• Améliorez la généralisation.

Le méta-apprentissage est lié à l'apprentissage few-shot.

métrique

Statistique qui vous tient à cœur.

Un objectif est une métrique qu'un système de machine learning tente d'optimiser.

API Metrics (tf.metrics)

Une API TensorFlow permettant d'évaluer des modèles. Par exemple, tf.metrics.accuracy détermine la fréquence à laquelle les prédictions d'un modèle correspondent aux étiquettes.

mini-lot

Petit sous-ensemble, sélectionné aléatoirement, d'un lot traité en une seule itération. La taille de lot d'un mini-lot est généralement entre 10 et 1 000 exemples.

Par exemple, supposons que l'ensemble d'entraînement complet (le lot complet) comprend 1 000 exemples. Supposons ensuite que vous définissiez taille de lot de chaque mini-lot à 20. Par conséquent, chaque itération détermine la perte sur 20 exemples aléatoires parmi les 1 000 exemples, puis ajuste les poids et les biais en conséquence.

Il est beaucoup plus efficace de calculer la perte pour un mini-lot que pour l'ensemble entier des exemples du lot complet.

descente de gradient stochastique par mini-lots

Algorithme de descente de gradient qui utilise des mini-lots. En d'autres termes, la descente de gradient stochastique par mini-lot estime le gradient à partir d'un petit sous-ensemble des données d'entraînement. La descente de gradient stochastique standard utilise un mini-lot de taille 1.

perte minimax

Fonction de perte pour les réseaux génératifs antagonistes, basée sur la entropie croisée entre la distribution des données générées et les données réelles.

La perte minimax est utilisée dans premier article pour décrire les réseaux antagonistes génératifs.

classe minoritaire

L'étiquette la moins courante ensemble de données avec déséquilibre des classes. Par exemple : avec un ensemble de données contenant 99% d'étiquettes négatives et 1% d'étiquettes positives, la les étiquettes positives constituent la classe minoritaire.

À comparer à la classe majoritaire.

une combinaison d'experts

Méthode permettant d'augmenter l'efficacité d'un réseau de neurones en n'utilisant qu'un sous-ensemble de ses paramètres (appelé expert) pour traiter un jeton ou un exemple d'entrée donné. A Le réseau de contrôle achemine chaque jeton ou exemple d'entrée vers le ou les experts appropriés.

Pour en savoir plus, consultez l'un des articles suivants:

• Réseaux de neurones extrêmement volumineux : Couche "Mixte-of-Experts" en zone limitée
• Combiné d'experts avec choix d'expert Routage

ML

Abréviation de machine learning (apprentissage automatique).

MMIT

Abréviation de multimodal instruction-tuned (multimodal tuned instruction).

MNIST

Ensemble de données du domaine public compilé par LeCun, Cortes et Burges qui contient 60 000 images montrant chacune un chiffre manuscrit compris entre 0 et 9. Chaque image est stockée sous forme de tableau d'entiers 28x28, chaque entier représentant une valeur d'échelle de gris comprise entre 0 et 255 inclus.

MNIST est un ensemble de données canonique pour le machine learning, souvent utilisé pour tester approches de machine learning. Pour en savoir plus, consultez la Base de données MNIST de chiffres écrits à la main.

modality

Catégorie de données de haut niveau. (par exemple, des chiffres, du texte, des images, des vidéos et audio sont cinq modalités différentes.

modèle

En général, toute construction mathématique qui traite les données d'entrée et renvoie une sortie. Autrement dit, un modèle est l'ensemble de paramètres et de structures nécessaires pour qu'un système effectue des prédictions. En machine learning supervisé, un modèle prend un exemple en entrée et en déduit une prédiction en sortie. Dans le machine learning supervisé, sont quelque peu différents. Exemple :

• Un modèle de régression linéaire est constitué d'un ensemble de pondérations. et un biais.
• Un modèle de réseau de neurones se compose des éléments suivants:
  • Ensemble de couches cachées, chacune contenant un ou plusieurs neurones.
  • Pondérations et biais associés à chaque neurone
• Un modèle d'arbre de décision se compose des éléments suivants :
  • Forme de l'arborescence, c'est-à-dire le schéma dans lequel les conditions et les feuilles sont connectées.
  • Les conditions et les départs.

Vous pouvez enregistrer, restaurer ou copier un modèle.

Le machine learning non supervisé génère des modèles, généralement une fonction pouvant mapper un exemple d'entrée à le cluster le plus approprié.

  f(x, y) = 3x -5xy + y2 + 17

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

capacité du modèle

Complexité des problèmes à travers lesquels un modèle est capable d'apprendre. Plus les qu'un modèle peut apprendre, plus sa capacité est élevée. La capacité d'un modèle augmente généralement avec le nombre de ses paramètres. Pour une définition formelle de la capacité d'un classificateur, voir dimension VC.

modèle en cascade

Système qui sélectionne le modèle idéal pour une requête d'inférence spécifique.

Imaginez un groupe de modèles, allant de très grands (avec de nombreux paramètres) à beaucoup plus petits (avec beaucoup moins de paramètres). Les modèles très volumineux consomment plus de ressources de calcul au moment de l'inférence que les modèles plus petits. Cependant, les très grands les modèles peuvent généralement déduire des requêtes plus complexes que des modèles plus petits. La cascade de modèles détermine la complexité de la requête d'inférence, puis sélectionne le modèle approprié pour effectuer l'inférence. La principale motivation de la mise en cascade des modèles est de réduire les coûts d'inférence de en sélectionnant généralement des modèles plus petits, et en choisissant un modèle plus grand des requêtes complexes.

Imaginons qu'un petit modèle s'exécute sur un téléphone et qu'une version plus grande de ce modèle s'exécute sur un serveur distant. Un bon modèle en cascade réduit les coûts et la latence en permettant au plus petit modèle de gérer des requêtes simples et en n'appelant que pour traiter des requêtes complexes.

Voir aussi routeur modèle.

parallélisme de modèle

Méthode permettant de faire évoluer l'entraînement ou l'inférence en répartissant les différentes parties d'un modèle sur différents appareils. Le parallélisme des modèles permet d'utiliser des modèles trop volumineux pour être traités par un seul appareil.

Pour implémenter le parallélisme des modèles, un système procède généralement comme suit:

1. Il partitionne (divise) le modèle en parties plus petites.
2. Répartit l'entraînement de ces petites parties sur plusieurs processeurs. Chaque processeur entraîne sa propre partie du modèle.
3. Combine les résultats pour créer un seul modèle.

Le parallélisme des modèles ralentit l'entraînement.

Voir aussi parallélisme des données.

modèle de routeur

Algorithme qui détermine le modèle idéal pour l'inférence dans la cascade de modèles. Un routeur de modèle est lui-même généralement un modèle de machine learning qui apprend progressivement à choisir le meilleur modèle pour une entrée donnée. Cependant, un routeur de modèle peut parfois être un algorithme plus simple, sans machine learning.

entraînement de modèle

Processus visant à déterminer le meilleur modèle.

Momentum

Algorithme de descente de gradient sophistiqué dans lequel une étape d'apprentissage dépend non seulement de la dérivée de l'étape en cours, mais également des dérivées de l'étape ou des étapes qui l'ont immédiatement précédée. Momentum implique de calculer moyenne mobile pondérée de manière exponentielle des gradients au fil du temps, analogue du mouvement en physique. La dynamique empêche parfois l'apprentissage de se bloquer dans des minima locaux.

ME

Abréviation de mélange d'experts.

classification à classes multiples

Dans l'apprentissage supervisé, problème de classification dans lequel l'ensemble de données contient plus de deux classes d'étiquettes. Par exemple, les libellés de l'ensemble de données Iris doivent appartenir à l'une des trois classes suivantes :

• Iris setosa
• Iris virginica
• Iris versicolor

Modèle entraîné sur l'ensemble de données Iris qui prédit le type Iris à partir de nouveaux exemples effectue une classification à classes multiples.

À l'inverse, les problèmes de classification qui distinguent exactement deux classes sont des modèles de classification binaires. Par exemple, un modèle de messagerie qui prédit soit le spam, soit le non-spam est un modèle de classification binaire.

Dans les problèmes de clustering, la classification multiclasse fait référence à plus de deux clusters.

régression logistique multiclasses

Utilisation de la régression logistique dans les problèmes de classification multiclasse.

auto-attention multitête

Extension de l'auto-attention qui applique la d'auto-attention plusieurs fois pour chaque position dans la séquence d'entrée.

Les modèles Transformer ont introduit l'auto-attention multitête.

modèle multimodal

Modèle dont les entrées et/ou les sorties incluent plusieurs modalités. Prenons l'exemple d'un modèle qui prend à la fois une image et une légende textuelle (deux modalités) comme caractéristiques, et génère un score indiquant le degré de pertinence de la légende pour l'image. Les entrées de ce modèle sont donc multimodales et la sortie unimodale.

multimodal instruction-tuned

Un modèle réglé par des instructions capable de traiter les entrées au-delà du texte, comme les images, la vidéo et l'audio.

classification multinomiale

Synonyme de classification à classes multiples.

régression multinomiale

Synonyme de régression logistique multiclasse.

multitâche

Technique de machine learning dans laquelle un seul modèle est entraîné pour effectuer plusieurs tâches.

Les modèles multitâches sont créés en les entraînant sur des données adaptées à chacune des différentes tâches. Cela permet au modèle d'apprendre à partager des informations entre les tâches, ce qui l'aide à apprendre plus efficacement.

Un modèle entraîné pour plusieurs tâches a souvent amélioré ses capacités de généralisation et peuvent être plus robustes pour traiter différents types de données.

N

piège NaN

Lorsqu'un nombre du modèle devient un NaN pendant l'entraînement et que, à la suite de ce changement, de nombreux autres nombres du modèle, voire tous, finissent par devenir également des NaN.

NaN est l'abréviation de Not a Number (Ce n'est pas un nombre).

compréhension du langage naturel

Déterminer les intentions d'un utilisateur en fonction de ce qu'il a saisi ou dit. Par exemple, un moteur de recherche utilise la compréhension du langage naturel pour déterminer ce que l'utilisateur recherche en fonction de ce qu'il a saisi ou dit.

classe négative

Dans la classification binaire, une classe est dite positive et l'autre négative. La classe positive est l'élément ou l'événement que le modèle teste, et la classe négative est l'autre possibilité. Exemple :

• La classe négative d'un test médical pourrait être "pas une tumeur".
• La classe négative d'un classificateur d'e-mail pourrait être "non-spam".

À comparer à la classe positive.

échantillonnage négatif

Synonyme d'échantillonnage de candidats.

Neural Architecture Search (NAS)

Une technique de conception automatique de l'architecture d'un réseau de neurones. Les algorithmes NAS peuvent réduire la quantité de temps et de ressources nécessaires à l'entraînement d'un réseau de neurones.

Un NAS utilise généralement :

• Un espace de recherche, c'est-à-dire un ensemble d'architectures possibles
• Une fonction de fitness, qui est une mesure de l'efficacité sur une tâche donnée.

Les algorithmes NAS commencent souvent par un petit ensemble d'architectures possibles et élargissent progressivement l'espace de recherche à mesure que l'algorithme en apprend davantage sur les architectures efficaces. La fonction de fitness est généralement basée sur les performances de l'architecture sur un ensemble d'entraînement, généralement entraîné à l'aide d'un d'apprentissage par renforcement.

Les algorithmes du NAS ont prouvé leur efficacité pour identifier pour des tâches diverses, y compris des images la classification, la classification de texte, et la traduction automatique.

neurones feedforward

Un modèle contenant au moins un couche cachée. Un réseau de neurones profond est un type de réseau de neurones contenant plusieurs couches cachées. Par exemple, le schéma suivant montre un réseau de neurones profond contenant deux couches cachées.

Chaque neurone d'un réseau de neurones se connecte à tous les nœuds de la couche suivante. Par exemple, dans le diagramme précédent, vous remarquerez que chacun des trois neurones se connecter séparément aux deux neurones de la première couche cachée une deuxième couche cachée.

Les réseaux de neurones implémentés sur les ordinateurs sont parfois appelés réseaux de neurones artificiels afin de les différencier les réseaux de neurones présents dans le cerveau et d'autres systèmes nerveux.

Certains réseaux de neurones peuvent imiter des relations non linéaires extrêmement complexes entre différentes caractéristiques et l'étiquette.

Consultez également les articles Réseau de neurones convolutif et Réseau de neurones récurrent.

neurone

En machine learning, unité distincte d'une couche cachée d'un réseau de neurones. Chaque neurone effectue les opérations suivantes : action en deux étapes:

1. Calcule la somme pondérée des valeurs d'entrée multipliées par par les pondérations correspondantes.
2. Transmet la somme pondérée en entrée à une fonction d'activation.

Un neurone de la première couche cachée accepte les entrées des valeurs des caractéristiques dans la couche d'entrée. Un neurone de toute couche cachée au-delà de la première accepte les entrées des neurones de la couche cachée précédente. Par exemple, un neurone de la deuxième couche cachée accepte les entrées dans la première couche cachée.

L'illustration suivante met en évidence deux neurones et leur d'entrée.

Un neurone dans un réseau de neurones imite le comportement des neurones dans le cerveau et d'autres parties des systèmes nerveux.

N-gramme

Séquence ordonnée de N mots. Par exemple, vraiment follement correspond à un gramme de 2 grammes. L'ordre a une importance : follement vraiment est un 2-grammes différent de vraiment follement.

De nombreux modèles de compréhension du langage naturel reposent sur les N-grammes pour prédire le prochain mot que l'utilisateur saisira ou énoncera. Par exemple, supposons qu'un utilisateur tape three blind. Un modèle de NLU basé sur des trigrammes prédira probablement l'utilisateur saisira ensuite mice.

Faire la distinction entre les N-grammes et les sacs de mots, qui sont des listes de mots non ordonnées.

NLU (Natural Language Understanding, compréhension du langage naturel) - 1st occurrence only, then use "NLU".

Abréviation de compréhension du langage naturel.

nœud (arbre de décision)

Dans un arbre de décision, toute condition ou leaf.

nœud (réseau de neurones)

Neurone dans une couche cachée.

nœud (graphe TensorFlow)

Opération dans un graphe TensorFlow.

bruit

De manière générale, tout ce qui masque le signal dans un ensemble de données. Bruit peuvent être introduits dans les données de différentes manières. Exemple :

• Des évaluateurs humains font des erreurs concernant l'ajout d'étiquettes.
• Des instruments sont mal enregistrés ou des humains omettent des valeurs de caractéristiques.

condition non binaire

Condition contenant plus de deux résultats possibles. Par exemple, la condition non binaire suivante contient trois résultats possibles :

non linéaire

Relation entre deux variables ou plus qui ne peut pas être représentée uniquement par l'addition et la multiplication. Une relation linéaire peut être représentée par une ligne, tandis qu'une relation non linéaire ne peut pas l'être. Prenons l'exemple de deux modèles qui associent chacun une seule caractéristique à un seul libellé. Le modèle de gauche est linéaire et celui de droite est non linéaire :

biais de non-réponse

Voir biais de sélection.

non-stationnarité

Caractéristique dont les valeurs changent selon une ou plusieurs dimensions, généralement le temps. Prenons l'exemple des exemples suivants de non-stationarité:

• Le nombre de maillots de bain vendus dans un magasin donné varie selon la saison.
• La quantité d'un fruit particulier récolté dans une région donnée est nulle pendant une grande partie de l'année, mais importante pendant une courte période.
• En raison du changement climatique, les températures moyennes annuelles évoluent.

À comparer à la stationnarité.

normalisation

De manière générale, le processus de conversion de la plage réelle d'une variable de valeurs dans une plage de valeurs standard, telle que:

• -1 à +1
• Entre 0 et 1
• Score Z (environ -3 à +3)

Par exemple, supposons que la plage de valeurs réelle d'une caractéristique donnée soit comprise entre 800 et 2 400. Dans le cadre de l'ingénierie des caractéristiques, vous pouvez normaliser les valeurs réelles dans une plage standard, par exemple de -1 à +1.

La normalisation est une tâche courante dans la création de caractéristiques. Les modèles sont généralement entraînés plus rapidement (et produisent de meilleures prédictions) lorsque chaque caractéristique numérique du vecteur de caractéristiques a à peu près la même plage.

Pour en savoir plus, consultez le module sur l'utilisation des données numériques du cours d'initiation au machine learning. Consultez également la page Normalisation du score Z.

détection de nouveauté

Processus consistant à déterminer si un nouvel exemple provient de la même distribution que l'ensemble d'entraînement. En d'autres termes, après l'entraînement sur l'ensemble d'entraînement, la détection de nouveauté détermine si un exemple nouveau (lors de l'inférence ou de l'entraînement supplémentaire) est une anomalie.

À comparer à la détection des anomalies.

données numériques

Caractéristiques représentées par des nombres entiers ou réels. Par exemple, un modèle d'évaluation de maison représenterait probablement la taille d'une maison (en pieds carrés ou en mètres carrés) sous forme de données numériques. Représenter une caractéristique sous forme de données numériques indique que les valeurs de la caractéristique ont une relation mathématique avec l'étiquette. Autrement dit, le nombre de mètres carrés dans une maison a probablement relation mathématique avec la valeur de la maison.

Les données entières ne doivent pas toutes être représentées sous forme de données numériques. Par exemple : les codes postaux dans certaines parties du monde sont des entiers ; En revanche, les adresses IP (nombre entier) les codes ne doivent pas être représentés sous forme de données numériques dans les modèles. En effet, un code postal 20000 n'est pas deux fois (ou moitié) plus efficace qu'un code postal 10000. De plus, même si les codes postaux différents correspondent à des valeurs immobilières différentes, nous ne pouvons pas supposer que les valeurs immobilières au code postal 20 000 sont deux fois plus élevées que celles au code postal 10 000. Les codes postaux doivent être représentés sous forme de données catégorielles. à la place.

Les caractéristiques numériques sont parfois appelées caractéristiques continues.

NumPy

Un <ph type="x-smartling-placeholder"></ph> bibliothèque mathématique Open Source qui fournit des opérations de tableau efficaces en Python. pandas est basé sur NumPy.

O

objectif

Métrique que votre algorithme tente d'optimiser.

fonction objectif

Formule mathématique ou métrique qu'un modèle cherche à optimiser. Par exemple, la fonction objectif La régression linéaire est généralement Perte quadratique moyenne. Par conséquent, lors de l'entraînement d'un modèle de régression linéaire, l'entraînement vise à minimiser la perte quadratique moyenne.

Dans certains cas, l'objectif est de maximiser la fonction objectif. Par exemple, si la fonction objectif est la précision, l'objectif est de maximiser la précision.

Voir aussi perte.

condition oblique

Dans un arbre de décision, condition impliquant plusieurs caractéristiques. Par exemple, si la hauteur et la largeur sont toutes deux des caractéristiques, la condition suivante est oblique :

  height > width

À comparer à la condition d'alignement sur l'axe.

hors connexion

Synonyme de statique.

inférence hors ligne

Processus par lequel un modèle génère un lot de prédictions, puis met en cache (enregistre) ces prédictions. Les applications peuvent alors accéder à partir du cache au lieu de réexécuter le modèle.

Prenons l'exemple d'un modèle qui génère les prévisions météo locales (prédictions) toutes les quatre heures. Après chaque exécution du modèle, le système met en cache toutes les prévisions météo locales. Les applis météo récupèrent les prévisions du cache.

L'inférence hors ligne est également appelée inférence statique.

À comparer à l'inférence en ligne.

Encodage one-hot

Représenter des données catégorielles sous forme de vecteur dans lequel:

• Un élément est défini sur 1.
• Tous les autres éléments sont définis sur 0.

L'encodage one-hot est couramment utilisé pour représenter des chaînes ou des identifiants qui ont un ensemble fini de valeurs possibles. Par exemple, supposons qu'une caractéristique catégorique nommée Scandinavia ait cinq valeurs possibles :

• "Danemark"
• "Suède"
• "Norvège"
• "Finlande"
• "Islande"

L'encodage en valeurs uniques peut représenter chacune des cinq valeurs comme suit :

Grâce à l'encodage one-hot, un modèle peut apprendre différentes connexions pour chacun des cinq pays.

Représenter une caractéristique sous forme de données numériques correspond à comme alternative à l'encodage one-hot. Malheureusement, représenter Le nombre de pays scandinaves n'est pas un bon choix. Par exemple : Prenons la représentation numérique suivante:

• "Danemark" est 0
• "Suède" est 1
• "Norvège" est 2
• "Finlande" est de 3
• "Islande" est de 4

Avec l'encodage numérique, le modèle interpréterait les nombres bruts mathématiquement, et essayer de s'entraîner avec ces nombres. Toutefois, l'Islande n'est pas deux fois plus que pour la Norvège, le modèle tirerait donc des conclusions étranges.

apprentissage one-shot

Approche du machine learning, souvent utilisée pour la classification d'objets, conçue pour apprendre des classificateurs efficaces à partir d'un seul exemple d'entraînement.

Voir aussi apprentissage few-shot et Apprentissage zero-shot :

requête one-shot

Une invite contenant un exemple montrant comment le grand modèle de langage doit répondre. Par exemple : la requête suivante contient un exemple qui montre à un grand modèle de langage il doit répondre à une requête.

Comparez la invite ponctuelle aux termes suivants :

• requêtes zero-shot
• requête few-shot

one-vs.-all

Pour un problème de classification avec N classes, solution composée de N distincts Les classificateurs binaires : un classificateur binaire pour chaque résultat possible. Soit, par exemple, un modèle qui classe les exemples en animal, végétal ou minéral. Une solution un contre tous fournirait les trois classificateurs binaires distincts suivants :

• animal ou non
• légume par rapport à non-légume
• minéraux et non minéraux

online

Synonyme de dynamique.

inférence en ligne

Génération de prédictions à la demande. Par exemple : Supposons qu'une application transmette des entrées à un modèle et envoie une requête pour obtenir la prédiction. Un système utilisant l'inférence en ligne répond à la requête en exécutant le modèle (et en renvoyant la prédiction à l'application).

À comparer à l'inférence hors connexion.

opération (op)

Dans TensorFlow, toute procédure qui crée, manipule ou détruit un Tensor. Par exemple, une multiplication matricielle est une opération qui prend deux tenseurs en entrée et génère un tenseur en sortie.

Optax

Bibliothèque d'optimisation et de traitement du gradient pour JAX. Optax facilite la recherche en fournissant des éléments de base combinés de façon personnalisée afin d'optimiser des modèles paramétriques les réseaux de neurones profonds. Voici d'autres objectifs :

• Fournir des implémentations lisibles, bien testées et efficaces composants de base.
• Amélioration de la productivité en permettant de combiner des ingrédients de bas niveau dans des optimiseurs personnalisés (ou d'autres composants du traitement du gradient).
• Accélérer l'adoption de nouvelles idées en simplifiant le processus à contribuer.

optimizer

Implémentation particulière de l'algorithme de descente de gradient. Voici quelques optimiseurs courants:

• AdaGrad, qui signifie "descente de gradient adaptative".
• Adam, qui signifie ADAptive with Momentum.

biais d'homogénéité de l'exogroupe

Tendance à percevoir les membres d'un exogroupe comme plus semblables que les membres de son groupe d'appartenance lorsque l'on compare les attitudes, les valeurs, les traits de personnalité et d'autres caractéristiques. Le groupe d'appartenance désigne les personnes avec lesquelles vous interagissez régulièrement, tandis que l'exogroupe désigne les personnes avec lesquelles vous n'interagissez pas régulièrement. Si vous créer un jeu de données en demandant aux gens de fournir des attributs sur hors groupes, ces attributs peuvent être moins nuancés et plus stéréotypés que les attributs que les participants listent pour les personnes de leur groupe.

Par exemple, des Lilliputiens pourraient décrire de manière très détaillée les maisons d'autres Lilliputiens, en mentionnant de légères différences dans les styles architecturaux, les fenêtres, les portes et les dimensions. Cependant, ces mêmes Lilliputiens pourraient se contenter de déclarer que Les Brobdingnagiens vivent tous dans des maisons identiques.

Le biais d'homogénéité de l'exogroupe est une forme de biais de représentativité.

Voir aussi biais d'appartenance.

détection des anomalies

Processus consistant à identifier les valeurs aberrantes dans un ensemble d'entraînement.

À comparer à la détection de nouveauté.

des anomalies

Valeurs éloignées de la plupart des autres valeurs. Dans le machine learning, toutes les valeurs suivantes sont des anomalies :

• Données d'entrée dont les valeurs sont éloignées de plus de trois écarts types environ de la moyenne
• Pondérations dont la valeur absolue est élevée
• Valeurs prédites relativement éloignées des valeurs réelles.

Par exemple, supposons que widget-price soit une caractéristique d'un certain modèle. Supposons que la moyenne widget-price soit de 7 euros avec un écart type de 1 euro. Les exemples contenant un widget-price de 12 euros ou de 2 euros seraient donc considérés comme des valeurs aberrantes, car chacun de ces prix est à cinq écarts-types de la moyenne.

Les valeurs aberrantes sont souvent causées par des fautes de frappe ou d'autres erreurs de saisie. Dans d'autres cas, les valeurs aberrantes ne sont pas des erreurs. Après tout, les valeurs éloignées de cinq écarts types de la moyenne sont rares, mais pas impossibles.

Les anomalies entraînent souvent des problèmes lors de l'entraînement du modèle. Extraits est une façon de gérer les anomalies.

évaluation hors du sac

Mécanisme d'évaluation de la qualité d'une forêt de décision en testant chaque d'un arbre de décision exemples non utilisés pendant entraînement de cet arbre de décision. Par exemple, dans dans le schéma suivant, le système entraîne chaque arbre de décision sur environ deux tiers des exemples, puis évalue le tiers restant des exemples.

L'évaluation hors échantillon est une approximation efficace et conservatrice du mécanisme de validation croisée. Dans la validation croisée, un modèle est entraîné pour chaque cycle de validation croisée (par exemple, 10 modèles sont entraînés dans une validation croisée à 10 fois). Avec l'évaluation OOB, un seul modèle est entraîné. Comme le bagage retient certaines données de chaque arbre pendant l'entraînement, l'évaluation OOB peut utiliser pour se rapprocher de la validation croisée.

couche de sortie

La "finale" d'un réseau de neurones. La couche de sortie contient la prédiction.

L'illustration suivante montre un petit réseau de neurones profond avec une couche d'entrée, deux couches cachées et une couche de sortie :

surapprentissage

Création d'un modèle correspondant si étroitement aux données d'entraînement qu'il ne parvient pas à effectuer des prédictions correctes avec de nouvelles données.

La régularisation peut réduire le surapprentissage. L'entraînement sur un ensemble d'entraînement vaste et varié peut également réduire le surapprentissage.

suréchantillonnage

Réutilisation des exemples d'une classe minoritaire dans un ensemble de données avec déséquilibre des classes afin de créer un ensemble d'entraînement plus équilibré.

Par exemple, considérons un problème de classification binaire dans lequel le ratio de la classe majoritaire sur la classe minoritaire est de 5 000 : 1. Si le jeu de données contient un million d'exemples, alors l'ensemble de données ne contient qu'environ 200 exemples de la classe minoritaire, ce qui peut pas assez d'exemples pour un entraînement efficace. Pour remédier à ce problème, vous vous risquez de suréchantillonner (réutiliser) plusieurs fois ces 200 exemples, ce qui peut suffisamment d'exemples pour un entraînement utile.

Vous devez faire attention à ne pas trop suradapter votre modèle lorsque vous effectuez un suréchantillonnage.

À comparer à l'échantillonnage sous-représentatif.

P

données compactes

Une approche permettant de stocker des données plus efficacement.

Les données compressées stockent les données dans un format compressé ou dans d'une autre manière qui permet d'y accéder plus efficacement. Elles réduisent la quantité de mémoire et de calcul requise pour y accéder, ce qui accélère l'entraînement et améliore l'efficacité de l'inférence de modèle.

Les données compressées sont souvent utilisées avec d'autres techniques, telles que l'augmentation des données et la régularisation, ce qui améliore encore les performances des modèles.

pandas

API d'analyse de données orientée colonnes basée sur numpy. De nombreux frameworks de machine learning, y compris TensorFlow, acceptent les structures de données pandas comme entrées. Pour en savoir plus, consultez la documentation de pandas.

paramètre

Les pondérations et les biais qu'un modèle apprend lors de l'entraînement. Par exemple, dans un modèle de régression linéaire, les paramètres consistent en le biais (b) et toutes les pondérations (w₁, w₂, etc.) dans la formule suivante :

À l'inverse, les hyperparamètres sont les valeurs que vous (ou un service de réglage d'hyperparamètres) fournissez au modèle. Par exemple, le taux d'apprentissage est un hyperparamètre.

réglage efficace des paramètres

Ensemble de techniques permettant d'affiner un grand modèle de langage pré-entraîné (PLM) plus efficacement qu'un affinage complet. L'optimisation des paramètres affine généralement beaucoup moins de paramètres que l'affinage complet, mais produit généralement un grand modèle de langage qui fonctionne aussi bien (ou presque) qu'un grand modèle de langage créé à partir d'un affinage complet.

Indiquer les points communs et les différences entre les réglages efficaces avec les paramètres suivants:

• réglage des instructions
• réglage des requêtes

Le réglage des paramètres avec optimisation est également appelé optimisation du réglage des paramètres.

Serveur de paramètres

Un job qui effectue le suivi des paramètres d'un modèle dans un distribué.

mise à jour des paramètres

Ajuster les paramètres d'un modèle pendant l'entraînement, généralement en une seule itération descente de gradient.

dérivée partielle

Dérivée dans laquelle toutes les variables, sauf une, sont considérées comme des constantes. Par exemple, la dérivée partielle de f(x, y) par rapport à x est la dérivée de f considérée uniquement comme une fonction de x (c'est-à-dire en gardant y constante). La dérivée partielle de f par rapport à x se concentre uniquement sur comment x change et ignore toutes les autres variables de l'équation.

biais de participation

Synonyme de biais de non-réponse. Voir biais de sélection.

stratégie de partitionnement

Algorithme qui répartit les variables entre les serveurs de paramètres.

Pax

Framework de programmation conçu pour l'entraînement de modèles de réseaux de neurones à grande échelle, si grands qu'ils couvrent plusieurs tranches ou pods de puce d'accélérateur TPU.

Pax est basé sur Flax, qui est basé sur JAX.

perceptron

Un système (matériel ou logiciel) qui prend une ou plusieurs valeurs d'entrée, exécute une fonction sur la somme pondérée des entrées et calcule une valeur unique valeur de sortie. Dans le machine learning, la fonction est généralement non linéaire, comme ReLU, sigmoïde ou tanh. Par exemple, le perceptron suivant repose sur la fonction sigmoïde pour traiter trois valeurs d'entrée :

Dans l'illustration suivante, le perceptron prend trois entrées chacune modifiée par une pondération avant d'entrer dans le perceptron :

Les perceptrons sont les neurones de réseaux de neurones.

performance

Terme complexe ayant les significations suivantes:

• Signification standard en ingénierie logicielle. Namely: à quelle vitesse (ou efficacement) ce logiciel fonctionne-t-il ?
• Signification dans le machine learning. Ici, les performances répondent à la question suivante : quel est le degré d'exactitude de ce modèle ? En d'autres termes, les prédictions du modèle sont-elles de qualité ?

importances des variables de permutation

Type d'importance de la variable qui évalue l'augmentation de l'erreur de prédiction d'un modèle après avoir permuté la les valeurs de la caractéristique. L'importance de la variable de permutation est une variable la métrique.

perplexité

Mesure de l'efficacité d'un modèle à accomplir une tâche. Par exemple, supposons que votre tâche consiste à lire les premières lettres d'un mot qu'un utilisateur saisit sur le clavier d'un téléphone et à proposer une liste de mots de fin possibles. Dans cette tâche, la perplexité (P) correspond approximativement au nombre que vous devez proposer pour que votre liste contienne les véritables mot que l'utilisateur essaie de taper.

La perplexité est liée à l'entropie croisée comme suit:

pipeline

Infrastructure sur laquelle repose un algorithme de machine learning. Un pipeline comprend la collecte des données, leur intégration dans des fichiers de données d'entraînement, entraîner un ou plusieurs modèles et exporter les modèles en production.

pipeline

Forme de parallélisme de modèle dans laquelle le traitement d'un modèle est divisé en étapes consécutives, et chaque étape est exécutée sur un appareil différent. Pendant qu'une étape traite un lot, l'étape précédente peut fonctionner sur le lot suivant.

Voir aussi Entraînement par étapes.

pjit

Une fonction JAX qui divise le code pour qu'il soit exécuté sur plusieurs puces accélérateurs. L'utilisateur transmet une fonction à pjit, qui renvoie une fonction ayant une sémantique équivalente, mais compilée dans un calcul XLA exécuté sur plusieurs appareils (tels que des GPU ou des cœurs TPU).

pjit permet aux utilisateurs de partitionner des calculs sans les réécrire en utilisant le partitionnement SPMD.

Depuis mars 2023, pjit a été fusionné avec jit. Consultez Les tableaux distribués et l'automatisation chargement en parallèle pour en savoir plus.

PLM

Abréviation de modèle de langage pré-entraîné.

pmap

Une fonction JAX qui exécute des copies d'une fonction d'entrée sur plusieurs périphériques matériels sous-jacents (CPU, GPU ou TPU) avec différentes valeurs d'entrée. pmap s'appuie sur SPMD.

policy

Dans l'apprentissage par renforcement, le mappage probabiliste d'agent des états aux actions.

pooling

Réduction d'une matrice (ou matrices) créée par une fonction couche convolutive vers une matrice plus petite. Le pooling implique généralement de prendre la valeur maximale ou moyenne à travers l'espace commun. Soit, par exemple, la matrice 3 x 3 suivante :

Une opération de pooling, tout comme une opération convolutive, divise ce en tranches, puis fait glisser cette opération convolutive pas. Par exemple, supposons que l'opération de pooling divise la matrice convolutive en tranches 2x2 avec un pas de 1x1. Comme illustré dans le diagramme suivant, quatre opérations de pooling ont lieu. Imaginons que chaque opération de pooling sélectionne la valeur maximale des quatre valeurs de cette tranche :

Le pooling permet d'appliquer l'invariance par translation dans la matrice d'entrée.

Pour les applications de vision, le pooling est officiellement appelé pooling spatial. Les applications de séries temporelles appellent généralement le regroupement regroupement temporel. De manière moins formelle, le pooling est souvent appelé sous-échantillonnage ou rééchantillonnage.

encodage positionnel

Technique permettant d'ajouter des informations sur la position d'un jeton dans une séquence pour la représentation vectorielle continue du jeton. Les modèles Transformer utilisent l'encodage de position pour mieux comprendre la relation entre les différentes parties de la séquence.

Une implémentation courante de l'encodage positionnel utilise une fonction sinusoïdale. (Plus précisément, la fréquence et l'amplitude de la fonction sinusoïdale sont déterminées par la position du jeton dans la séquence.) Cette technique permet à un modèle Transformer d'apprendre à traiter les différentes parties en fonction de leur position.

classe positive

Classe pour laquelle vous effectuez le test.

Par exemple, la classe positive d'un modèle de cancer pourrait être "tumeur". La classe positive d'un classificateur d'e-mails pourrait être "spam".

À comparer à la classe négative.

post-traitement

Ajustement de la sortie d'un modèle après son exécution. Le post-traitement peut être utilisé pour appliquer des contraintes d'équité sans modifier les modèles eux-mêmes.

Par exemple, on peut appliquer un post-traitement à un classificateur binaire en définissant un seuil de classification l'égalité des chances est maintenue. pour un attribut en vérifiant que le taux de vrais positifs est identique pour toutes les valeurs de cet attribut.

AUC PR (aire sous la courbe PR)

Aire sous la courbe de précision/rappel interpolée, obtenue en traçant des points (rappel, précision) pour différentes valeurs du seuil de classification. Selon la méthode de calcul, l'AUC PR peut être équivalent à la précision moyenne du modèle.

Praxis

Bibliothèque principale de ML hautes performances de Pax. La praxis est souvent appelée "bibliothèque de calques".

Praxis ne contient pas seulement les définitions de la classe Layer, mais également la plupart de ses composants associés, y compris :

• données saisies
• bibliothèques de configuration (HParam et Fiddle)
• les optimiseurs

La praxis fournit les définitions de la classe Model.

precision

Statistique des modèles de classification qui répond à la question suivante :

Lorsque le modèle a prédit la classe positive, quel est le pourcentage de prédictions correctes ?

Voici la formule:

où :

• vrai positif signifie que le modèle a prédit correctement la classe positive.
• Un faux positif signifie que le modèle a incorrectement prédit la classe positive.

Par exemple, supposons qu'un modèle ait effectué 200 prédictions positives. Sur ces 200 prédictions positives:

• 150 sont des vrais positifs.
• 50 d'entre eux étaient des faux positifs.

Dans ce cas :

À comparer à la précision et au rappel.

Pour en savoir plus, consultez Classification : précision, rappel, précision et métriques associées.

la courbe de précision/rappel

Courbe de précision et de rappel à différents des seuils de classification.

prédiction

Résultat d'un modèle. Exemple :

• La prédiction d'un modèle de classification binaire correspond à la classe positive ou à la classe négative.
• La prédiction d'un modèle de classification multiclasse est une classe.
• La prédiction d'un modèle de régression linéaire est un nombre.

biais de prédiction

Valeur indiquant l'écart entre la moyenne des prédictions et la moyenne des étiquettes dans l'ensemble de données.

À ne pas confondre avec le terme de biais dans les modèles de machine learning ni avec les biais en matière d'éthique et d'équité.

ML prédictif

Tout système de machine learning standard (classique).

Le terme ML prédictif n'a pas de définition formelle. Il permet plutôt de distinguer une catégorie de systèmes de ML qui n'est pas basée sur IA générative.

parité prédictive

Métrique d'équité qui vérifie si, pour un classifieur donné, les taux de précision sont équivalents pour les sous-groupes considérés.

Par exemple, un modèle qui prédit l'acceptation dans une université satisferait la parité prédictive pour la nationalité si son taux de précision est le même pour les Lilliputiens et les Brobdingnagiens.

La parité prédictive est parfois appelée parité tarifaire prédictive.

Voir "Définitions équitables" expliqué" (section 3.2.1) pour une discussion plus détaillée sur la parité prédictive.

parité tarifaire prédictive.

Autre nom utilisé pour désigner la parité prédictive.

prétraitement

modèle pré-entraîné

Modèles ou composants de modèles (comme vecteur de représentation vectorielle continue) ayant déjà été entraîné. Parfois, vous alimentez des vecteurs de représentation vectorielle continue pré-entraînés dans un réseau de neurones. Parfois, votre modèle entraînera les vecteurs d'embedding eux-mêmes plutôt que de s'appuyer sur les représentations vectorielles continues pré-entraînées.

Le terme modèle de langage pré-entraîné fait référence à grand modèle de langage qui a traversé pré-entraînement.

pré-entraînement

Entraînement initial d'un modèle sur un ensemble de données volumineux. Certains modèles pré-entraînés sont des géants maladroites qui doivent généralement être affinés par un entraînement supplémentaire. Par exemple, les experts en ML peuvent pré-entraîner un grand modèle de langage sur un vaste ensemble de données textuelles, comme toutes les pages en anglais de Wikipédia. Après une formation préalable, le modèle qui en résulte peut être affiné grâce à l'une des méthodes suivantes : techniques:

• distillation
• ajustement
• réglage des instructions
• Réglage des paramètres avec optimisation
• prompt-tuning

croyance antérieure

Ce que vous croyez à propos des données avant de commencer l'entraînement avec celles-ci. Par exemple, la régularisation L₂ repose sur une conviction préalable selon laquelle les pondérations doivent être faibles et normalement répartis autour de zéro.

modèle de régression probabiliste

Un modèle de régression qui utilise non seulement le pondérations pour chaque caractéristique, mais aussi l'incertitude de ces pondérations. Un modèle de régression probabiliste génère une prédiction et l'incertitude de cette prédiction. Par exemple, un modèle de régression probabiliste peut donner une prédiction de 325 avec une un écart type de 12. Pour en savoir plus sur la régression probabiliste, consultez ce document Colab sur tensorflow.org.

fonction de densité de probabilité

Fonction qui identifie la fréquence des échantillons de données ayant exactement une valeur particulière. Lorsque les valeurs d'un ensemble de données sont des valeurs continues à virgule flottante chiffres, il est rare que des correspondances exactes soient disponibles. Toutefois, l'intégration d'une fonction de densité de probabilité de la valeur x à la valeur y donne la fréquence attendue des échantillons de données entre x et y.

Prenons l'exemple d'une distribution normale ayant une moyenne de 200 et une un écart type de 30. Pour déterminer la fréquence attendue des échantillons de données compris entre 211,4 et 218,7, vous pouvez intégrer la fonction de densité de probabilité pour une distribution normale de 211,4 à 218,7.

Requête

Tout texte saisi en entrée d'un grand modèle de langage pour conditionner le modèle afin qu'il se comporte d'une certaine manière. Les requêtes peuvent être aussi courtes qu'un expression exacte ou arbitrairement longue (par exemple, l'intégralité du texte d'un roman). Requêtes appartiennent à plusieurs catégories, dont celles indiquées dans le tableau suivant:

Un modèle d'IA générative peut répondre à une requête avec du texte, du code, des images, des représentations vectorielles continues, des vidéos… presque n'importe quoi.

apprentissage basé sur des requêtes

Capacité de certains modèles qui leur permet d'adapter leur comportement en réponse à une entrée de texte arbitraire (invites). Dans un paradigme classique d'apprentissage basé sur des requêtes, grand modèle de langage répond à une requête en la génération de texte. Par exemple, supposons qu'un utilisateur saisisse la requête suivante :

Résume la troisième loi du mouvement de Newton.

Un modèle capable d'apprendre à partir d'invites n'est pas spécifiquement entraîné pour répondre à l'invite précédente. Le modèle "sait" plutôt beaucoup de choses sur la physique, les règles générales du langage et ce qui constitue des réponses généralement utiles. Ces connaissances sont suffisantes pour fournir une réponse (espérons-le) utile. Un commentaire humain supplémentaire ("Cette réponse était trop compliquée." ou "Qu'est-ce qu'une réaction ?") permet à certains systèmes d'apprentissage basés sur des requêtes de améliorer l'utilité de leurs réponses.

conception de requête

Synonyme d'ingénierie des requêtes.

ingénierie des requêtes

Art de créer des requêtes qui suscitent les réponses souhaitées d'un grand modèle de langage. Les humains effectuent une ingénierie rapide. Pour obtenir des réponses utiles à partir d'un grand modèle de langage, il est essentiel de rédiger des requêtes bien structurées. L'ingénierie des requêtes dépend de nombreux facteurs, y compris:

• Ensemble de données utilisé pour le pré-entraînement et éventuellement fine-tune le grand modèle de langage
• La température et d'autres paramètres de décodage utilisé par le modèle pour générer des réponses.

Voir Présentation de la conception de requête pour en savoir plus sur la rédaction de requêtes utiles.

La conception d'invites est synonyme d'ingénierie des requêtes.

réglage des requêtes

Un mécanisme de réglage efficace des paramètres qui apprend un "préfixe" que le système ajoute au requête réelle.

Une variante du réglage des invites, parfois appelée réglage de préfixe, consiste à ajouter le préfixe à chaque couche. En revanche, la plupart du réglage des requêtes ajoute un préfixe à la couche d'entrée.

étiquettes de substitution

Données utilisées pour estimer les étiquettes qui ne sont pas directement disponibles dans un ensemble de données.

Par exemple, supposons que vous deviez entraîner un modèle pour prédire les données de stress. Votre ensemble de données contient de nombreuses fonctionnalités prédictives, mais ne contient pas d'étiquette nommée niveau de stress. Intrépide, vous choisissez "Accidents sur le lieu de travail" comme étiquette de proxy de stress. Après tout, les employés soumis à un stress élevé sont plus sujets aux accidents que les employés calmes. Ou est-ce que ce n'est pas le cas ? Il est possible que les accidents du travail augmentent et diminuent pour plusieurs raisons.

Prenons un deuxième exemple. Supposons que vous souhaitiez que est-ce qu'il pleut ? soit un libellé booléen pour votre ensemble de données, mais que celui-ci ne contienne pas de données sur la pluie. Si des photos sont disponibles, vous pouvez créer des photos de personnes portant des parapluies comme étiquette de substitution pour la phrase is it raining? S'agit-il d'un bon libellé de proxy ? C’est possible, mais les personnes dans certaines cultures peuvent être plus susceptibles de porter des parapluies pour se protéger du soleil que de la pluie.

Les étiquettes de proxy sont souvent imparfaites. Si possible, privilégiez les étiquettes réelles étiquettes de proxy. Cela dit, en l'absence d'une étiquette réelle, l'étiquette très soigneusement, en choisissant l'étiquette de proxy la moins horrible.

proxy (attributs sensibles)

fonction pure

Une fonction dont les sorties ne sont basées que sur ses entrées et qui n'a pas de côté les effets. Plus précisément, une fonction pure n'utilise ni ne modifie aucun état global, comme le contenu d'un fichier ou la valeur d'une variable en dehors de la fonction.

Les fonctions pures peuvent être utilisées pour créer du code thread-safe, ce qui est utile lors du fractionnement du code du modèle sur plusieurs chips d'accélérateur.

Les méthodes de transformation de fonction de JAX exigent que les fonctions d'entrée soient des fonctions pures.

Q

Fonction Q