Glossaire du machine learning

Ce glossaire définit les termes généraux du machine learning, ainsi que des termes spécifiques à TensorFlow.

A

ablation

Technique permettant d'évaluer l'importance d'une caractéristique ou d'un composant en les supprimant temporairement d'un modèle. Vous réentraînez ensuite le modèle sans cette caractéristique ou ce composant. Si le modèle réentraîné est beaucoup moins performant, la caractéristique ou le composant supprimé était probablement important.

Par exemple, supposons que vous entraîniez un modèle de classification sur 10 caractéristiques et que vous atteigniez une précision de 88% sur l'ensemble de test. Pour vérifier l'importance de la première caractéristique, vous pouvez réentraîner le modèle en n'utilisant que les neuf autres caractéristiques. Si le modèle réentraîné fonctionne nettement moins bien (par exemple, avec une précision de 55 %), la caractéristique supprimée était probablement importante. À l'inverse, si le modèle réentraîné fonctionne de la même manière, cette caractéristique n'était probablement pas très importante.

L'ablation peut également aider à déterminer l'importance de:

• Composants plus volumineux, comme le sous-système complet d'un système de ML plus vaste
• Des processus ou techniques, tels qu'une étape de prétraitement des données

Dans les deux cas, vous pouvez observer comment les performances du système changent (ou ne changent pas) après la suppression du composant.

Tests A/B

Une façon statistique de comparer deux (ou plus) techniques : le A et le B. En règle générale, le A est une technique existante, tandis que le B est une nouvelle technique. Les tests A/B déterminent non seulement quelle technique est la plus performante, mais aussi si la différence est statistiquement pertinente.

Les tests A/B comparent généralement une seule métrique sur deux techniques. Par exemple, quelle est la différence entre la précision du modèle pour deux techniques ? Cependant, les tests A/B peuvent également comparer n'importe quel nombre fini de métriques.

puce d'accélération

Catégorie de composants matériels spécialisés conçus pour effectuer les calculs clés nécessaires aux algorithmes de deep learning.

Les puces d'accélération (ou accélérateurs, en abrégé) peuvent considérablement augmenter la vitesse et l'efficacité des tâches d'entraînement et d'inférence par rapport à un processeur à usage général. Elles sont idéales pour l'entraînement de réseaux de neurones et d'autres tâches similaires utilisant beaucoup de ressources de calcul.

Voici quelques exemples de puces d'accélération:

• Les Tensor Processing Units (TPU) de Google avec du matériel dédié au deep learning
• Bien que conçus à l'origine pour le traitement graphique, ces GPU sont conçus pour permettre un traitement parallèle, ce qui peut augmenter considérablement la vitesse de traitement.

accuracy

Nombre de prédictions de classification correctes divisé par le nombre total de prédictions. Par exemple :

Par exemple, un modèle ayant effectué 40 prédictions correctes et 10 prédictions incorrectes aurait une justesse de:

La classification binaire fournit des noms spécifiques pour les différentes catégories de prédictions correctes et de prédictions incorrectes. La formule de justesse pour la classification binaire est donc la suivante:

où :

• "VP" correspond au nombre de vrais positifs (prédictions correctes).
• VN correspond au nombre de vrais négatifs (prédictions correctes).
• "FP" correspond au nombre de faux positifs (prédictions incorrectes).
• "FN" correspond au nombre de faux négatifs (prédictions incorrectes).

Indiquer les points communs et les différences entre la précision et le rappel

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

action

Dans l'apprentissage par renforcement, le mécanisme par lequel l'agent passe entre les états de l'environnement. L'agent choisit l'action à l'aide d'une règle.

fonction d'activation

Fonction qui permet aux réseaux de neurones d'apprendre des relations non linéaires (complexes) entre les caractéristiques et l'étiquette.

Les fonctions d'activation les plus courantes sont les suivantes:

• ReLU
• Sigmoïde

Les tracés des fonctions d'activation ne sont jamais de simples lignes droites. Par exemple, le graphique de la fonction d'activation ReLU se compose de deux lignes droites:

Voici un graphique illustrant la fonction d'activation sigmoïde:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

apprentissage actif

Méthode d'entraînement dans laquelle l'algorithme choisit certaines des données à partir desquelles il apprend. L'apprentissage actif est particulièrement utile lorsque les exemples étiquetés sont rares ou coûteux à obtenir. Au lieu de rechercher aveuglément une gamme diversifiée d'exemples étiquetés, un algorithme d'apprentissage actif recherche de manière sélective la gamme spécifique d'exemples dont il a besoin pour apprendre.

AdaGrad

Algorithme sophistiqué de descente de gradient qui redimensionne les gradients de chaque paramètre, en attribuant à chaque paramètre un taux d'apprentissage indépendant. Pour une explication complète, consultez cet article d'AdaGrad.

agent

Dans l'apprentissage par renforcement, l'entité qui utilise une règle pour maximiser le retour attendu obtenu lors de la transition entre les états de l'environnement.

Plus généralement, un agent est un logiciel qui planifie et exécute une série d'actions de manière autonome dans la réalisation d'un objectif, avec la capacité de s'adapter aux changements de son environnement. Par exemple, les agents basés sur un LLM peuvent l'utiliser pour générer un plan plutôt que d'appliquer une règle d'apprentissage par renforcement.

clustering agglomératif

Voir clustering hiérarchique.

détection d'anomalies

Processus d'identification des anomalies. Par exemple, si la moyenne d'une caractéristique donnée est de 100 avec un écart type de 10, la détection d'anomalies doit signaler une valeur de 200 comme suspecte.

AR

Abréviation de réalité augmentée.

aire sous la courbe PR

Voir AUC (aire sous la courbe PR).

aire sous la courbe ROC

Consultez la section AUC (aire sous la courbe ROC).

intelligence générale artificielle

Mécanisme non humain qui démontre un large éventail de capacités de résolution de problèmes, de créativité et d'adaptabilité. Par exemple, un programme faisant appel à l'intelligence artificielle générale peut traduire du texte, composer des symphonies et exceller dans des jeux qui n'ont pas encore été inventés.

l'intelligence artificielle

Programme ou model non humain capable d'exécuter des tâches complexes. Par exemple, un programme ou un modèle qui traduit du texte, ou un programme ou un modèle qui identifie des maladies à partir d'images radiologiques présentent tous deux une intelligence artificielle.

Officiellement, le machine learning est un sous-domaine de l'intelligence artificielle. Cependant, ces dernières années, certaines entreprises ont commencé à utiliser les termes intelligence artificielle et machine learning de manière interchangeable.

"Attention",

Mécanisme utilisé dans un réseau de neurones qui indique l'importance d'un mot ou d'une partie de mot en particulier. L'attention compresse la quantité d'informations dont un modèle a besoin pour prédire le jeton ou le mot suivant. Un mécanisme d'attention typique peut consister en une somme pondérée sur un ensemble d'entrées, où la pondération de chaque entrée est calculée par une autre partie du réseau de neurones.

Reportez-vous également aux termes auto-attention et auto-attention multi-tête, qui sont les éléments de base des Transformers.

Attribut

Synonyme de caractéristique.

Dans le domaine de l'équité dans le machine learning, les attributs font souvent référence à des caractéristiques individuelles.

échantillonnage d'attributs

Stratégie d'entraînement d'une forêt de décision dans laquelle chaque arbre de décision ne prend en compte qu'un sous-ensemble aléatoire de caractéristiques possibles lors de l'apprentissage de la condition. En règle générale, un sous-ensemble différent de caractéristiques est échantillonné pour chaque nœud. En revanche, lors de l'entraînement d'un arbre de décision sans échantillonnage d'attributs, toutes les caractéristiques possibles sont prises en compte pour chaque nœud.

AUC (aire sous la courbe ROC)

Nombre compris entre 0,0 et 1,0 représentant la capacité d'un modèle de classification binaire à séparer les classes positives des classes négatives. Plus l'AUC est proche de 1,0, meilleure est la capacité du modèle à séparer les classes.

Par exemple, l'illustration suivante montre un modèle de classificateur qui sépare parfaitement les classes positives (ovales verts) des classes négatives (rectangles violets). Ce modèle irréalistement parfait a un AUC de 1,0:

À l'inverse, l'illustration suivante montre les résultats pour un modèle de classificateur qui a généré des résultats aléatoires. Ce modèle a un AUC de 0,5:

Oui, l'AUC du modèle précédent est de 0,5, et non de 0,0.

La plupart des modèles se situent entre les deux extrêmes. Par exemple, le modèle suivant distingue un peu les positifs des négatifs, et a donc un AUC compris entre 0,5 et 1,0:

L'AUC ignore toute valeur définie pour le seuil de classification. Elle prend en compte tous les seuils de classification possibles.

réalité augmentée

Technologie qui superpose une image générée par ordinateur à la vue du monde réel d'un utilisateur, fournissant ainsi une vue composite.

auto-encodeur

Système qui apprend à extraire les informations les plus importantes de l'entrée. Les auto-encodeurs sont une combinaison d'un encodeur et d'un décodeur. Les auto-encodeurs s'appuient sur le processus en deux étapes suivant:

1. L'encodeur mappe l'entrée à un format (généralement) de dimension inférieure avec pertes (intermédiaire).
2. Le décodeur crée une version avec pertes de l'entrée d'origine en mappant le format de dimension inférieure au format d'entrée de dimension supérieure d'origine.

Les auto-encodeurs sont entraînés de bout en bout en demandant au décodeur de tenter de reconstruire l'entrée d'origine à partir du format intermédiaire de l'encodeur aussi fidèlement que possible. Étant donné que le format intermédiaire est plus petit (dimensions inférieures) que le format d'origine, l'auto-encodeur est contraint d'apprendre quelles informations de l'entrée sont essentielles, et la sortie ne sera pas parfaitement identique à l'entrée.

Exemple :

• Si les données d'entrée sont un graphique, la copie non exacte serait semblable au graphique d'origine, mais légèrement modifiée. Peut-être que la copie non exacte supprime le bruit de l'image d'origine ou remplit certains pixels manquants.
• Si les données d'entrée sont du texte, un auto-encodeur génère un nouveau texte qui imite le texte d'origine (mais qui n'est pas identique).

Voir aussi la section Auto-encodeurs variables.

biais d'automatisation

Lorsqu'un décisionnaire humain privilégie les recommandations d'un système automatisé de prise de décision par rapport aux informations effectuées sans automatisation, même si le système automatisé de prise de décision commettent des erreurs.

AutoML

Tout processus automatisé permettant de créer des modèles de machine learning. AutoML peut effectuer automatiquement les tâches suivantes:

• Recherchez le modèle le plus approprié.
• Régler les hyperparamètres
• Préparer les données (y compris en effectuant une ingénierie des caractéristiques)
• Déployez le modèle obtenu.

AutoML est utile pour les data scientists, car il peut leur permettre de développer des pipelines de machine learning en moins de temps et d'énergie, tout en améliorant la précision des prédictions. Il est également utile aux non-experts, car il leur permet d'accéder à des tâches de machine learning complexes.

modèle autorégressif

model qui déduit une prédiction à partir de ses propres prédictions précédentes. Par exemple, les modèles de langage à régression automatique prédisent le jeton suivant en fonction des jetons précédemment prédits. Tous les grands modèles de langage basés sur Transformer sont autorégressifs.

En revanche, les modèles d'image basés sur GAN ne sont généralement pas autorégressifs, car ils génèrent une image via une seule passe avant et non de manière itérative par étapes. Cependant, certains modèles de génération d'images sont auto-régressifs, car ils génèrent une image par étapes.

perte auxiliaire

Une fonction de perte, utilisée conjointement avec la principale fonction de perte d'un réseau de neurones et d'un modèle, qui permet d'accélérer l'entraînement au cours des premières itérations lorsque les pondérations sont initialisées de manière aléatoire.

Les fonctions de perte auxiliaires transmettent les gradients efficaces aux couches précédentes. Cela facilite la convergence lors de l'entraînement en luttant contre le problème de disparition du gradient.

précision moyenne

Métrique permettant de résumer les performances d'une séquence de résultats classée. La précision moyenne est calculée en prenant la moyenne des valeurs de précision pour chaque résultat pertinent (chaque résultat de la liste classée où le rappel augmente par rapport au résultat précédent).

Consultez également la section Aire sous la courbe PR.

condition d'alignement sur l'axe

Dans un arbre de décision, condition qui n'implique qu'une seule caractéristique. Par exemple, si l'aire est une caractéristique, voici une condition alignée sur les axes:

area > 200

À comparer à la condition oblique.

B

rétropropagation

Algorithme qui implémente la descente de gradient dans les réseaux de neurones.

L'entraînement d'un réseau de neurones implique de nombreuses itérations du cycle en deux passes suivant:

1. Lors de la propagation avant, le système traite un lot d'exemples pour générer une ou plusieurs prédictions. Le système compare chaque prédiction à chaque valeur d'étiquette. La différence entre la prédiction et la valeur de l'étiquette correspond à la perte pour cet exemple. Le système agrège les pertes pour tous les exemples afin de calculer la perte totale pour le lot actuel.
2. Lors de la rétropropagation, le système réduit la perte en ajustant les pondérations de tous les neurones de toutes les couches cachées.

Les réseaux de neurones contiennent souvent de nombreux neurones dans de nombreuses couches cachées. Chacun de ces neurones contribue à la perte globale de différentes manières. La rétropropagation détermine s'il faut augmenter ou diminuer les pondérations appliquées à des neurones spécifiques.

Le taux d'apprentissage est un multiplicateur qui contrôle le degré auquel chaque rétrogradation augmente ou diminue chaque pondération. Un taux d'apprentissage élevé augmente ou diminue chaque pondération plus qu'un faible taux d'apprentissage.

En termes de calcul, la rétropropagation met en œuvre le règlement en chaîne du calcul. Autrement dit, la rétropropagation calcule la dérivée partielle de l'erreur pour chaque paramètre.

Il y a quelques années, les professionnels du ML devaient écrire du code pour implémenter la rétropropagation. Les API de ML modernes comme TensorFlow implémentent désormais la rétropropagation pour vous. Ouf !

bagging

Méthode d'entraînement d'un ensemble où chaque modèle composant est entraîné sur un sous-ensemble aléatoire d'exemples d'entraînement échantillonné avec remplacement. Par exemple, une forêt aléatoire est un ensemble d'arbres de décision entraînés à l'aide de bagging.

Le terme bagging est l'abréviation de bootstrap aggrégat.

sac de mots

Représentation des mots d'une expression ou d'un passage, quel que soit leur ordre. Par exemple, un sac de mots représente les trois expressions suivantes de manière identique:

• le chien saute
• saute le chien
• le chien saute le

Chaque mot est mappé à un index dans un vecteur creux, où le vecteur possède un index pour chaque mot du vocabulaire. Par exemple, la phrase the dog jumps est mappée dans un vecteur de caractéristiques avec des valeurs non nulles au niveau des trois index correspondant aux mots the, dog et jumps. La valeur non nulle peut être l'une des suivantes:

• Un 1 pour indiquer la présence d'un mot.
• Nombre d'occurrences d'un mot dans le sac. Par exemple, si l'expression est the maroon dog is a dog with maroon fur, alors maroon et dog seront représentés par la valeur 2, tandis que les autres mots seront représentés par la valeur 1.
• Une autre valeur, telle que le logarithme du nombre d'occurrences d'un mot dans le sac.

Valeur de référence

model utilisé comme point de référence pour comparer les performances d'un autre modèle (généralement un modèle plus complexe). Par exemple, un modèle de régression logistique peut constituer une bonne référence pour un modèle profond.

Pour un problème particulier, la référence aide les développeurs de modèles à quantifier les performances minimales attendues qu'un nouveau modèle doit atteindre pour qu'il soit utile.

lot

Ensemble des exemples utilisé dans une itération d'entraînement. La taille de lot détermine le nombre d'exemples dans un lot.

Pour plus d'informations sur la relation entre un lot et une époque, consultez la section epoch.

inférence par lot

Processus qui consiste à déduire des prédictions sur plusieurs exemples sans étiquette divisé en sous-ensembles plus petits ("lots").

L'inférence par lot peut exploiter les fonctionnalités de parallélisation des puces accélérateurs. En d'autres termes, plusieurs accélérateurs peuvent simultanément déduire des prédictions sur différents lots d'exemples sans étiquette, ce qui augmente considérablement le nombre d'inférences par seconde.

normalisation des lots

Normalisation de l'entrée ou de la sortie des fonctions d'activation dans une couche cachée La normalisation des lots peut offrir les avantages suivants:

• Renforcer la stabilité des réseaux de neurones en les protégeant contre les pondérations des anomalies.
• Activez des taux d'apprentissage plus élevés, ce qui peut accélérer l'entraînement.
• Réduisez le surapprentissage.

taille de lot

Nombre d'exemples dans un lot. Par exemple, si la taille de lot est de 100, le modèle traite 100 exemples par itération.

Voici des stratégies couramment utilisées pour la taille de lot:

• Descente de gradient stochastique (SGD), où la taille de lot est de 1.
• Lot complet, dont la taille de lot correspond au nombre d'exemples dans l'intégralité de l'ensemble d'entraînement. Par exemple, si l'ensemble d'entraînement contient un million d'exemples, la taille de lot est alors d'un million d'exemples. Le traitement par lot complet est généralement une stratégie inefficace.
• mini-lot dans lequel la taille de lot est généralement comprise entre 10 et 1 000. Le mini-lot est généralement la stratégie la plus efficace.

Réseau de neurones bayésien

Réseau de neurones probabiliste qui tient compte de l'incertitude dans les pondérations et les résultats. Un modèle de régression de réseau de neurones standard prédit une valeur scalaire. Par exemple, un modèle standard prédit le prix d'une maison à 853 000. En revanche, un réseau de neurones bayésien prédit une distribution de valeurs. Par exemple, un modèle bayésien prédit le prix d'une maison de 853 000 avec un écart type de 67 200.

Un réseau de neurones bayésien s'appuie sur le théorème de Bayes pour calculer les incertitudes dans les pondérations et les prédictions. Un réseau de neurones bayésien peut être utile lorsqu'il est important de quantifier l'incertitude, par exemple dans les modèles liés aux produits pharmaceutiques. Les réseaux de neurones bayésiens peuvent également empêcher le surapprentissage.

Optimisation bayésienne

Technique de modèle de régression probabiliste, qui permet d'optimiser des fonctions objectifs coûteuses en calcul en optimisant un substitut qui quantifie l'incertitude à l'aide d'une technique d'apprentissage bayésien. Étant donné que l'optimisation bayésienne est elle-même très coûteuse, elle est généralement utilisée pour optimiser des tâches coûteuses à évaluer qui comportent un petit nombre de paramètres, comme la sélection de hyperparamètres.

Équation de Bellman

Dans l'apprentissage par renforcement, l'identité suivante est satisfaite par la fonction Q optimale:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

Les algorithmes d'apprentissage par renforcement appliquent cette identité pour créer Q-learning via la règle de mise à jour suivante:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

Au-delà de l'apprentissage par renforcement, l'équation de Bellman s'applique à la programmation dynamique. Consultez l' article Wikipédia sur l'équation de Bellman.

BERT (Bidirectional Encoder Representations from Transformers)

Architecture de modèle pour la représentation de texte. Un modèle BERT entraîné peut agir dans le cadre d'un modèle plus vaste pour la classification de texte ou d'autres tâches de ML.

BERT présente les caractéristiques suivantes:

• Utilise l'architecture Transformer et repose donc sur l'auto-attention.
• Utilise la partie encodeur de la structure "Transformer". Le rôle de l'encodeur est de produire de bonnes représentations de texte, plutôt que d'effectuer une tâche spécifique telle que la classification.
• est bidirectionnel ;
• Utilise le masquage pour l'entraînement non supervisé.

Voici quelques variantes de BERT:

• ALBERT, acronyme de A Light BERT.
• LaBSE :

Pour une présentation de BERT, consultez la page Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing.

biais (éthique/impartialité)

1. Stéréotypage, préjugé ou favoritisme envers certaines choses, personnes ou groupes par rapport à d'autres. Ces biais peuvent affecter la collecte et l'interprétation des données, la conception d'un système et la façon dont les utilisateurs interagissent avec celui-ci. Les formes de ce type de préjugé comprennent:

• biais d'automatisation
• biais de confirmation
• biais de l'expérimentateur
• biais de représentativité
• biais implicite
• biais d'appartenance
• biais d'homogénéité de l'exogroupe

2. Erreur systématique introduite par une procédure d'échantillonnage ou de création de rapports. Les formes de ce type de préjugé comprennent:

• biais de couverture
• biais de non-réponse
• biais de participation
• biais de fréquence
• biais d'échantillonnage
• biais de sélection

À ne pas confondre avec le biais utilisé dans les modèles de machine learning ou avec le biais de prédiction.

biais (mathématiques) ou terme de biais

Interception ou décalage par rapport à une origine. Le biais est un paramètre des modèles de machine learning. Il est symbolisé par l'un des éléments suivants:

• b
• W₀

Par exemple, b représente le biais dans la formule suivante:

Dans une ligne bidimensionnelle simple, le biais signifie simplement "ordonnée". Par exemple, dans l'illustration suivante, le biais de la ligne est de 2.

Il existe un biais, car tous les modèles ne partent pas de l'origine (0,0). Par exemple, supposons qu'un parc d'attractions coûte 2 € pour entrer et 0,5 € supplémentaire pour chaque heure de séjour d'un client. Par conséquent, un modèle mappant le coût total présente un biais de 2, car le coût le plus bas est de 2 euros.

Il ne faut pas confondre le préjugé avec le biais en matière d'éthique et d'équité ou avec le biais de prédiction.

bidirectionnelle

Terme utilisé pour décrire un système qui évalue le texte qui précède et suit une section de texte cible. En revanche, un système unidirectionnel n'évalue que le texte qui précède une section de texte cible.

Prenons l'exemple d'un modèle de langage masqué qui doit déterminer les probabilités pour le ou les mots soulignés dans la question suivante:

Qu'est-ce que _____ avec vous ?

Un modèle de langage unidirectionnel doit baser ses probabilités uniquement sur le contexte fourni par les mots "Quoi", "est" et "le". En revanche, un modèle de langage bidirectionnel peut également obtenir du contexte en utilisant les mots "avec" et "vous", ce qui peut aider le modèle à générer de meilleures prédictions.

modèle de langage bidirectionnel

Un modèle de langage qui détermine la probabilité qu'un jeton donné soit présent à un emplacement donné dans un extrait de texte en fonction du texte précédent et suivant.

bigramme

Un N-gramme dans lequel N=2.

classification binaire

Type de tâche de classification qui prédit l'une des deux classes mutuellement exclusives:

• la classe positive ;
• Classe négative

Par exemple, les deux modèles de machine learning suivants effectuent chacun une classification binaire:

• Modèle déterminant si les e-mails sont du spam (classe positive) ou du non-spam (classe négative).
• Un modèle qui évalue les symptômes médicaux pour déterminer si une personne est atteinte d'une maladie particulière (la classe positive) ou n'en souffre pas (la classe négative).

À comparer à la classification à classes multiples.

Voir aussi Régression logistique et Seuil de classification.

condition binaire

Dans un arbre de décision, une condition qui n'a que deux résultats possibles, généralement yes ou no. Par exemple, voici une condition binaire:

temperature >= 100

À comparer à la condition non binaire.

binning

Synonyme de binning.

BLEU (Bilingual Evaluation Understudy)

Score compris entre 0,0 et 1,0 inclus, indiquant la qualité d'une traduction entre deux langues humaines (par exemple, entre l'anglais et le russe). Un score BLEU de 1,0 indique une traduction parfaite, tandis qu'un score BLEU de 0,0 indique une traduction mauvaise.

boosting

Technique de machine learning qui combine de manière itérative un ensemble de classificateurs simples et peu précis (appelés classificateurs "faibles") dans un classificateur avec une grande précision (un classificateur "fort") en surpondérant les exemples actuellement mal classés par le modèle.

cadre de délimitation

Dans une image, les coordonnées (x, y) d'un rectangle autour d'une zone d'intérêt, comme le chien dans l'image ci-dessous.

diffusion

Développement de la forme d'un opérande dans une opération mathématique matricielle à des dimensions compatibles pour cette opération. Par exemple, l'algèbre linéaire nécessite que les deux opérandes d'une opération d'addition matricielle aient les mêmes dimensions. Par conséquent, vous ne pouvez pas ajouter une matrice de forme (m, n) à un vecteur de longueur n. Le broadcasting permet d'effectuer cette opération en développant virtuellement le vecteur de longueur n jusqu'à une matrice de forme (m, n) en répliquant les mêmes valeurs dans chaque colonne.

Par exemple, compte tenu des définitions suivantes, l'algèbre linéaire interdit A+B, car A et B ont des dimensions différentes:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

Cependant, le broadcasting permet d'effectuer l'opération A+B en développant virtuellement B en:

 [[2, 2, 2],
  [2, 2, 2]]

Ainsi, A+B est maintenant une opération valide:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

Pour en savoir plus, consultez la description suivante de la diffusion dans NumPy.

le binning

Conversion d'une seule caractéristique en plusieurs caractéristiques binaires appelées buckets ou bins, généralement en fonction d'une plage de valeurs. La caractéristique hachée est généralement une caractéristique continue.

Par exemple, au lieu de représenter la température comme une seule caractéristique continue à virgule flottante, vous pouvez diviser des plages de températures en buckets distincts, tels que:

• Une température inférieure ou égale à 10 degrés Celsius correspond au bucket "froid".
• Une plage de 11 à 24 degrés Celsius correspond à la tranche "tempérée".
• une température supérieure ou égale à 25 degrés Celsius correspond à l'indice "chaude".

Le modèle traitera de manière identique chaque valeur d'un même bucket. Par exemple, les valeurs 13 et 22 se trouvent toutes deux dans le bucket tempéré. Le modèle traite donc les deux valeurs de manière identique.

C

niveau de calibration

Ajustement post-prédiction, généralement pour tenir compte du biais de prédiction. Les prédictions et les probabilités ajustées doivent correspondre à la distribution d'un ensemble observé d'étiquettes.

génération de candidats

Ensemble initial de recommandations choisi par un système de recommandation. Prenons l'exemple d'une librairie proposant 100 000 titres. La phase de génération de candidats crée une liste beaucoup plus petite de livres adaptés à un utilisateur particulier, disons 500. Mais même 500 livres, c'est bien trop à recommander à un utilisateur. Les phases ultérieures et plus coûteuses d'un système de recommandation (telles que l'attribution de scores et le reclassement) réduisent ces 500 recommandations à un ensemble de recommandations beaucoup plus petit et plus utile.

échantillonnage de candidats

Optimisation lors de l'entraînement, qui calcule une probabilité pour toutes les étiquettes positives, en utilisant, par exemple, softmax, mais uniquement pour un échantillon aléatoire d'étiquettes négatives. Par exemple, pour un exemple étiqueté beagle et dog, l'échantillonnage de candidats calcule les probabilités prédites et les termes de perte correspondants pour:

• beagle
• chien
• un sous-ensemble aléatoire des classes négatives restantes (par exemple, cat, lollipop, fence).

L'idée est que les classes négatives peuvent apprendre à partir d'un renforcement négatif moins fréquent, tant que les classes positives obtiennent toujours un renforcement positif approprié, ce qui est effectivement observé empiriquement.

L'échantillonnage de candidats est plus efficace en termes de calcul que les algorithmes d'entraînement qui calculent les prédictions pour toutes les classes négatives, en particulier lorsque le nombre de classes négatives est très élevé.

données catégorielles

Caractéristiques ayant un ensemble spécifique de valeurs possibles. Prenons l'exemple d'une caractéristique catégorielle nommée traffic-light-state, qui ne peut avoir que l'une des trois valeurs possibles suivantes:

• red
• yellow
• green

En représentant traffic-light-state comme une caractéristique catégorielle, un modèle peut apprendre les différents impacts de red, green et yellow sur le comportement du conducteur.

Les caractéristiques catégorielles sont parfois appelées caractéristiques discrètes.

À comparer aux données numériques.

modèle de langage causal

Synonyme de modèle de langage unidirectionnel.

Reportez-vous à la section Modèle de langage bidirectionnel pour comparer les différentes approches directionnelles de modélisation du langage.

centroid

Centre d'un cluster, tel que déterminé par un algorithme k-moyennes ou k-médiane. Par exemple, si k est égal à 3, alors l'algorithme k-moyennes ou k-médiane trouve 3 centroïdes.

clustering basé sur centroïde

Catégorie d'algorithmes de clustering qui organise les données en clusters non hiérarchiques. k-moyennes est l'algorithme de clustering basé sur centroïde le plus utilisé.

À comparer aux algorithmes de clustering hiérarchique.

requêtes en chaîne de pensée

Technique d'ingénierie des requêtes qui encourage un grand modèle de langage (LLM) à expliquer son raisonnement, étape par étape. Prenons l'exemple de l'invite suivante, en prêtant une attention particulière à la deuxième phrase:

Combien de forces g un conducteur devra-t-il éprouver dans une voiture qui passe de 0 à 100 km/h en 7 secondes ? Dans la réponse, montrez tous les calculs pertinents.

Il est probable que la réponse du LLM:

• Montrez une séquence de formules physiques en indiquant les valeurs 0, 60 et 7 aux endroits appropriés.
• Expliquez pourquoi il a choisi ces formules et ce que signifient les différentes variables.

Les requêtes de chaîne de pensée obligent le LLM à effectuer tous les calculs, ce qui peut conduire à une réponse plus correcte. En outre, les invites de chaîne de pensée permettent à l'utilisateur d'examiner les étapes du LLM pour déterminer si la réponse est pertinente ou non.

chat

Contenu d'un dialogue avec un système de ML, généralement un grand modèle de langage. L'interaction précédente dans une discussion (ce que vous avez saisi et la façon dont le grand modèle de langage a répondu) devient le contexte des parties suivantes du chat.

Un chatbot est une application d'un grand modèle de langage.

point de contrôle

Données qui capturent l'état des paramètres d'un modèle à une itération d'entraînement particulière. Les points de contrôle permettent d'exporter les pondérations du modèle ou d'effectuer un entraînement sur plusieurs sessions. Les points de contrôle permettent également à l'entraînement de se poursuivre après les erreurs (par exemple, préemption de tâches).

Lorsque vous effectuez un réglage, le point de départ de l'entraînement du nouveau modèle est un point de contrôle spécifique du modèle pré-entraîné.

classe

Catégorie à laquelle un libellé peut appartenir. Exemple :

• Dans un modèle de classification binaire qui détecte le spam, les deux classes peuvent être spam et non-spam.
• Dans un modèle de classification à classes multiples qui identifie des races de chiens, les classes peuvent être caniche, beagle, carlin, etc.

Un modèle de classification prédit une classe. En revanche, un modèle de régression prédit un nombre plutôt qu'une classe.

modèle de classification

Un model dont la prédiction est une model. Voici des exemples de tous les modèles de classification:

• Un modèle qui prédit la langue d'une phrase d'entrée (le français ? Espagnol ? italien ?).
• Un modèle qui prédit les espèces d'arbres Oak? Baobab?).
• Modèle qui prédit la classe positive ou négative pour une pathologie particulière.

En revanche, les modèles de régression prédisent des nombres plutôt que des classes.

Voici deux types courants de modèles de classification:

• classification binaire
• classification à classes multiples

seuil de classification

Dans une classification binaire, nombre compris entre 0 et 1 qui convertit la sortie brute d'un modèle de régression logistique en prédiction de la classe positive ou de la classe négative. Notez que le seuil de classification est une valeur choisie par un humain, et non une valeur choisie lors de l'entraînement du modèle.

Un modèle de régression logistique génère une valeur brute comprise entre 0 et 1. Alors :

• Si cette valeur brute est supérieure au seuil de classification, la classe positive est prédite.
• Si cette valeur brute est inférieure au seuil de classification, la classe négative est prédite.

Par exemple, supposons que le seuil de classification soit de 0,8. Si la valeur brute est de 0,9, le modèle prédit la classe positive. Si la valeur brute est de 0,7, le modèle prédit la classe négative.

Le choix du seuil de classification a une forte influence sur le nombre de faux positifs et de faux négatifs.

ensemble de données avec déséquilibre des classes

Ensemble de données pour un problème de classification dans lequel le nombre total d'étiquettes de chaque classe diffère considérablement. Prenons l'exemple d'un ensemble de données de classification binaire dont les deux étiquettes sont divisées comme suit:

• 1 000 000 étiquettes négatives
• 10 étiquettes positives

Le ratio entre les étiquettes négatives et positives est de 100 000 pour 1. Il s'agit donc d'un ensemble de données avec déséquilibre des classes.

En revanche, l'ensemble de données suivant n'est pas avec un déséquilibre des classes, car le ratio entre les étiquettes négatives et les étiquettes positives est relativement proche de 1:

• 517 étiquettes à exclure
• 483 étiquettes positives

Les ensembles de données à classes multiples peuvent également présenter un déséquilibre entre les classes. Par exemple, l'ensemble de données de classification à classes multiples suivant présente également un déséquilibre des classes, car une étiquette contient beaucoup plus d'exemples que les deux autres:

• 1 000 000 étiquettes avec la classe "green"
• 200 étiquettes avec la classe "violet"
• 350 libellés avec la classe "orange"

Voir aussi entropie, classe majoritaire et classe minoritaire.

rognage

Technique de gestion des anomalies en effectuant l'une des opérations suivantes ou les deux:

• Réduire les valeurs de caractéristiques qui sont supérieures à un seuil maximal jusqu'à ce seuil maximal.
• Augmenter les valeurs des caractéristiques inférieures à un seuil minimal jusqu'à ce seuil minimal.

Par exemple, supposons que moins de 0,5% des valeurs d'une caractéristique particulière se situent en dehors de la plage 40-60. Dans ce cas, vous pouvez procéder comme suit:

• Rogner toutes les valeurs supérieures à 60 (seuil maximal) pour qu'elles soient exactement égales à 60.
• Rogner toutes les valeurs inférieures à 40 (seuil minimal) pour obtenir exactement 40.

Les anomalies peuvent endommager les modèles, entraînant parfois le dépassement des pondérations pendant l'entraînement. Certaines valeurs aberrantes peuvent également gâcher considérablement des métriques telles que la précision. Le rognage est une technique courante pour limiter les dommages.

Le bornement de gradient force les valeurs de gradient dans une plage désignée pendant l'entraînement.

Cloud TPU

Accélérateur matériel spécialisé conçu pour accélérer les charges de travail de machine learning sur Google Cloud.

clustering

Regroupement d'exemples, en particulier lors de l'apprentissage non supervisé Une fois tous les exemples regroupés, un humain peut éventuellement donner un sens à chaque cluster.

Il existe de nombreux algorithmes de clustering. Par exemple, l'algorithme k-moyennes regroupe les exemples en fonction de leur proximité avec un centroïde, comme dans le schéma suivant:

Un chercheur humain pourrait ensuite examiner les groupes et, par exemple, étiqueter le groupe 1 en tant qu'"arbres nains" et le groupe 2 en tant qu'"arbres de taille réelle".

Prenons un autre exemple. Prenons l'exemple d'un algorithme de clustering basé sur la distance d'un exemple par rapport à un point central, illustré comme suit:

coadaptation

Lorsque les neurones prédisent des schémas dans les données d'entraînement en s'appuyant presque exclusivement sur les sorties d'autres neurones spécifiques, au lieu de s'appuyer sur le comportement du réseau dans son ensemble. Lorsque les modèles à l'origine de la coadaptation ne sont pas présents dans les données de validation, la coadaptation entraîne un surapprentissage. La régularisation par abandon réduit la coadaptation, car l'abandon empêche les neurones de s'appuyer uniquement sur d'autres neurones spécifiques.

filtrage collaboratif

Effectuer des prédictions sur les centres d'intérêt d'un utilisateur en fonction de ceux de nombreux autres utilisateurs Le filtrage collaboratif est souvent utilisé dans les systèmes de recommandation.

dérive conceptuelle

Changement dans la relation entre les caractéristiques et l'étiquette. Au fil du temps, la dérive conceptuelle réduit la qualité d'un modèle.

Au cours de l'entraînement, le modèle apprend la relation entre les caractéristiques et leurs étiquettes dans l'ensemble d'entraînement. Si les étiquettes de l'ensemble d'entraînement sont de bons proxys pour le monde réel, le modèle devrait effectuer de bonnes prédictions dans le monde réel. Toutefois, en raison d'une dérive conceptuelle, les prédictions du modèle ont tendance à se dégrader avec le temps.

Prenons l'exemple d'un modèle de classification binaire qui prédit si un certain modèle de voiture est "économe en carburant". Autrement dit, les caractéristiques peuvent être les suivantes:

• poids de la voiture
• compression des moteurs
• type de transmission

tandis que l'étiquette est:

• économes en carburant
• pas économe en carburant

Cependant, le concept de "voiture économe en carburant" ne cesse d'évoluer. En 2024, un modèle de voiture portant la mention Consommation en carburant en 1994 serait très certainement non économe en carburant. Un modèle présentant une dérive conceptuelle a tendance à produire des prédictions de moins en moins utiles au fil du temps.

Comparez et opposez la non-stationarité.

état

Dans un arbre de décision, tout nœud qui évalue une expression. Par exemple, la partie suivante d'un arbre de décision contient deux conditions:

Une condition est également appelée un fractionnement ou un test.

Contraste de la condition avec la condition leaf.

Voir également :

• condition binaire
• condition non binaire.
• condition-alignée sur l'axe
• oblique-condition

discussion

Synonyme d'hallucination.

Confabulation est probablement un terme plus précis d'un point de vue technique que l'hallucination. Cependant, l'hallucination est devenue populaire en premier.

configuration

Processus d'attribution des valeurs de propriété initiales utilisées pour entraîner un modèle, y compris:

• les couches de composition du modèle ;
• l'emplacement des données ;
• hyperparamètres tels que :
  • taux d'apprentissage
  • itérations
  • optimiseur
  • fonction de perte

Dans les projets de machine learning, la configuration peut être effectuée via un fichier de configuration spécial ou à l'aide de bibliothèques de configuration telles que les suivantes:

• HParam
• Épic
• Violon

biais de confirmation

Tendance à rechercher, à interpréter, à favoriser et à rappeler des informations d'une manière qui confirme ses croyances ou hypothèses préexistantes. Les développeurs en machine learning peuvent collecter ou étiqueter par inadvertance des données d'une manière qui influe sur un résultat étayant leurs croyances existantes. Le biais de confirmation est une forme de biais implicite.

Le biais de l'expérimentateur est une forme de biais de confirmation dans lequel l'expérimentateur continue d'entraîner des modèles jusqu'à ce qu'une hypothèse préexistante soit confirmée.

Matrice de confusion

Table NxN qui résume le nombre de prédictions correctes et incorrectes effectuées par un modèle de classification. Prenons l'exemple de la matrice de confusion suivante pour un modèle de classification binaire:

La matrice de confusion précédente montre les éléments suivants:

• Sur les 19 prédictions pour lesquelles la vérité terrain était "Tumeur", le modèle en a classé 18 correctement et 1 de manière incorrecte.
• Sur les 458 prédictions pour lesquelles la vérité terrain n'était pas une tumeur, le modèle en a classé 452 correctement et 6 de manière incorrecte.

La matrice de confusion pour un problème de classification à classes multiples peut vous aider à identifier des schémas d'erreurs. Prenons l'exemple de la matrice de confusion suivante pour un modèle de classification multiclasse à trois classes qui classe trois types d'iris différents (Virginica, Versicolor et Setosa). Lorsque la vérité terrain était Virginica, la matrice de confusion montre que le modèle était beaucoup plus susceptible de prédire à tort Versicolor que Setosa:

Autre exemple, une matrice de confusion peut révéler qu'un modèle entraîné à reconnaître des chiffres manuscrits a tendance à prédire à tort 9 au lieu de 4, ou à prédire à tort 1 au lieu de 7.

Les matrices de confusion contiennent suffisamment d'informations pour calculer diverses métriques de performances, y compris la précision et le rappel.

analyse des circonscriptions

Diviser une phrase en structures grammaticales plus petites ("composants"). Une partie ultérieure du système de ML, telle qu'un modèle de compréhension du langage naturel, peut analyser les composants plus facilement que la phrase d'origine. Prenons l'exemple de la phrase suivante:

Mon ami a adopté deux chats.

L'analyseur de circonscription peut diviser cette phrase en deux composants:

• Mon ami est un syntagme nominal.
• adopted two cats est un syntagme verbal.

Ces composants peuvent être subdivisés en composants plus petits. Par exemple, l'expression verbale

a adopté deux chats

peut être subdivisé en:

• adopted est un verbe.
• deux chats est un autre syntagme nominal.

représentation vectorielle continue du langage contextualisé

Intégration qui permet de "comprendre" des mots et des expressions d'une manière que les locuteurs natifs peuvent faire. Les représentations vectorielles continues d'un langage contextualisé peuvent comprendre une syntaxe, une sémantique et un contexte complexes.

Prenons l'exemple de représentations vectorielles continues du mot anglais cow. Les représentations vectorielles continues plus anciennes, telles que word2vec, peuvent représenter des mots anglais de sorte que la distance dans l'espace de représentation vectorielle entre vache et bull est semblable à la distance entre ewe (mouton) et ram (mâle) ou femelle à mâle. Les représentations vectorielles continues contextuelles peuvent aller encore plus loin en reconnaissant que les anglophones utilisent parfois le mot cow pour désigner la vache ou le taureau de manière informelle.

fenêtre de contexte

Nombre de jetons qu'un modèle peut traiter dans une requête donnée. Plus la fenêtre de contexte est grande, plus le modèle peut utiliser d'informations pour fournir des réponses cohérentes à la requête.

fonctionnalité continue

Caractéristique à virgule flottante avec une plage infinie de valeurs possibles, telles que la température ou la pondération.

À comparer à la caractéristique discrète.

échantillonnage de commodité

Utiliser un ensemble de données non collecté de manière scientifique afin d'exécuter des tests rapides. Par la suite, il est essentiel de passer à un ensemble de données scientifiquement collecté.

convergence

État atteint lorsque les valeurs de perte changent très peu, voire pas du tout, à chaque itération. Par exemple, la courbe de perte suivante suggère une convergence à environ 700 itérations:

Un modèle converge lorsqu'un entraînement supplémentaire ne l'améliore pas.

Dans le deep learning, les valeurs de perte restent parfois constantes, voire presque pendant de nombreuses itérations, avant de finir par descendre. Pendant une longue période de valeurs de perte constantes, vous pouvez temporairement avoir une fausse impression de convergence.

Voir aussi arrêt prématuré.

fonction convexe

Fonction dans laquelle la région au-dessus du graphique est un ensemble convexe. La fonction convexe prototypique a une forme semblable à la lettre U. Par exemple, les fonctions suivantes sont toutes des fonctions convexes:

En revanche, la fonction suivante n'est pas convexe. Notez que la région au-dessus du graphique n'est pas un ensemble convexe:

Une fonction strictement convexe possède exactement un minimum local, qui est également le minimum global. Les fonctions classiques en U sont des fonctions strictement convexes. Cependant, certaines fonctions convexes (par exemple, les lignes droites) ne sont pas en U.

optimisation convexe

Processus consistant à utiliser des techniques mathématiques telles que la descente de gradient pour trouver le minimum d'une fonction convexe. De nombreuses recherches dans le domaine du machine learning se sont concentrées sur la formulation de divers problèmes sous forme de problèmes d'optimisation convexes afin de les résoudre plus efficacement.

Pour des informations détaillées, voir le livre de Stephen Boyd et Lieven Vandenberghe, Convex Optimization (en anglais).

ensemble convexe

Sous-ensemble de l'espace euclidien tel qu'une ligne tracée entre deux points quelconques du sous-ensemble reste complètement dans le sous-ensemble. Par exemple, les deux formes suivantes sont des ensembles convexes:

En revanche, les deux formes suivantes ne sont pas des ensembles convexes:

Convolution

En mathématiques, d'un point de vue informel, il s'agit d'un mélange de deux fonctions. Dans le machine learning, une convolution mélange le filtre convolutif et la matrice d'entrée pour entraîner les pondérations.

En machine learning, le terme "convolution" est souvent un moyen abrégée de désigner une opération convolutive ou une couche convolutive.

Sans convolution, un algorithme de machine learning devrait apprendre une pondération distincte pour chaque cellule d'un grand Tensor. Par exemple, un algorithme de machine learning entraîné sur des images de 2 000 x 2 000 pixels serait contraint de trouver 4 millions de pondérations distinctes. Grâce aux convolutions, un algorithme de machine learning ne doit trouver des pondérations que pour chaque cellule du filtre convolutif, ce qui réduit considérablement la mémoire nécessaire à l'entraînement du modèle. Lorsque le filtre convolutif est appliqué, il est simplement répliqué entre les cellules, de sorte que chacune d'entre elles est multipliée par le filtre.

filtre convolutif

L'un des deux acteurs d'une opération convolutive. (L'autre acteur est une tranche d'une matrice d'entrée.) Un filtre convolutif est une matrice de même rang que la matrice d'entrée, mais de forme plus petite. Par exemple, pour une matrice d'entrée de 28 x 28, le filtre peut être n'importe quelle matrice 2D de taille inférieure à 28 x 28.

Dans la manipulation photographique, toutes les cellules d'un filtre convolutif sont généralement définies sur un motif constant de 1 et de zéros. En machine learning, les filtres convolutifs sont généralement ensemencés avec des nombres aléatoires, puis le réseau entraîne les valeurs idéales.

couche convolutive

Couche d'un réseau de neurones profond dans laquelle un filtre convolutif transmet une matrice d'entrée. Prenons l'exemple du filtre convolutif 3 x 3 suivant:

L'animation suivante montre une couche convolutive composée de neuf opérations convolutives impliquant la matrice d'entrée 5x5. Notez que chaque opération convolutive fonctionne sur une tranche 3x3 différente de la matrice d'entrée. La matrice 3x3 obtenue (à droite) comprend les résultats des neuf opérations convolutives:

réseau de neurones convolutif

Réseau de neurones dans lequel au moins une couche est une couche convolutive. Un réseau de neurones convolutif typique consiste en une combinaison des couches suivantes:

• couches convolutives
• pooling de couches ;
• couches denses

Les réseaux de neurones convolutifs ont rencontré un grand succès pour certains types de problèmes, tels que la reconnaissance d'image.

opération convolutive

L'opération mathématique en deux étapes suivante:

1. Multiplication élément par élément du filtre convolutif et d'une tranche d'une matrice d'entrée. (La tranche de la matrice d'entrée a le même rang et la même taille que le filtre convolutif.)
2. Somme de toutes les valeurs de la matrice de produits obtenue.

Prenons l'exemple de la matrice d'entrée 5 x 5 suivante:

Imaginons maintenant le filtre convolutif 2 x 2 suivant:

Chaque opération convolutive implique une seule tranche 2 x 2 de la matrice d'entrée. Par exemple, supposons que nous utilisons la tranche 2x2 en haut à gauche de la matrice d'entrée. L'opération de convolution sur cette tranche se présente comme suit:

Une couche convolutive consiste en une série d'opérations convolutives, chacune agissant sur une tranche différente de la matrice d'entrée.

cost

Synonyme de perte.

co-formation

L'approche d'apprentissage semi-supervisé est particulièrement utile lorsque toutes les conditions suivantes sont remplies:

• Le ratio d'exemples sans étiquette et d'exemples étiquetés dans l'ensemble de données est élevé.
• Il s'agit d'un problème de classification (binaire ou à classes multiples).
• L'ensemble de données contient deux ensembles différents de caractéristiques prédictives, qui sont indépendantes l'une de l'autre et complémentaires.

Le co-entraînement amplifie essentiellement les signaux indépendants pour en faire un signal plus fort. Prenons l'exemple d'un modèle de classification qui classe les voitures d'occasion individuelles dans la catégorie Bon ou Mauvais. Un ensemble de caractéristiques prédictives peut se concentrer sur des caractéristiques agrégées telles que l'année, la marque et le modèle de la voiture. Un autre ensemble de caractéristiques prédictives peut se concentrer sur les données de conduite du propriétaire précédent et l'historique d'entretien de la voiture.

L'article phare sur le co-entraînement est Combiner des données étiquetées et non étiquetées avec le co-entraînement, par Blum et Mitchell.

équité contrefactuelle

Métrique d'équité qui vérifie si un classificateur produit le même résultat pour un individu que pour un autre individu identique au premier, sauf en ce qui concerne un ou plusieurs attributs sensibles. Évaluer l'équité contrefactuelle d'un classificateur est une méthode permettant de mettre en évidence les sources potentielles de biais dans un modèle.

Pour une discussion plus détaillée sur l'équité contrefactuelle, consultez l'article When Worlds Collide: Integrating Différents Counterfactual Assumptions in Fairness.

biais de couverture

Voir biais de sélection.

pépinière d'accident

Phrase ou expression au sens ambigu. Les phrases équivoques posent un problème majeur pour la compréhension du langage naturel. Par exemple, le titre Red Tape Holds Up Skyscraper est une accroche, car un modèle NLU peut l'interpréter littéralement ou figurativement.

critique

Synonyme de Deep Q-Network.

entropie croisée

Généralisation de la perte logistique aux problèmes de classification à classes multiples. L'entropie croisée quantifie la différence entre deux distributions de probabilité. Voir aussi perplexité.

validation croisée

Mécanisme permettant d'estimer la capacité d'un model à se généraliser à de nouvelles données en le testant sur un ou plusieurs sous-ensembles de données qui ne se chevauchent pas et sont exclus de l'model.

fonction de distribution cumulée (CDF)

Fonction qui définit la fréquence des échantillons inférieure ou égale à une valeur cible. Prenons l'exemple d'une distribution normale des valeurs continues. Une CDF vous indique qu'environ 50% des échantillons doivent être inférieurs ou égaux à la moyenne et qu'environ 84% des échantillons doivent être inférieurs ou égaux à un écart type au-dessus de la moyenne.

D

analyse de données

Comprendre les données en considérant des échantillons, des mesures et des visualisations. L'analyse de données peut être particulièrement utile à la réception d'un ensemble de données, avant de créer le premier model. Elle est également essentielle pour comprendre les tests et déboguer les problèmes du système.

augmentation des données

Augmentation artificielle de la portée et du nombre d'exemples d'entraînement en transformant les exemples existants pour en créer d'autres. Par exemple, supposons que les images constituent l'une de vos caractéristiques, mais que votre ensemble de données ne contient pas suffisamment d'exemples d'images pour que le modèle puisse apprendre des associations utiles. Dans l'idéal, vous devez ajouter suffisamment d'images étiquetées à votre ensemble de données pour permettre l'entraînement correct de votre modèle. Si cela n'est pas possible, l'augmentation des données peut faire pivoter, étirer et refléter chaque image pour produire de nombreuses variantes de l'image d'origine, ce qui peut générer suffisamment de données étiquetées pour permettre un entraînement optimal.

DataFrame

Type de données pandas populaire, permettant de représenter des ensembles de données en mémoire.

Un DataFrame est analogue à un tableau ou à une feuille de calcul. Chaque colonne d'un DataFrame possède un nom (un en-tête) et chaque ligne est identifiée par un numéro unique.

Chaque colonne d'un DataFrame est structurée comme un tableau 2D, à la différence que chaque colonne peut se voir attribuer son propre type de données.

Consultez également la page de référence officielle de pandas.DataFrame.

parallélisme des données

Méthode de scaling d'entraînement ou d'inférence, qui réplique l'intégralité d'un modèle sur plusieurs appareils, puis transmet un sous-ensemble des données d'entrée à chaque appareil. Le parallélisme des données peut permettre l'entraînement et l'inférence sur de très grandes tailles de lot. Toutefois, le parallélisme des données nécessite que le modèle soit suffisamment petit pour s'adapter à tous les appareils.

Le parallélisme des données accélère généralement l'entraînement et l'inférence.

Voir aussi parallélisme des modèles.

ensemble de données

Ensemble de données brutes, généralement (mais pas exclusivement) organisées dans l'un des formats suivants:

• une feuille de calcul
• Un fichier au format CSV (valeurs séparées par des virgules)

API Dataset (tf.data)

API TensorFlow de haut niveau permettant de lire des données et de les transformer dans un format requis par un algorithme de machine learning. Un objet tf.data.Dataset représente une séquence d'éléments, dans laquelle chaque élément contient un ou plusieurs Tensors. Un objet tf.data.Iterator permet d'accéder aux éléments d'un Dataset.

Pour en savoir plus sur l'API Dataset, consultez tf.data: Créer des pipelines d'entrée TensorFlow dans le Guide du programmeur TensorFlow.

frontière de décision

Séparateur entre les classes apprises par un modèle dans une classe binaire ou des problèmes de classification à classes multiples. Par exemple, dans l'image suivante qui représente un problème de classification binaire, la frontière de décision est la frontière entre la classe orange et la classe bleue:

Forêt de décision

Modèle créé à partir de plusieurs arbres de décision Une forêt de décision effectue une prédiction en agrégeant les prédictions de ses arbres de décision. Les forêts aléatoires et les arbres à boosting de gradient sont des types courants de forêts de décision.

seuil de décision

Synonyme de seuil de classification.

arbre de décision

Modèle d'apprentissage supervisé composé d'un ensemble de conditions et de feuilles organisées de manière hiérarchique. Voici un exemple d'arbre de décision:

décodeur

En général, tout système de ML qui convertit une représentation traitée, dense ou interne en une représentation plus brute, plus creuses ou externe.

Les décodeurs font souvent partie d'un modèle plus vaste, où ils sont fréquemment associés à un encodeur.

Dans les tâches séquence à séquence, un décodeur commence par l'état interne généré par l'encodeur pour prédire la séquence suivante.

Reportez-vous à la section Transformateur pour obtenir la définition d'un décodeur dans l'architecture Transformer.

modèle deep learning

Un réseau de neurones contenant plusieurs couches cachées.

Un modèle profond est également appelé réseau de neurones profond.

À comparer au modèle large.

de réseau de neurones profond

Synonyme de modèle profond.

Deep Q-Network (DQN)

Dans le Q-learning, un réseau de neurones profond qui prédit les fonctions Q.

Critic est l'équivalent de Deep Q-Network.

parité démographique

Métrique d'équité qui est satisfaite si les résultats de la classification d'un modèle ne dépendent pas d'un attribut sensible donné.

Par exemple, si les Lilliputiens et les Brobdingnagiens s'inscrivent à l'Université de Glubbdubdrib, la parité démographique est atteinte si le pourcentage de Lilliputiens admis est identique au pourcentage de Brobdingnagiens admis, qu'un groupe soit en moyenne plus qualifié que l'autre.

À comparer aux cotes égales et à l'égalité des chances, qui permettent aux résultats agrégés de dépendre d'attributs sensibles, mais ne permettent pas aux résultats de classification de certaines étiquettes de vérité terrain spécifiées de dépendre d'attributs sensibles. Pour une visualisation présentant les compromis à faire lors de l'optimisation de la parité démographique, consultez l'article Attaque la discrimination avec un machine learning plus intelligent.

suppression du bruit

Une approche courante de l'apprentissage auto-supervisé, dans laquelle:

1. Du bruit est ajouté artificiellement à l'ensemble de données.
2. Le model tente de supprimer le bruit.

La suppression du bruit permet d'apprendre à partir d'exemples sans étiquette. L'ensemble de données d'origine sert de cible ou de libellé et les données comportant du bruit en tant qu'entrée.

Certains modèles de langage masqués utilisent la suppression du bruit comme suit:

1. Du bruit est ajouté artificiellement à une phrase sans étiquette en masquant certains jetons.
2. Le modèle essaie de prédire les jetons d'origine.

caractéristique dense

Caractéristique dans laquelle la plupart ou la totalité des valeurs sont différentes de zéro. Il s'agit généralement d'un Tensor de valeurs à virgule flottante. Par exemple, le Tensor à 10 éléments suivant est dense, car neuf de ses valeurs sont différentes de zéro:

À comparer à la caractéristique creuse.

couche dense

Synonyme de couche entièrement connectée.

profondeur

Somme des éléments suivants dans un réseau de neurones:

• le nombre de couches cachées ;
• le nombre de couches de sortie, qui est généralement de 1
• le nombre de couches d'intégration ;

Par exemple, un réseau de neurones avec cinq couches cachées et une couche de sortie a une profondeur de 6.

Notez que la couche d'entrée n'influence pas la profondeur.

Réseau de neurones convolutif séparable en profondeur (sepCNN)

Architecture de réseau de neurones convolutif basée sur Inception, mais dans laquelle les modules Inception sont remplacés par des convolutions séparables en profondeur. Également appelé Xception.

Une convolution séparable en profondeur (également appelée convolution séparable) transforme une convolution 3D standard en deux opérations de convolution distinctes plus efficaces en termes de calcul: une convolution de profondeur, avec une profondeur de 1 (n x n x 1), puis une convolution ponctuelle, avec une longueur et une largeur de 1 x 1 (1 n ).

Pour en savoir plus, consultez l'article Xception: Deep Learning with Depthwise Separable Convolutions (Xception : deep learning avec des convolutions séparables par profondeur).

étiquette dérivée

Synonyme d'étiquette de proxy.

appareil

Terme surchargé avec les deux définitions suivantes possibles:

1. Catégorie de matériel pouvant exécuter une session TensorFlow, y compris les processeurs, les GPU et les TPU.
2. Lors de l'entraînement d'un modèle de ML sur des puces accélérateurs (GPU ou TPU), la partie du système qui manipule réellement les Tensors et les représentations vectorielles continues. L'appareil s'exécute sur des puces d'accélération. En revanche, l'hôte s'exécute généralement sur un processeur.

confidentialité différentielle

Dans le machine learning, approche d'anonymisation visant à protéger toutes les données sensibles (par exemple, les informations personnelles d'une personne) incluses dans l'ensemble d'entraînement d'un modèle contre l'exposition. Cette approche garantit que le model n'apprend pas beaucoup sur un individu spécifique ni ne s'en souviendra. Pour ce faire, un échantillonnage et l'ajout de bruit pendant l'entraînement du modèle permettent de masquer les points de données individuels, ce qui réduit le risque d'exposer des données d'entraînement sensibles.

La confidentialité différentielle est également utilisée en dehors du machine learning. Par exemple, les data scientists utilisent parfois la confidentialité différentielle pour protéger la confidentialité individuelle lorsqu'ils calculent des statistiques d'utilisation de produits pour différentes données démographiques.

réduction des dimensions

Diminution du nombre de dimensions utilisées pour représenter une caractéristique particulière dans un vecteur de caractéristiques, généralement par conversion en un vecteur de représentation vectorielle continue.

dimensions

Terme complexe ayant l'une des définitions suivantes:

• Nombre de niveaux de coordonnées dans un Tensor. Exemple :

  • Un scalaire a zéro dimension ; par exemple, ["Hello"].
  • Un vecteur a une dimension ; par exemple, [3, 5, 7, 11].
  • Une matrice comporte deux dimensions ; par exemple, [[2, 4, 18], [5, 7, 14]].

  Vous pouvez spécifier de manière unique une cellule particulière dans un vecteur à une dimension avec une coordonnée ; vous avez besoin de deux coordonnées pour spécifier de manière unique une cellule particulière dans une matrice à deux dimensions.

• Nombre d'entrées dans un vecteur de caractéristiques.

• Nombre d'éléments dans une couche de représentation vectorielle continue.

requête directe

Synonyme de requête zero-shot.

caractéristique discrète

Caractéristique avec un ensemble limité de valeurs possibles. Par exemple, une caractéristique dont les valeurs peuvent être uniquement animal, légume ou minéral est une caractéristique discrète (ou catégorielle).

À comparer à la caractéristique continue.

modèle discriminatif

model qui prédit les model à partir d'un ensemble d'une ou plusieurs model. Plus formellement, les modèles discriminatifs définissent la probabilité conditionnelle d'un résultat en fonction des caractéristiques et des pondérations. Autrement dit:

p(output | features, weights)

Par exemple, un modèle qui prédit si un e-mail est un spam à partir de caractéristiques et de pondérations est un modèle discriminatif.

La grande majorité des modèles d'apprentissage supervisé, y compris les modèles de classification et de régression, sont des modèles discriminatifs.

À comparer au modèle génératif.

discriminateur

Système qui détermine si les exemples sont réels ou faux.

Il s'agit également du sous-système au sein d'un réseau antagoniste génératif qui détermine si les exemples créés par le générateur sont réels ou faux.

impact disparate

Prendre des décisions concernant les personnes qui ont un impact disproportionné sur différents sous-groupes de population. Il s'agit généralement de situations dans lesquelles un processus de prise de décision algorithmique nuit ou profite davantage à certains sous-groupes que d'autres.

Par exemple, supposons qu'un algorithme qui détermine l'éligibilité d'un Lilliputien à un prêt immobilier miniature est plus susceptible de le classer comme "inéligible" si son adresse postale contient un certain code postal. Si les lilliputiens big-Endian sont plus susceptibles d'avoir des adresses postales avec ce code postal que les Lilliputians de Little-Endian, cet algorithme peut entraîner un impact disparate.

À comparer au traitement disparate, qui se concentre sur les disparités qui se produisent lorsque les caractéristiques de sous-groupe sont des entrées explicites d'un processus de prise de décision basé sur des algorithmes.

traitement disparate

Prendre en compte les attributs sensibles des sujets dans un processus de prise de décision basé sur un algorithme, de sorte que différents sous-groupes de personnes soient traités différemment

Prenons l'exemple d'un algorithme qui détermine l'éligibilité des Lilliputiens à un prêt immobilier miniature en fonction des données qu'ils fournissent dans leur demande de prêt. Si l'algorithme utilise l'affiliation d'un lilliputien en tant qu'entrée de type Big-Endian ou Little-Endian, il applique un traitement disparate selon cette dimension.

À comparer à l'impact disparate, qui se concentre sur les disparités dans l'impact sociétal des décisions algorithmiques sur les sous-groupes, que ces sous-groupes soient ou non des entrées du modèle.

distillation

Processus consistant à réduire la taille d'un model (appelé model) pour en faire un modèle plus petit (model) qui émule les prédictions du modèle d'origine le plus fidèlement possible. La distillation est utile, car le plus petit modèle présente deux avantages clés par rapport au modèle plus grand (l'enseignant):

• Durée d'inférence plus rapide
• Réduction de la consommation de mémoire et d'énergie

Toutefois, les prédictions de l'élève ne sont généralement pas aussi bonnes que celles de l'enseignant.

La distillation entraîne le modèle élève à minimiser une fonction de perte en fonction de la différence entre les sorties des prédictions des modèles élève et enseignant.

Indiquer les points communs et les différences entre la distillation et les termes suivants:

• optimisation
• apprentissage basé sur des requêtes

distribution

Fréquence et plage des différentes valeurs pour une caractéristique ou un étiquette donnée. Une distribution capture la probabilité d'une valeur particulière.

L'image suivante montre des histogrammes de deux distributions différentes:

• À gauche, une loi de puissance répartit la richesse par rapport au nombre de personnes détenant cette richesse.
• À droite, une distribution normale de la taille par rapport au nombre de personnes possédant cette taille.

Comprendre la distribution de chaque caractéristique et étiquette peut vous aider à déterminer comment normaliser les valeurs et détecter les anomalies.

L'expression out of distribution (hors distribution) fait référence à une valeur qui n'apparaît pas dans l'ensemble de données ou qui est très rare. Par exemple, une image de la planète Saturne serait considérée comme non distribuée pour un ensemble de données composé d'images de chats.

clustering divisif

Voir clustering hiérarchique.

sous-échantillonnage

Terme complexe pouvant signifier l'un des éléments suivants:

• Réduire la quantité d'informations dans une caractéristique afin d'entraîner un modèle plus efficacement. Par exemple, avant d'entraîner un modèle de reconnaissance d'image, vous devez sous-échantillonner les images haute résolution dans un format de résolution inférieure.
• Entraînement sur un pourcentage disproportionné d'exemples de classe surreprésentés afin d'améliorer l'entraînement du modèle sur les classes sous-représentées. Par exemple, dans un ensemble de données avec déséquilibre des classes, les modèles ont tendance à en apprendre beaucoup sur la classe majoritaire, et pas assez sur la classe minoritaire. Le sous-échantillonnage permet d'équilibrer la quantité d'entraînement sur les classes majoritaires et minoritaires.

DQN

Abréviation de Deep Q-Network.

régularisation par abandon

Forme de régularisation utile pour entraîner les réseaux de neurones. La régularisation par abandon supprime une sélection aléatoire d'un nombre fixe d'unités dans une couche réseau pour un pas de gradient unique. Plus il y a d'unités abandonnées, plus la régularisation est forte. Cette méthode est analogue à l'entraînement du réseau pour émuler un ensemble exponentiellement grand de réseaux plus petits. Pour en savoir plus, consultez l'article Dropout: A Simple Way to Prevent Neural Networks from Overtrained (Abandon : un moyen simple de prévenir le surapprentissage des réseaux de neurones).

dynamic

Quelque chose fait fréquemment ou continuellement. Les termes dynamique et en ligne sont des synonymes en machine learning. Voici des utilisations courantes des propriétés dynamiques et en ligne en machine learning:

• Un modèle dynamique (ou modèle en ligne) est un modèle réentraîné fréquemment ou en continu.
• L'entraînement dynamique (ou l'entraînement en ligne) est le processus d'entraînement courant ou continu.
• L'inférence dynamique (ou inférence en ligne) est le processus de génération de prédictions à la demande.

modèle dynamique

model qui est fréquemment (peut-être continu) réentraîné. Un modèle dynamique s'adapte en permanence à l'évolution des données. Un modèle dynamique est également appelé modèle en ligne.

À comparer au modèle statique.

E

exécution eager

Environnement de programmation TensorFlow dans lequel les operations s'exécutent immédiatement. En revanche, les opérations appelées dans l'exécution de graphe ne sont exécutées que lorsqu'elles sont explicitement évaluées. L'exécution eager est une interface impérative, tout comme le code de la plupart des langages de programmation. Les programmes d'exécution eager sont généralement beaucoup plus faciles à déboguer que les programmes d'exécution de graphe.

arrêt prématuré

Méthode de régularisation qui consiste à mettre fin à l'entraînement avant que la perte d'entraînement ne se termine. Lors de l'arrêt prématuré, vous arrêtez intentionnellement l'entraînement du modèle lorsque la perte d'un ensemble de données de validation commence à augmenter, c'est-à-dire lorsque les performances de la généralisation se dégradent.

distance du déménageur (EMD)

Mesure de la similarité relative de deux distributions. Plus la distance est faible, plus les distributions sont similaires.

modifier la distance

Mesure du degré de similitude entre deux chaînes de texte. En machine learning, la modification de la distance est utile, car elle est simple à calculer et constitue un moyen efficace de comparer deux chaînes connues pour être similaires ou de trouver des chaînes semblables à une chaîne donnée.

Il existe plusieurs définitions de la distance de modification, chacune utilisant différentes opérations de chaîne. Par exemple, la distance Levenshtein tient compte du plus petit nombre d'opérations de suppression, d'insertion et de remplacement.

Par exemple, la distance de Levenshtein entre les mots "cœur" et "fléchettes" est de 3, car les trois modifications suivantes représentent le moins de changements possible pour transformer un mot en un autre:

1. cœur → tart (remplacez "h" par "d")
2. deart → fléchette (supprimer "e")
3. fléchette → fléchettes (insert "s")

Notation Einsum

Une notation efficace pour décrire comment deux Tensors doivent être combinés. Pour combiner les Tensors, les éléments d'un Tensor sont multipliés par ceux de l'autre, puis additionnés des produits. La notation Einsum utilise des symboles pour identifier les axes de chaque Tensor. Ces mêmes symboles sont réorganisés pour spécifier la forme du nouveau Tensor obtenu.

NumPy fournit une implémentation Einsum commune.

couche de représentation vectorielle continue

Couche cachée spéciale qui s'entraîne sur une caractéristique catégorielle de grande dimension pour apprendre progressivement un vecteur de représentation vectorielle continue de dimension inférieure. Une couche de représentation vectorielle continue permet à un réseau de neurones de s'entraîner bien plus efficacement que l'entraînement sur une caractéristique catégorielle de grande dimension.

Par exemple, Google Earth accueille actuellement environ 73 000 espèces d'arbres. Supposons que l'espèce d'arbre soit une caractéristique de votre modèle. La couche d'entrée de votre modèle inclut donc un vecteur one-hot de 73 000 éléments. Par exemple, baobab serait peut-être représenté comme ceci:

Un tableau de 73 000 éléments est très long. Si vous n'ajoutez pas de couche de représentation vectorielle continue au modèle, l'entraînement prend beaucoup de temps,car il doit être multiplié par 72 999 zéros. Si vous choisissez la couche de représentation vectorielle continue qui se compose de 12 dimensions, Par conséquent, le calque de représentation vectorielle continue apprendra progressivement un nouveau vecteur de représentation vectorielle continue pour chaque espèce d'arbre.

Dans certains cas, le hachage constitue une alternative raisonnable à une couche de représentation vectorielle continue.

espace de représentation vectorielle continue

L'espace vectoriel à d dimensions auquel les caractéristiques d'un espace vectoriel de plus grande dimension sont mappés. Idéalement, l'espace de représentation vectorielle continue contient une structure qui produit des résultats mathématiques significatifs. Par exemple, dans un espace de représentation vectorielle continue idéal, l'addition et la soustraction de représentations vectorielles continues peuvent résoudre des tâches d'analogie de mots.

Le produit scalaire de deux représentations vectorielles continues est une mesure de leur similarité.

vecteur de représentation vectorielle continue

De manière générale, il s'agit d'un tableau de nombres à virgule flottante provenant de n'importe quelle couche cachée qui décrit les entrées de cette couche cachée. Souvent, un vecteur de représentation vectorielle continue correspond au tableau de nombres à virgule flottante entraîné dans une couche de représentation vectorielle continue. Par exemple, supposons qu'un calque de représentation vectorielle continue doit apprendre un vecteur de représentation vectorielle continue pour chacune des 73 000 espèces d'arbres sur Terre. Le tableau suivant est peut-être le vecteur de représentation vectorielle continue d'un baobab:

Un vecteur de représentation vectorielle continue n'est pas un groupe de nombres aléatoires. Une couche de représentation vectorielle continue détermine ces valeurs par l'entraînement, de la même manière qu'un réseau de neurones apprend d'autres pondérations pendant l'entraînement. Chaque élément du tableau est une note associée à une caractéristique d'une espèce d'arbre. Quel élément représente la caractéristique de quelle espèce d'arbre ? C'est très difficile à déterminer pour les êtres humains.

Ce qui est mathématiquement remarquable dans un vecteur de représentation vectorielle continue, c'est que des éléments similaires ont des ensembles similaires de nombres à virgule flottante. Par exemple, des espèces d'arbres similaires ont un ensemble de nombres à virgule flottante plus proche que des espèces d'arbres différentes. Les séquoias et les séquoias sont des espèces d'arbres apparentées, ils auront donc un ensemble de nombres à virgule flottante plus similaire que les séquoias et les cocotiers. Les nombres du vecteur de représentation vectorielle continue changent chaque fois que vous réentraînez le modèle, même si vous le réentraînez avec une entrée identique.

fonction de distribution empirique cumulée (eCDF, EDF)

Fonction de distribution cumulative basée sur des mesures empiriques provenant d'un ensemble de données réel. La valeur de la fonction à tout point de l'axe des abscisses correspond à la fraction des observations de l'ensemble de données inférieures ou égales à la valeur spécifiée.

minimisation du risque empirique (ERM)

Choisir la fonction qui minimise la perte pour l'ensemble d'entraînement. À comparer à la minimisation du risque structurel.

encodeur

En général, tout système de ML qui convertit une représentation brute, creuse ou externe en une représentation plus traitée, plus dense ou plus interne.

Les encodeurs constituent souvent un composant d'un modèle plus vaste, où ils sont fréquemment associés à un décodeur. Certains modèles Transformer associent des encodeurs à des décodeurs, tandis que d'autres n'utilisent que l'encodeur ou le décodeur.

Certains systèmes utilisent la sortie de l'encodeur comme entrée d'un réseau de classification ou de régression.

Dans les tâches séquence à séquence, un encodeur prend une séquence d'entrée et renvoie un état interne (un vecteur). Le décodeur utilise ensuite cet état interne pour prédire la séquence suivante.

Reportez-vous à la section Transformateur pour obtenir la définition d'un encodeur dans l'architecture Transformer.

groupe

Ensemble de modèles entraînés indépendamment, dont les prédictions sont moyennées ou agrégées. Dans de nombreux cas, un ensemble produit de meilleures prédictions qu'un seul modèle. Par exemple, une forêt aléatoire est un ensemble construit à partir de plusieurs arbres de décision. Notez que les forêts de décision ne sont pas toutes des ensembles.

entropie

Dans le domaine de la théorie de l'information, description de l'imprévisibilité d'une distribution de probabilité. Sinon, l'entropie est également définie comme la quantité d'informations contenues dans chaque exemple. Une distribution a l'entropie la plus élevée possible lorsque toutes les valeurs d'une variable aléatoire sont égaux à probabilités.

L'entropie d'un ensemble avec deux valeurs possibles "0" et "1" (par exemple, les étiquettes d'un problème de classification binaire) se compose de la formule suivante:

  H = -p log p - q log q = -p log p - (1-p) * log (1-p)

où :

• H est l'entropie ;
• p est la fraction des exemples "1".
• q est la fraction des exemples "0". Notez que q = (1 - p)
• log est généralement log₂. Dans ce cas, l'unité d'entropie est un bit.

Par exemple, supposons les éléments suivants :

• 100 exemples contiennent la valeur "1"
• 300 exemples contiennent la valeur "0"

La valeur d'entropie est donc la suivante:

• p = 0,25
• q = 0,75
• H = (-0,25)log₂(0,25) - (0,75)log₂(0,75) = 0,81 bits par exemple

Un ensemble parfaitement équilibré (par exemple, 200 0 et 200 1) aurait une entropie de 1 bit par exemple. Lorsqu'un ensemble présente un déséquilibre, son entropie tend vers 0,0.

Dans les arbres de décision, l'entropie permet de formuler la gagnage d'informations pour aider le séparateur à sélectionner les conditions lors de la croissance d'un arbre de décision de classification.

Comparer l'entropie avec:

• impurité du gini
• Fonction de perte de l'entropie croisée

L'entropie est souvent appelée entropie de Shannon.

de production

Dans l'apprentissage par renforcement, il s'agit du monde qui contient l'agent et lui permet d'observer l'état de ce monde. Par exemple, le monde représenté peut être un jeu comme les échecs, ou un monde physique comme un labyrinthe. Lorsque l'agent applique une action à l'environnement, celui-ci passe d'un état à un autre.

épisode

Dans l'apprentissage par renforcement, chacune des tentatives répétées d'apprentissage d'un environnement par l'agent.

epoch

Un passage d'entraînement complet sur l'intégralité de l'ensemble d'entraînement de sorte que chaque exemple a été traité une fois.

Une époque représente N/taille de lot des itérations d'entraînement, où N correspond au nombre total d'exemples.

Par exemple, supposons les éléments suivants:

• L'ensemble de données comprend 1 000 exemples.
• La taille de lot est de 50 exemples.

Par conséquent, une seule époque nécessite 20 itérations:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

règle epsilon greedy

Dans l'apprentissage par renforcement, il s'agit d'une règle qui suit soit une règle aléatoire avec une probabilité epsilon, soit une règle gloutonne dans le cas contraire. Par exemple, si la valeur epsilon est égale à 0,9, la règle suit une règle aléatoire 90% du temps et une règle gloutonne 10% du temps.

Au cours d'épisodes successifs, l'algorithme réduit la valeur d'epsilon pour passer d'une règle aléatoire à une règle gloutonne. En modifiant la règle, l'agent commence par explorer l'environnement de manière aléatoire, puis exploite avec abondance les résultats de l'exploration aléatoire.

égalité des chances

Métrique d'équité permettant d'évaluer si un modèle prédit aussi bien le résultat souhaitable pour toutes les valeurs d'un attribut sensible. En d'autres termes, si le résultat souhaité d'un modèle est la classe positive, l'objectif est que le taux de vrais positifs soit le même pour tous les groupes.

L'égalité des chances est liée aux cotes égales, ce qui nécessite que les taux de vrais positifs et de taux de faux positifs soient à la fois identiques pour tous les groupes.

Supposons que l'université Glubbdubdrib accepte à la fois des Lilliputiens et des Brobdingnagiens dans un programme de mathématiques rigoureux. Les écoles secondaires des Lilliputians proposent un programme solide de cours de mathématiques et la grande majorité des étudiants sont qualifiés pour le programme universitaire. Les écoles secondaires de Brobdingnagians ne proposent pas de cours de mathématiques. Par conséquent, beaucoup moins d'élèves sont qualifiés. L'égalité des chances est satisfaite pour l'étiquette préférée "admis" en fonction de la nationalité (liliputien ou brobdingnagien) si les étudiants qualifiés sont également susceptibles d'être admis, qu'ils soient Lilliputiens ou Brobdingnagiens.

Par exemple, supposons que 100 liliputiens et 100 Brobdingnagiens aient postulé à l'université de Glubbdubdrib, et que les décisions d'admission soient prises comme suit:

Tableau 1. Candidats lilliputiens (90% sont qualifiés)

Tableau 2. Candidats boursiers (10% sont qualifiés):

Les exemples précédents satisfont à l'égalité des chances d'acceptation des étudiants qualifiés, car les Lilliputiens et les Brobdingnagiens qualifiés ont 50% de chances d'être acceptés.

Bien que l'égalité des chances soit satisfaite, les deux métriques d'équité suivantes ne le sont pas:

• Parité démographique: les lilliputiens et les Brobdingnagiens sont admis dans l'université à des taux différents. 48% des étudiants lilliputiens sont acceptés, contre seulement 14% de ceux de Brobdingnag.
• Probabilité égale: si les élèves lilliputiens et brobdingnagés qualifiés ont tous les deux les mêmes chances d'être admis, la contrainte supplémentaire selon laquelle les Lilliputiens et les Brobdingnagiens non qualifiés ont tous les deux la même chance d'être rejetés n'est pas satisfaite. Les lilliputiens non qualifiés présentent un taux de refus de 70 %, tandis que les brobdingnagiens non qualifiés obtiennent un taux de refus de 90 %.

Pour une discussion plus détaillée sur l'égalité des chances, consultez l'article Égalité des chances dans l'apprentissage supervisé. Consultez également la section Attaquer la discrimination avec un machine learning plus intelligent pour une visualisation présentant les compromis à faire lors de l'optimisation de l'égalité des chances.

cotes égales

Métrique d'équité permettant d'évaluer si un modèle prédit les résultats de manière égale pour toutes les valeurs d'un attribut sensible, par rapport à la classe positive et à la classe négative, et pas seulement à l'une ou l'autre classe. En d'autres termes, le taux de vrais positifs et le taux de faux négatifs doivent être identiques pour tous les groupes.

L'égalité des chances est liée à l'égalité des chances, qui se concentre uniquement sur les taux d'erreur d'une seule classe (positive ou négative).

Par exemple, supposons que l'université Glubbdubdrib admette à la fois des Lilliputiens et des Brodingnagiens dans un programme de mathématiques rigoureux. Les établissements d'enseignement secondaire des Lilliputiens proposent un solide programme de cours de mathématiques et la grande majorité des étudiants sont qualifiés pour le programme universitaire. Les établissements d'enseignement secondaire de Brobdingnagians ne proposent pas de cours de mathématiques. Par conséquent, beaucoup moins d'élèves sont qualifiés. L'égalité des chances est satisfaite à condition qu'un candidat soit soit Lilliputien ou Brobdingnag, qu'il soit qualifié, il a autant de chances d'être admis dans le programme, et s'il n'est pas qualifié, il aura autant de chances d'être rejeté.

Supposons que 100 liliputiens et 100 Brobdingnagiens aient postulé à l'université Glubbdubdrib, et que les décisions d'admission soient prises comme suit:

Tableau 3 : Candidats lilliputiens (90% sont qualifiés)

Tableau 4. Candidats boursiers (10% sont qualifiés):

La égalité des chances est satisfaite, car les étudiants lilliputiens et brobdingnagés qualifiés ont 50% de chances d'être admis, tandis que les autres élèves ont 80% de chances d'être rejetés.

L'égalité des chances est formellement définie dans Égalité des opportunités dans l'apprentissage supervisé, comme suit : "Le prédicteur Ŷ satisfait les probabilités égales par rapport à l'attribut protégé A et le résultat Y si Ŷ et A sont indépendants, conditionnels à Y."

Estimator

API TensorFlow obsolète. Utilisez tf.keras au lieu d'Estimators.

hors connexion

Processus consistant à mesurer la qualité des prédictions d'un modèle de machine learning. Lors du développement d'un modèle, vous appliquez généralement des métriques d'évaluation non seulement à l'ensemble d'entraînement, mais également à un ensemble de validation et à un ensemble de test. Vous pouvez aussi utiliser des métriques d'évaluation pour comparer différents modèles.

pour décrire cela.

Valeurs d'une ligne de caractéristiques et éventuellement d'un étiquette. Les exemples d'apprentissage supervisé appartiennent à deux catégories générales:

• Un exemple étiqueté se compose d'une ou de plusieurs caractéristiques et d'une étiquette. Les exemples étiquetés sont utilisés pendant l'entraînement.
• Un exemple sans étiquette comprend une ou plusieurs caractéristiques, mais pas d'étiquette. Les exemples sans étiquette sont utilisés pendant l'inférence.

Par exemple, supposons que vous entraînez un modèle pour déterminer l'influence des conditions météorologiques sur les résultats des élèves aux tests. Voici trois exemples étiquetés:

Voici trois exemples sans étiquette:

La ligne d'un ensemble de données est généralement la source brute d'un exemple. Autrement dit, un exemple est généralement constitué d'un sous-ensemble des colonnes de l'ensemble de données. De plus, les caractéristiques d'un exemple peuvent également inclure des caractéristiques synthétiques, telles que des croisements de caractéristiques.

rediffusion de l'expérience

Dans l'apprentissage par renforcement, technique DQN permettant de réduire les corrélations temporelles dans les données d'entraînement. L'agent stocke les transitions d'état dans un tampon de relecture, puis échantillonne les transitions à partir de ce tampon pour créer des données d'entraînement.

biais de l'expérimentateur

Voir biais de confirmation.

problème de gradient exponentiel

Tendance des gradients dans les réseaux de neurones profonds (en particulier les réseaux de neurones récurrents) à devenir étonnamment raides (élevés). Les gradients escarpés entraînent souvent des mises à jour très importantes des pondérations de chaque nœud d'un réseau de neurones profond.

Il devient difficile, voire impossible, d'entraîner des modèles qui souffrent de l'explosion des gradients. Le bornement de la norme du gradient peut atténuer ce problème.

À comparer au problème de la disparition du gradient.

F

F₁

Une métrique de classification binaire de "cumulation" qui repose à la fois sur la précision et le rappel. Voici la formule:

Prenons l'exemple suivant:

• précision = 0,6
• rappel = 0,4

Lorsque la précision et le rappel sont assez similaires (comme dans l'exemple précédent), F₁ est proche de leur moyenne. Lorsque la précision et le rappel sont très différents, F₁ est plus proche de la valeur inférieure. Exemple :

• précision = 0,9
• rappel = 0,1

contrainte d'équité

• Post-traiter la sortie de votre modèle
• Modification de la fonction de perte afin d'intégrer une pénalité pour non-respect d'une métrique d'équité.
• Ajouter directement une contrainte mathématique à un problème d'optimisation.

métrique d'équité

Définition mathématique de l'« impartialité » qui est mesurable. Voici quelques métriques d’équité couramment utilisées:

• cotes égales
• parité prédictive
• impartialité contrefactuelle
• parité démographique

De nombreuses métriques d'équité s'excluent mutuellement. Consultez la section Incompatibilité des métriques d'équité.

faux négatif (FN)

Exemple dans lequel le modèle prédit à tort la classe négative. Par exemple, le modèle prédit qu'un e-mail donné n'est pas un spam (classe négative), alors que cet e-mail est en réalité du spam.

taux de faux négatifs

Proportion d'exemples positifs réels pour lesquels le modèle a prédit à tort la classe négative. La formule suivante calcule le taux de faux négatifs:

faux positif (FP) (false positive (FP))

Exemple dans lequel le modèle prédit à tort la classe positive. Par exemple, le modèle prédit qu'un e-mail particulier est du spam (la classe positive), alors que cet e-mail n'est pas du spam.

taux de faux positifs (TFP)

Proportion d'exemples négatifs réels pour lesquels le modèle a prédit à tort la classe positive. La formule suivante calcule le taux de faux positifs:

Le taux de faux positifs correspond à l'axe des abscisses d'une courbe ROC.

fonctionnalité

Variable d'entrée d'un modèle de machine learning. Un exemple comprend une ou plusieurs caractéristiques. Par exemple, supposons que vous entraînez un modèle pour déterminer l'influence des conditions météorologiques sur les résultats des élèves aux tests. Le tableau suivant présente trois exemples, chacun contenant trois caractéristiques et une étiquette:

À comparer au libellé.

croisement de caractéristiques

Caractéristique synthétique formée par le croisement de caractéristiques catégorielles ou réparties en buckets.

Prenons l'exemple d'un modèle de "prévision de l'humeur" qui représente la température dans l'un des quatre buckets suivants:

• freezing
• chilly
• temperate
• warm

Elle représente la vitesse du vent dans l'un des trois segments suivants:

• still
• light
• windy

Sans croisements de caractéristiques, le modèle linéaire est entraîné indépendamment sur chacun des sept buckets précédents. Ainsi, le modèle s'entraîne avec, par exemple, freezing indépendamment de l'entraînement effectué sur windy, par exemple.

Vous pouvez également créer un croisement de caractéristiques de température et de vitesse du vent. Cette caractéristique synthétique aurait les 12 valeurs possibles suivantes:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Grâce aux croisements de caractéristiques, le modèle peut apprendre les différences d'humeur entre un jour freezing-windy et un jour freezing-still.

Si vous créez une caractéristique synthétique à partir de deux caractéristiques ayant chacune un grand nombre de buckets différents, le croisement de caractéristiques qui en résulte proposera un grand nombre de combinaisons possibles. Par exemple, si une caractéristique comporte 1 000 buckets et que l'autre en compte 2 000, le croisement de caractéristiques obtenu contient 2 000 000 buckets.

Officiellement, une croix est un produit cartésien.

Les croisements de caractéristiques sont principalement utilisés avec les modèles linéaires et rarement avec les réseaux de neurones.

l'ingénierie des caractéristiques.

Un processus qui comprend les étapes suivantes:

1. Déterminer les caractéristiques qui pourraient être utiles pour entraîner un modèle
2. Conversion des données brutes de l'ensemble de données en versions efficaces de ces caractéristiques.

Par exemple, vous pouvez déterminer que temperature peut être une fonctionnalité utile. Vous pouvez ensuite tester le binning pour optimiser ce que le modèle peut apprendre à partir de différentes plages temperature.

L'ingénierie des caractéristiques est parfois appelée extraction de caractéristiques ou featurisation.

extraction de caractéristiques

Terme complexe ayant l'une des définitions suivantes:

• Récupérer des représentations de caractéristiques intermédiaires calculées par un modèle non supervisé ou pré-entraîné (par exemple, des valeurs de couche cachée dans un réseau de neurones) pour les utiliser en entrée dans un autre modèle
• Synonyme d'ingénierie des caractéristiques.

importances des caractéristiques

Synonyme d'importance des variables.

ensemble de caractéristiques

Groupe des caractéristiques utilisées pour entraîner votre modèle de machine learning. Par exemple, le code postal, la taille du bien et l'état du bien peuvent comporter un ensemble de caractéristiques simple pour un modèle qui prédit le prix des logements.

spécification des caractéristiques

Cette page décrit les informations requises pour extraire les données de features du tampon de protocole tf.Example. Étant donné que le tampon de protocole tf.Example n'est qu'un conteneur de données, vous devez spécifier les éléments suivants:

• Données à extraire (c'est-à-dire les clés des caractéristiques)
• Type de données (par exemple, float ou int)
• La longueur (fixe ou variable)

vecteur de caractéristiques

Tableau de valeurs de caractéristiques comprenant un exemple. Le vecteur de caractéristiques est saisi pendant l'entraînement et l'inférence. Par exemple, le vecteur de caractéristiques d'un modèle comportant deux caractéristiques discrètes pourrait être:

[0.92, 0.56]

Chaque exemple fournit des valeurs différentes pour le vecteur de caractéristiques. Le vecteur de caractéristiques de l'exemple suivant pourrait donc ressembler à ceci:

[0.73, 0.49]

L'ingénierie des caractéristiques détermine comment représenter les caractéristiques dans le vecteur de caractéristiques. Par exemple, une caractéristique catégorielle binaire avec cinq valeurs possibles peut être représentée par l'encodage one-hot. Dans ce cas, la partie du vecteur de caractéristiques pour un exemple particulier se compose de quatre zéros et d'un seul 1,0 en troisième position, comme suit:

[0.0, 0.0, 1.0, 0.0, 0.0]

Autre exemple : supposons que votre modèle se compose de trois caractéristiques :

• Caractéristique catégorielle binaire avec cinq valeurs possibles représentées par un encodage one-hot. Exemple: [0.0, 1.0, 0.0, 0.0, 0.0]
• une autre caractéristique catégorielle binaire avec trois valeurs possibles représentées par l'encodage one-hot. Exemple: [0.0, 0.0, 1.0]
• Caractéristique à virgule flottante, par exemple: 8.3.

Dans ce cas, le vecteur de caractéristiques de chaque exemple serait représenté par neuf valeurs. Compte tenu des exemples de valeurs de la liste précédente, le vecteur de caractéristiques serait le suivant:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

featurisation

Processus consistant à extraire des caractéristiques à partir d'une source d'entrée, telle qu'un document ou une vidéo, et à les mapper dans un vecteur de caractéristiques.

Certains experts en ML utilisent la featurization comme synonyme d'ingénierie des caractéristiques ou d'extraction de caractéristiques.

apprentissage fédéré

approche de machine learning distribué qui entraîne des modèles de machine learning à l'aide d'exemples décentralisés et hébergés sur des appareils tels que des smartphones. Dans l'apprentissage fédéré, un sous-ensemble d'appareils télécharge le modèle actuel à partir d'un serveur central de coordination. Les appareils utilisent les exemples stockés sur les appareils pour améliorer le modèle. Les appareils importent ensuite les améliorations du modèle (mais pas les exemples d'entraînement) sur le serveur de coordination, où elles sont agrégées avec d'autres mises à jour pour générer un modèle global amélioré. Après l'agrégation, les mises à jour du modèle calculées par les appareils ne sont plus nécessaires et peuvent être supprimées.

Étant donné que les exemples d'entraînement ne sont jamais importés, l'apprentissage fédéré respecte les principes de confidentialité de la collecte ciblée et de la minimisation des données.

Pour en savoir plus sur l'apprentissage fédéré, consultez ce tutoriel.

boucle de rétroaction

En machine learning, situation dans laquelle les prédictions d'un modèle influencent les données d'entraînement du même modèle ou d'un autre modèle. Par exemple, un modèle qui recommande des films influence les films que les spectateurs voient, ce qui influence ensuite les modèles de recommandation de films suivants.

Réseau de neurones feedforward (FFN)

Réseau de neurones sans connexions cycliques ou récursives. Par exemple, les réseaux de neurones profonds traditionnels sont des réseaux de neurones feedforward. À comparer aux réseaux de neurones récurrents, qui sont cycliques.

apprentissage few-shot

Approche du machine learning, souvent utilisée pour la classification des objets, conçue pour entraîner des classificateurs efficaces à partir d'un petit nombre d'exemples d'entraînement seulement.

Voir aussi apprentissage one-shot et apprentissage zero-shot.

requête few-shot

Une requête contenant plusieurs exemples (un "quelques-uns") montrant comment le grand modèle de langage doit répondre. Par exemple, la longue requête suivante contient deux exemples montrant à un grand modèle de langage comment répondre à une requête.

Les requêtes few-shot produisent généralement des résultats plus souhaitables que les requêtes zero-shot et les requêtes one-shot. Toutefois, les requêtes few-shot nécessitent une requête plus longue.

La requête few-shot est une forme d'apprentissage few-shot, appliquée à l'apprentissage basé sur des requêtes.

Violon

Bibliothèque de configuration Python qui définit les valeurs des fonctions et des classes sans code ou infrastructure invasif. Dans le cas de Pax et d'autres codebases de ML, ces fonctions et classes représentent des modèles et des hyperparamètres d'entraînement.

Fiddle suppose que les codebases de machine learning sont généralement divisés en:

• Le code de bibliothèque, qui définit les couches et les optimiseurs.
• Code "glue" de l'ensemble de données, qui appelle les bibliothèques et relie le tout ensemble.

Fiddle capture la structure d'appel du code Glue sous une forme non évaluée et modifiable.

affinage

Une seconde passe d'entraînement spécifique à une tâche, effectuée sur un modèle pré-entraîné pour affiner ses paramètres pour un cas d'utilisation spécifique. Par exemple, la séquence d'entraînement complète pour certains grands modèles de langage se présente comme suit:

1. Pré-entraînement:entraînez un grand modèle de langage sur un vaste ensemble de données général, comme toutes les pages Wikipédia en langue anglaise.
2. Affinage:entraînez le modèle pré-entraîné à effectuer une tâche spécifique, par exemple répondre à des requêtes médicales. L'affinage implique généralement des centaines ou des milliers d'exemples axés sur une tâche spécifique.

Autre exemple, la séquence d'entraînement complète pour un grand modèle d'images se présente comme suit:

1. Pré-entraînement:entraînez un grand modèle d'images sur un vaste ensemble de données d'images générales, comme toutes les images de Wikimedia Commons.
2. Affinage:entraînez le modèle pré-entraîné à effectuer une tâche spécifique, telle que la génération d'images d'orques.

L'affinage peut nécessiter n'importe quelle combinaison des stratégies suivantes:

• Modifier tous les paramètres existants du modèle pré-entraîné. On parle parfois d'ajustement complet.
• Modifier uniquement certains paramètres existants du modèle pré-entraîné (généralement, les couches les plus proches de la couche de sortie), tout en ne modifiant que les autres paramètres existants (généralement, les couches les plus proches de la couche d'entrée) Consultez la section Réglage efficace des paramètres.
• Ajouter d'autres couches, généralement au-dessus des couches existantes les plus proches de la couche de sortie

L'affinage est une forme d'apprentissage par transfert. Ainsi, l'affinage peut utiliser une fonction de perte ou un type de modèle différents de ceux utilisés pour entraîner le modèle pré-entraîné. Par exemple, vous pouvez affiner un grand modèle d'images pré-entraîné pour produire un modèle de régression qui renvoie le nombre d'oiseaux dans une image d'entrée.

Indiquer les points communs et les différences entre l'affinage avec les termes suivants:

• distillation
• apprentissage basé sur des requêtes

Lin

Bibliothèque Open Source hautes performances pour le deep learning basée sur JAX. Flax propose des fonctions pour l'entraînement des réseaux de neurones, ainsi que des méthodes pour évaluer leurs performances.

Lin

Bibliothèque Transformer Open Source basée sur Flax, conçue principalement pour le traitement du langage naturel et la recherche multimodale.

porte de suppression

Partie d'une cellule de mémoire à court terme à long terme qui régule le flux d'informations dans la cellule. Les portes "Forget" conservent le contexte en décidant quelles informations supprimer de l'état de la cellule.

softmax complet

Synonyme de softmax.

À comparer à l'échantillonnage de candidats.

couche entièrement connectée

Une couche cachée dans laquelle chaque nœud est connecté à chaque nœud de la couche cachée suivante.

Une couche entièrement connectée est également appelée couche dense.

transformation de fonction

Fonction qui reçoit une fonction en entrée et renvoie une fonction transformée en sortie. JAX utilise les transformations de fonction.

G

GAN

Abréviation de réseau antagoniste génératif.

généralisation

Capacité d'un modèle à effectuer des prédictions correctes sur des données nouvelles qui n'ont pas encore été vues. Un modèle pouvant généraliser est l'opposé d'un modèle en surapprentissage.

courbe de généralisation

Graphique représentant à la fois la perte d'entraînement et la perte de validation en tant que fonction du nombre d'itérations.

Une courbe de généralisation peut vous aider à détecter un éventuel surapprentissage. Par exemple, la courbe de généralisation suivante suggère un surapprentissage, car la perte de validation devient en fin de compte beaucoup plus élevée que la perte d'entraînement.

modèle linéaire généralisé

Généralisation des modèles de régression des moindres carrés, qui sont basés sur le bruit gaussien, à d'autres types de modèles basés sur d'autres types de bruit, tels que le bruit de Poisson ou le bruit catégoriel. Voici quelques exemples de modèles linéaires généralisés:

• régression logistique
• régression à classes multiples
• régression des moindres carrés

Les paramètres d'un modèle linéaire généralisé peuvent être déterminés via l'optimisation convexe.

Les modèles linéaires généralisés présentent les propriétés suivantes:

• La prédiction moyenne du modèle de régression des moindres carrés optimal est égale à l'étiquette moyenne des données d'entraînement.
• La probabilité moyenne prédite par le modèle de régression logistique optimal est égale à l'étiquette moyenne des données d'entraînement.

La puissance d'un modèle linéaire généralisé est limitée par ses caractéristiques. Contrairement à un modèle profond, un modèle linéaire généralisé ne peut pas "apprendre de nouvelles caractéristiques".

réseau antagoniste génératif (GAN)

Système permettant de créer des données, dans lequel un générateur crée des données et un discriminateur détermine si ces données créées sont valides ou non.

IA générative

Un domaine qui se transforme en émergence sans définition formelle. Cela dit, la plupart des experts s'accordent sur le fait que les modèles d'IA générative peuvent créer ("générer") du contenu:

• complexe
• cohérentes
• originale

Par exemple, un modèle d'IA générative peut créer des dissertations ou des images sophistiquées.

Certaines technologies plus anciennes, y compris les LSTM et les RNN, peuvent également générer un contenu original et cohérent. Certains experts considèrent ces technologies antérieures comme de l'IA générative, tandis que d'autres estiment que la véritable IA générative nécessite des résultats plus complexes que ces technologies antérieures.

À comparer au ML prédictif.

modèle génératif

En pratique, un modèle qui effectue l'une des opérations suivantes:

• Crée (génère) des exemples à partir de l'ensemble de données d'entraînement. Par exemple, un modèle génératif peut créer des poèmes après avoir été entraîné sur un ensemble de données de poèmes. La partie générateur d'un réseau antagoniste génératif entre dans cette catégorie.
• Détermine la probabilité qu'un nouvel exemple provienne de l'ensemble d'entraînement ou ait été créé à partir du même mécanisme qui a créé l'ensemble d'entraînement. Par exemple, après l'entraînement sur un ensemble de données composé de phrases en anglais, un modèle génératif pourrait déterminer la probabilité que la nouvelle entrée soit une phrase anglaise valide.

Un modèle génératif peut théoriquement discerner la distribution d'exemples ou de caractéristiques particulières dans un ensemble de données. Par exemple :

p(examples)

Les modèles d'apprentissage non supervisés sont génératifs.

À comparer aux modèles discriminatifs.

générateur

Sous-système au sein d'un réseau antagoniste génératif qui crée de nouveaux exemples.

À comparer au modèle discriminatif.

impurité du gini

Métrique semblable à entropie. Les séparateurs utilisent des valeurs dérivées de l'impurité ou de l'entropie de gini pour composer des conditions pour les arbres de décision de classification. Le gain d'informations est dérivé de l'entropie. Il n'existe pas de terme équivalent universellement accepté pour la métrique dérivée de l'impureté du gini. Toutefois, cette métrique sans nom est tout aussi importante que l'acquisition d'informations.

L'impureté de Gini est également appelée indice gini, ou tout simplement gini.

ensemble de données clé

Ensemble de données sélectionnées manuellement qui capture la vérité terrain. Les équipes peuvent évaluer la qualité d'un modèle à l'aide d'un ou de plusieurs ensembles de données clés.

Certains ensembles de données clés capturent différents sous-domaines de la vérité terrain. Par exemple, un ensemble de données complet pour la classification d'images peut capturer les conditions d'éclairage et la résolution d'image.

GPT (Generative Pre-trained Transformer)

Famille de grands modèles de langage basés sur Transformer et développés par OpenAI.

Les variantes GPT peuvent s'appliquer à plusieurs modalités, y compris les suivantes:

• génération d'images (par exemple, ImageGPT)
• génération d'images à partir de texte (par exemple, DALL-E).

gradient

Vecteur des dérivées partielles calculées pour l'ensemble des variables indépendantes. En machine learning, le gradient est le vecteur des dérivées partielles de la fonction du modèle. Le gradient indique la direction de l'ascension la plus forte.

accumulation de gradient

Technique de rétropropagation qui ne met à jour les paramètres qu'une fois par epoch, et non une fois par itération. Après le traitement de chaque mini-lot, l'accumulation de gradients met simplement à jour le total cumulé des gradients. Ensuite, après le traitement du dernier mini-lot de l'époque, le système met à jour les paramètres en fonction du total de toutes les modifications de gradient.

L'accumulation de gradients est utile lorsque la taille de lot est très importante par rapport à la quantité de mémoire disponible pour l'entraînement. Lorsque la mémoire pose problème, la tendance naturelle consiste à réduire la taille de lot. Toutefois, la réduction de la taille de lot lors d'une rétropropagation normale augmente le nombre de mises à jour des paramètres. L'accumulation de gradients permet au modèle d'éviter les problèmes de mémoire, tout en maintenant l'efficacité de l'entraînement.

Arbres de décision à boosting de gradient (GBT)

Type de forêt de décision dans laquelle:

• L'entraînement repose sur le boosting de gradient.
• Le modèle faible est un arbre de décision.

boosting de gradient

Algorithme d'entraînement dans lequel les modèles faibles sont entraînés pour améliorer de manière itérative la qualité (réduire la perte) d'un modèle fort. Par exemple, un modèle faible peut être un modèle linéaire ou un petit modèle en arbre de décision. Le modèle fort devient la somme de tous les modèles faibles entraînés précédemment.

Dans la forme la plus simple de boosting de gradient, à chaque itération, un modèle faible est entraîné à prédire le gradient de perte d'un modèle fort. Ensuite, la sortie du modèle fort est mise à jour en soustrayant le gradient prévu, comme pour la descente de gradient.

où :

• $F_{0}$ est le modèle robuste de départ.
• $F_{i+1}$ est le prochain modèle fort.
• $F_{i}$ est le modèle performant actuel.
• $\xi$ est une valeur comprise entre 0,0 et 1,0 appelée rétrécissement, analogue au taux d'apprentissage dans la descente de gradient.
• $f_{i}$ est le modèle faible entraîné pour prédire le gradient de perte de $F_{i}$.

Les variations modernes de l'augmentation de gradient incluent également la dérivée secondaire (hessienne) de la perte dans leurs calculs.

Les arbres de décision sont couramment utilisés comme modèles peu sécurisés pour le boosting de gradient. Consultez les arbres de décision à boosting de gradient.

bornement de la norme du gradient

Mécanisme couramment utilisé pour atténuer le problème de gradient exponentiel en limitant (écrasant) artificiellement la valeur maximale des gradients lorsque vous utilisez la descente de gradient pour entraîner un modèle.

descente de gradient

Technique mathématique permettant de minimiser la perte. La descente de gradient ajuste de manière itérative les pondérations et les biais, afin de trouver progressivement la meilleure combinaison pour minimiser la perte.

La descente de gradient est beaucoup plus ancienne que le machine learning.

graphique

Dans TensorFlow, une spécification de calcul. Les nœuds du graphe représentent les opérations. Les bords sont orientés et représentent la transmission du résultat d'une opération (un Tensor) en tant qu'opérande vers une autre opération. Utilisez TensorBoard pour visualiser un graphe.

exécution de graphe

Environnement de programmation TensorFlow dans lequel le programme commence par construire un graphe, puis exécute tout ou partie de ce graphe. L'exécution de graphe est le mode d'exécution par défaut dans TensorFlow 1.x.

À comparer à l'exécution eager.

règlement gourmand

Dans l'apprentissage par renforcement, une règle qui choisit toujours l'action ayant le retour attendu le plus élevé.

vérité terrain

La réalité.

Ce qui s'est passé réellement.

Prenons l'exemple d'un modèle de classification binaire qui prédit si un étudiant en première année d'université obtiendra son diplôme dans les six ans. La vérité terrain pour ce modèle est de savoir si cet étudiant a effectivement obtenu son diplôme dans les six ans.

biais de représentativité

Supposons que ce qui est vrai pour un individu s'applique également à tous les membres de ce groupe. Les effets du biais de représentativité peuvent être exacerbés si un échantillonnage de convenance est utilisé pour la collecte des données. Dans un échantillon non représentatif, des attributions qui ne reflètent pas la réalité peuvent être effectuées.

Voir aussi biais d'homogénéité de l'exogroupe et biais d'appartenance.

H

hallucination

Production de résultats qui semblent plausibles, mais qui sont en fait incorrects par un modèle d'IA générative qui prétend être une assertion sur le monde réel. Par exemple, un modèle d'IA générative qui affirme que Barack Obama est mort en 1865 est en hallucination.

hachage

Dans le machine learning, un mécanisme de binning des données catégorielles, en particulier lorsque le nombre de catégories est élevé, mais que le nombre de catégories qui apparaissent réellement dans l'ensemble de données est relativement faible.

Par exemple, la Terre abrite environ 73 000 espèces d'arbres. Vous pouvez représenter chacune des 73 000 espèces d'arbres dans 73 000 buckets catégoriels distincts. Si seulement 200 de ces espèces d'arbres figurent réellement dans un ensemble de données, vous pouvez utiliser le hachage pour diviser les espèces d'arbres en 500 buckets.

Un même bucket peut contenir plusieurs espèces d'arbres. Par exemple, le hachage pourrait placer le baobab et l'érable rouge dans le même bucket, deux espèces génétiquement dissemblables. Quoi qu'il en soit, le hachage reste un bon moyen de mapper de grands ensembles catégoriels au nombre de buckets sélectionné. Le hachage transforme une caractéristique catégorielle ayant un grand nombre de valeurs possibles en un nombre bien plus réduit en regroupant les valeurs de manière déterministe.

heuristique

Une solution simple et rapidement mise en œuvre à un problème. Par exemple, "Avec une heuristique, nous avons atteint une précision de 86 %. Lorsque nous avons adopté un réseau de neurones profond, la précision a atteint 98%."

couche cachée

Couche d'un réseau de neurones entre la couche d'entrée (les caractéristiques) et la couche de sortie (la prédiction). Chaque couche cachée se compose d'un ou de plusieurs neurones. Par exemple, le réseau de neurones suivant contient deux couches cachées, la première avec trois neurones et la seconde avec deux neurones:

Un réseau de neurones profond contient plusieurs couches cachées. Par exemple, l'illustration précédente montre un réseau de neurones profond, car le modèle contient deux couches cachées.

clustering hiérarchique

Catégorie d'algorithmes de clustering qui créent un arbre de clusters. Le clustering hiérarchique est particulièrement adapté aux données hiérarchiques, telles que les taxonomies botaniques. Il existe deux types d'algorithmes de clustering hiérarchique:

• Le clustering agglomératif attribue d'abord chaque exemple à son propre cluster, puis fusionne de manière itérative les clusters les plus proches pour créer un arbre hiérarchique.
• Le clustering divisif regroupe d'abord tous les exemples en un cluster, puis divise le cluster de manière itérative en un arbre hiérarchique.

À comparer au clustering basé sur centroïde.

marge maximale

Famille de fonctions de perte pour la classification conçue pour trouver la frontière de décision la plus éloignée possible de chaque exemple d'entraînement, afin de maximiser la marge entre les exemples et la frontière. Les KSVMs utilisent la marge maximale (ou une fonction associée, comme le carré de la marge maximale). Pour la classification binaire, la fonction de marge maximale est définie comme suit:

où y est l'étiquette réelle (-1 ou +1), et y' est la sortie brute du modèle de classificateur:

Par conséquent, le graphique de la marge maximale en fonction de (y * y') se présente comme suit:

biais historique

Type de biais qui existe déjà dans le monde et a été intégré dans un ensemble de données. Ces biais ont tendance à refléter les stéréotypes culturels, les inégalités démographiques et les préjugés à l'encontre de certains groupes sociaux.

Prenons l'exemple d'un modèle de classification qui prédit si un demandeur de prêt tombera en défaut de paiement ou non. Ce modèle a été entraîné sur l'historique des données par défaut de prêt datant des années 1980 auprès de banques locales de deux communautés différentes. Si les anciens candidats de la communauté A étaient six fois plus susceptibles de ne pas s'acquitter de leurs prêts que ceux de la communauté B, le modèle pourrait apprendre un biais historique, ce qui le rendrait moins susceptible d'approuver les prêts dans la communauté A, même si les conditions historiques ayant entraîné des taux de défaut plus élevés pour cette communauté n'étaient plus pertinentes.

données exclues

Exemples intentionnellement non utilisés ("exclus") pendant l'entraînement. L'ensemble de données de validation et l'ensemble de données de test sont des exemples de données exclues. Les données exclues permettent d'évaluer la capacité de votre modèle à se généraliser à des données autres que celles sur lesquelles il a été entraîné. La perte sur l'ensemble de données exclues fournit une meilleure estimation de la perte sur un ensemble de données inconnu que sur l'ensemble d'entraînement.

hôte

Lors de l'entraînement d'un modèle de ML sur des puces accélérateurs (GPU ou TPU), la partie du système qui contrôle les deux éléments suivants:

• Flux global du code
• L'extraction et la transformation du pipeline d'entrée.

L'hôte s'exécute généralement sur un processeur, et non sur une puce d'accélération. L'appareil manipule les Tensors sur les puces d'accélération.

hyperparamètre

Les variables que vous ou un service de réglage d'hyperparamètresajustez lors des exécutions successives d'entraînement d'un modèle. Par exemple, le taux d'apprentissage est un hyperparamètre. Vous pouvez définir le taux d'apprentissage sur 0,01 avant une session d'entraînement. Si vous déterminez que 0,01 est trop élevé, vous pouvez peut-être définir le taux d'apprentissage sur 0,003 pour la prochaine session d'entraînement.

En revanche, les paramètres sont les différents pondérations et biais que le modèle apprend pendant l'entraînement.

hyperplan

Limite qui sépare un espace en deux sous-espaces. Par exemple, une ligne est un hyperplan en deux dimensions, et un plan est un hyperplan en trois dimensions. Plus généralement en machine learning, un hyperplan est la frontière qui sépare un espace de grande dimension. Les machines à vecteurs de support à noyau utilisent des hyperplans pour séparer les classes positives des classes négatives, souvent dans un espace de très grande dimension.

I

variables iid.

Abréviation de distribué de manière indépendante et identique.

reconnaissance d'image

Processus qui classe un ou plusieurs objets, modèles ou concepts dans une image. La reconnaissance d'image est également appelée classification d'images.

Pour en savoir plus, consultez la page Travaux pratiques sur le ML: Classification d'images.

ensemble de données déséquilibré

Synonyme d'ensemble de données avec déséquilibre des classes.

biais implicite

Effectuer automatiquement une association ou une hypothèse en fonction de ses modèles d'esprit et de ses mémoires. Le biais implicite peut avoir une incidence sur les éléments suivants:

• Comment les données sont collectées et classées.
• Découvrez comment les systèmes de machine learning sont conçus et développés.

Par exemple, lors de la création d'un classificateur pour identifier des photos de mariage, un ingénieur peut utiliser comme caractéristique la présence d'une robe blanche sur une photo. Cependant, les robes blanches ne sont d'usage qu'à certaines époques et dans certaines cultures.

Voir aussi biais de confirmation.

imputation

Forme abrégée d'imputation de la valeur.

Incompatibilité des métriques d'équité

L'idée que certaines notions d'équité sont incompatibles les unes avec les autres et ne peuvent pas être satisfaites simultanément. Par conséquent, il n'existe pas de métrique universelle unique permettant de quantifier l'équité qui peut être appliquée à tous les problèmes de ML.

Bien que cela puisse paraître décourageant, l'incompatibilité des métriques d'équité n'implique pas que les efforts d'équité n'ont pas été vains. Il suggère plutôt que l'équité doit être définie en fonction du contexte pour un problème de ML donné, dans le but d'éviter les préjudices spécifiques à ses cas d'utilisation.

Pour en savoir plus sur ce sujet, consultez la section Sur la (im)possibilité de l'impartialité.

apprentissage en contexte

Synonyme de requête few-shot.

variables indépendantes et identiquement distribuées (i.i.d)

Données tirées d'une distribution qui ne change pas et où chaque valeur tirée ne dépend pas des valeurs précédemment dessinées. Une variable iid est le gaz idéal du machine learning. Il s'agit d'une construction mathématique utile qui ne se rencontre quasiment jamais à l'identique dans le monde réel. Par exemple, la répartition des visiteurs d'une page Web peut être des variables iid sur une courte période, c'est-à-dire qu'elle ne change pas pendant cette courte période et que la visite d'une personne est généralement indépendante de celle d'une autre. Toutefois, si vous étendez cette période, des différences saisonnières au niveau des visiteurs de la page Web peuvent apparaître.

Voir aussi nonstationarité.

équité individuelle

Métrique d'équité qui vérifie si des individus similaires sont classés de la même manière. Par exemple, la Brobdingnagian Academy peut veiller à l'impartialité individuelle en s'assurant que deux étudiants ayant des notes identiques et des résultats de test standardisés ont la même probabilité d'être admis.

Notez que l'impartialité individuelle dépend entièrement de la façon dont vous définissez la "similarité" (dans ce cas, les notes et les résultats des tests). Vous risquez donc d'introduire de nouveaux problèmes d'équité si votre métrique de similarité manque des informations importantes (telles que la rigueur du programme d'un élève).

Pour une discussion plus détaillée sur l'impartialité individuelle, consultez l'article L'équité par la conscience.

inférence

Dans le machine learning, processus qui consiste à effectuer des prédictions en appliquant un modèle entraîné à des exemples sans étiquette.

En statistique, l'inférence a une signification légèrement différente. Pour en savoir plus, consultez l' article Wikipédia sur l'inférence statistique.

chemin d'inférence

Dans un arbre de décision, lors d'une inférence, la route empruntée par un exemple particulier de la racine vers d'autres conditions, se terminant par une feuille. Par exemple, dans l'arbre de décision suivant, les flèches plus épaisses indiquent le chemin d'inférence d'un exemple avec les valeurs de caractéristiques suivantes:

• x = 7
• y = 12
• z = -3

Dans l'illustration suivante, le chemin d'inférence passe par trois conditions avant d'atteindre la feuille (Zeta).

Les trois flèches épaisses représentent le chemin d'inférence.

acquisition d'informations

Dans les forêts de décision, différence entre l'entropie d'un nœud et la somme pondérée (en nombre d'exemples) de l'entropie de ses nœuds enfants. L'entropie d'un nœud est l'entropie des exemples présents dans ce nœud.

Prenons l'exemple des valeurs d'entropie suivantes:

• entropie du nœud parent = 0,6
• entropie d'un nœud enfant avec 16 exemples pertinents = 0,2
• entropie d'un autre nœud enfant avec 24 exemples pertinents = 0,1

Ainsi, 40% des exemples se trouvent dans un nœud enfant et 60% dans l'autre nœud enfant. Par conséquent :

• somme d'entropie pondérée des nœuds enfants = (0,4 * 0,2) + (0,6 * 0,1) = 0,14

Le gain d'informations est donc:

• Gain d'informations = entropie du nœud parent - somme d'entropie pondérée des nœuds enfants
• gain d'informations = 0,6 - 0,14 = 0,46

La plupart des séparateurs cherchent à créer des conditions qui maximisent le gain d'informations.

biais d'appartenance

Faire preuve de partialité envers son propre groupe ou ses propres caractéristiques. Si les testeurs ou les évaluateurs sont composés d'amis, de membres de la famille ou de collègues du développeur de machine learning, le biais d'appartenance peut invalider les tests du produit ou l'ensemble de données.

Le biais d'appartenance est une forme de biais d'attribution de groupe. Voir aussi biais d'homogénéité de l'exogroupe.

générateur d'entrée

Mécanisme par lequel des données sont chargées dans un réseau de neurones.

Un générateur d'entrées peut être considéré comme un composant responsable du traitement des données brutes dans des Tensors itérés afin de générer des lots pour l'entraînement, l'évaluation et l'inférence.

couche d'entrée

Couche d'un réseau de neurones contenant le vecteur de caractéristiques. Autrement dit, la couche d'entrée fournit des exemples pour l'entraînement ou l'inférence. Par exemple, la couche d'entrée du réseau de neurones suivant comprend deux caractéristiques:

condition dans l'ensemble

Dans un arbre de décision, condition qui teste la présence d'un élément dans un ensemble d'éléments. Par exemple, voici une condition intégrée:

  house-style in [tudor, colonial, cape]

Lors de l'inférence, si la valeur de la caractéristique de style maison est tudor, colonial ou cape, cette condition renvoie la valeur "Oui". Si la valeur de la caractéristique de type maison est autre (par exemple, ranch), cette condition renvoie la valeur "Non".

Les conditions dans l'ensemble génèrent généralement des arbres de décision plus efficaces que les conditions qui testent les caractéristiques à encodage one-hot.

instance

Synonyme d'exemple.

réglage des instructions

Forme d'ajustement qui améliore la capacité d'un modèle d'IA générative à suivre les instructions. Le réglage des instructions implique l'entraînement d'un modèle sur une série d'invites d'instructions, couvrant généralement un large éventail de tâches. Le modèle d'instruction qui en résulte a ensuite tendance à générer des réponses utiles aux requêtes zero-shot pour diverses tâches.

Comparer et différencier les produits suivants:

• réglage efficace des paramètres
• réglage des requêtes

interprétabilité

Capacité à expliquer ou à présenter à un humain le raisonnement d'un modèle de ML de manière compréhensible.

La plupart des modèles de régression linéaire, par exemple, sont hautement interprétables. Il vous suffit d'examiner les pondérations entraînées pour chaque caractéristique. Les forêts de décision sont également hautement interprétables. Toutefois, certains modèles ont besoin d'une visualisation sophistiquée pour devenir interprétables.

Vous pouvez utiliser Learning Interpretability Tool (LIT) pour interpréter des modèles de ML.

accord inter-évaluateurs

Mesure de la fréquence à laquelle les évaluateurs humains sont d'accord lorsqu'ils accomplissent une tâche. Si les évaluateurs ne sont pas d'accord, vous devrez peut-être améliorer les instructions. Parfois également appelé accord inter-annotateurs ou fiabilité inter-évaluateurs. Voir aussi le kappa de Cohen, l'une des mesures de l'accord inter-évaluateurs les plus populaires.

intersection over union (IoU) :

Intersection de deux ensembles divisée par leur union. Dans les tâches de détection d'images de machine learning, l'IoU permet de mesurer la précision du cadre de délimitation prévu par le modèle par rapport au cadre de délimitation vérité terrain. Dans ce cas, l'IoU pour les deux cadres correspond au ratio entre la zone qui se chevauche et la zone totale. Sa valeur varie de 0 (aucun chevauchement du cadre de délimitation prévu et du cadre de délimitation de la vérité terrain) à 1 (le cadre de délimitation prévu et le cadre de délimitation de la vérité terrain ont exactement les mêmes coordonnées).

Par exemple, dans l'image ci-dessous:

• Le cadre de délimitation prédit (les coordonnées qui délimitent l'emplacement où le modèle prédit la table de nuit dans le tableau) est encadré en violet.
• Le cadre de délimitation de la vérité terrain (les coordonnées qui délimitent l'emplacement réel de la table de nuit dans le tableau) est encadré en vert.

Ici, l'intersection des cadres de délimitation pour la prédiction et la vérité terrain (en bas à gauche) est 1, et l'union des cadres de délimitation pour la prédiction et la vérité terrain (en bas à droite) est 7. L'IoU est donc \(\frac{1}{7}\).

IoU

Abréviation de l'intersection sur l'union.

matrice des éléments

Dans les systèmes de recommandation, une matrice de vecteurs de représentation vectorielle continue générée par la factorisation matricielle contenant des signaux latents pour chaque élément. Chaque ligne de la matrice éléments contient la valeur d'une seule caractéristique latente pour tous les éléments. Prenons l'exemple d'un système de recommandation de films. Chaque colonne de la matrice éléments représente un seul film. Les signaux latents peuvent représenter des genres ou être des signaux plus difficiles à interpréter qui impliquent des interactions complexes entre le genre, les stars, l'ancienneté du film ou d'autres facteurs.

La matrice éléments a le même nombre de colonnes que la matrice cible qui est factorisée. Par exemple, dans le cas d'un système de recommandation de films qui évalue 10 000 titres de films, la matrice éléments comportera 10 000 colonnes.

items

Dans un système de recommandation, les entités recommandées par un système. Par exemple, les vidéos sont les éléments recommandés par un vidéostore, tandis que les livres sont les éléments recommandés par une librairie.

itération

Mise à jour unique des paramètres d'un modèle (pondérations et biais du modèle) lors de l'entraînement. La taille de lot détermine le nombre d'exemples traités par le modèle au cours d'une seule itération. Par exemple, si la taille de lot est de 20, le modèle traite 20 exemples avant d'ajuster les paramètres.

Lors de l'entraînement d'un réseau de neurones, une seule itération implique les deux passes suivants:

1. Une propagation avant pour évaluer la perte d'un seul lot.
2. Une rétropropagation (rétropropagation) pour ajuster les paramètres du modèle en fonction de la perte et du taux d'apprentissage

J

JAX

Bibliothèque de calcul ARRAY, combinant XLA (Accelerated Linear Algebra) et la différenciation automatique pour le calcul numérique hautes performances. JAX fournit une API simple et puissante pour écrire du code numérique accéléré avec des transformations composables. JAX propose entre autres les fonctionnalités suivantes:

• grad (différenciation automatique)
• jit (compilation juste à temps)
• vmap (vecteur vertical ou traitement par lot automatique)
• pmap (parallélisation)

JAX est un langage permettant d'exprimer et de composer des transformations de code numérique, analogue (mais beaucoup plus vaste) à la bibliothèque NumPy de Python. (En fait, la bibliothèque .numpy sous JAX est une version fonctionnellement équivalente, mais entièrement réécrite de la bibliothèque Python NumPy.)

JAX est particulièrement adapté pour accélérer de nombreuses tâches de machine learning en transformant les modèles et les données dans un format adapté au parallélisme sur les puces accélérateurs TPU et GPU.

Flax, Optax, Pax et de nombreuses autres bibliothèques sont construits sur l'infrastructure JAX.

K

Keras

API de machine learning Python populaire. Keras s'exécute sur plusieurs frameworks de deep learning, y compris TensorFlow, où il est disponible sous le nom tf.keras.

Machines à vecteurs de support à noyau (KSVMs)

Algorithme de classification qui cherche à maximiser la marge entre les classes positives et les classes négatives en mappant les vecteurs de données d'entrée à un espace de plus grande dimension. Prenons l'exemple d'un problème de classification dans lequel l'ensemble de données d'entrée comporte cent caractéristiques. Pour maximiser la marge entre les classes positives et négatives, un KSVM pourrait mapper en interne ces caractéristiques dans un espace à un million de dimensions. Les KSVM utilisent une fonction de perte appelée marge maximale.

points clés

Coordonnées de certains éléments géographiques d'une image Par exemple, pour un modèle de reconnaissance d'image qui distingue les espèces de fleurs, les points clés peuvent être le centre de chaque pétale, la tige, l'étalon, etc.

validation croisée de k-fold

Algorithme permettant de prédire la capacité d'un modèle à généraliser le modèle à de nouvelles données. La valeur k dans "k-fold" fait référence au nombre de groupes égaux entre lesquels vous divisez les exemples d'un ensemble de données. En d'autres termes, vous entraînez et testez votre modèle k fois. Pour chaque cycle d'entraînement et de test, un groupe différent constitue l'ensemble de test. Tous les groupes restants deviennent l'ensemble d'entraînement. Après k séries d'entraînement et de test, vous calculez la moyenne et l'écart-type des métriques de test choisies.

Par exemple, supposons que votre ensemble de données se compose de 120 exemples. Supposons maintenant que vous décidiez de définir k sur 4. Par conséquent, après avoir mélangé les exemples, vous divisez l'ensemble de données en quatre groupes égaux de 30 exemples et effectuez quatre séries d'entraînement/de test:

Par exemple, l'erreur quadratique moyenne (MSE, Mean Squared Error) peut être la métrique la plus pertinente pour un modèle de régression linéaire. Par conséquent, vous devriez trouver la moyenne et l'écart type de la MSE dans les quatre cycles.

k-moyennes

Algorithme de clustering populaire qui regroupe des exemples dans l'apprentissage non supervisé. L'algorithme k-moyennes effectue essentiellement les opérations suivantes:

• Détermination de manière itérative des meilleurs k points centraux (appelés centroïdes).
• Affecte chaque exemple au centroïde le plus proche. Les exemples les plus proches du même centroïde appartiennent au même groupe.

L'algorithme k-moyennes choisit l'emplacement des centroïdes de manière à minimiser le carré cumulatif des distances entre chaque exemple et son centroïde le plus proche.

Prenons l'exemple du graphique suivant représentant la hauteur et la largeur du chien:

Si k=3, l'algorithme k-moyennes détermine trois centroïdes. Chaque exemple est attribué à son centroïde le plus proche, ce qui donne trois groupes:

Imaginez qu'un fabricant souhaite déterminer les tailles idéales de pulls petits, moyens et grands pour chiens. Les trois centroïdes identifient la hauteur et la largeur moyennes de chaque chien de ce groupe. Ainsi, le fabricant devrait probablement baser la taille des pulls sur ces trois centroïdes. Notez que le centroïde d'un cluster n'est généralement pas un exemple du cluster.

Les illustrations précédentes montrent les k-moyennes pour des exemples avec seulement deux caractéristiques (hauteur et largeur). Notez que les k-moyennes peuvent regrouper des exemples pour de nombreuses caractéristiques.

k-médiane

Algorithme de clustering étroitement lié à k-moyennes. Voici la différence pratique entre les deux:

• Dans l'algorithme k-moyennes, les centroïdes sont déterminés en minimisant la somme des carrés de la distance entre un centroïde potentiel et chacun de ses exemples.
• Dans l'algorithme k-médiane, les centroïdes sont déterminés en minimisant la somme de la distance entre un centroïde potentiel et chacun de ses exemples.

Notez que les définitions de distance sont également différentes:

• L'algorithme k-moyennes repose sur la distance euclidienne entre le centroïde et un exemple. (Dans deux dimensions, la distance euclidienne signifie utiliser le théorème de Pythagore pour calculer l'hypoténuse.) Par exemple, la distance en k-moyennes entre (2,2) et (5,-2) est:

• k-médiane repose sur la distance de Manhattan entre le centroïde et un exemple. Cette distance est la somme des deltas absolus dans chaque dimension. Par exemple, la distance k-médiane entre (2,2) et (5,-2) est:

L

Régularisation L₀

Type de régularisation qui pénalise le nombre total de pondérations non nulles dans un modèle. Par exemple, un modèle ayant 11 pondérations non nulles serait davantage pénalisé qu'un modèle similaire dont 10 paires de pondérations non nulles.

La régularisation L₀ est parfois appelée régularisation L0.

perte L₁

Une fonction de perte qui calcule la valeur absolue de la différence entre les valeurs d'étiquette réelles et les valeurs prédites par un modèle. Par exemple, voici le calcul de la perte L₁ pour un lot de cinq exemples:

La perte L₁ est moins sensible aux anomalies que la perte L₂.

L'erreur absolue moyenne correspond à la perte L₁ moyenne par exemple.

Régularisation L₁

Type de régularisation qui pénalise les pondérations proportionnellement à la somme de leur valeur absolue. La régularisation L₁ aide à ramener les pondérations des caractéristiques non pertinentes ou à peine pertinentes à exactement 0. Une caractéristique avec une pondération de 0 est effectivement supprimée du modèle.

À comparer à la régularisation L₂.

perte L₂

Une fonction de perte qui calcule le carré de la différence entre les valeurs réelles des étiquettes et les valeurs prédites par un modèle. Par exemple, voici le calcul de la perte L₂ pour un lot de cinq exemples:

En raison de la mise au carré, la perte L₂ amplifie l'influence des anomalies. En d'autres termes, la perte L₂ réagit plus fortement aux mauvaises prédictions que la perte L₁. Par exemple, la perte L₁ pour le lot précédent sera de 8 au lieu de 16. Notez qu'une seule anomalie représente 9 sur 16.

Les modèles de régression utilisent généralement la perte L₂ comme fonction de perte.

L'erreur quadratique moyenne correspond à la perte L₂ moyenne par exemple. La perte quadratique est un autre nom de la perte L₂.

Régularisation L₂

Type de régularisation qui pénalise les pondérations proportionnellement à la somme des carrés des pondérations. La régularisation L₂ aide à rapprocher de 0 les pondérations des anomalies (celles dont les valeurs sont positives ou négatives élevées), mais pas tout à fait à 0. Les caractéristiques dont les valeurs sont très proches de 0 restent dans le modèle, mais n'influencent pas beaucoup la prédiction du modèle.

La régularisation L₂ améliore toujours la généralisation dans les modèles linéaires.

À comparer à la régularisation L₁.

étiquette

Dans le machine learning supervisé, la partie "réponse" ou "résultat" d'un exemple.

Chaque exemple étiqueté se compose d'une ou de plusieurs caractéristiques et d'une étiquette. Par exemple, dans un ensemble de données de détection de spam, l'étiquette serait probablement "spam" ou "non-spam". Dans un ensemble de données sur les précipitations, l'étiquette peut correspondre à la quantité de pluie tombée au cours d'une certaine période.

exemple étiqueté

Exemple contenant une ou plusieurs caractéristiques et une étiquette. Par exemple, le tableau suivant présente trois exemples étiquetés issus d'un modèle d'évaluation des maisons, chacun avec trois caractéristiques et une étiquette:

En machine learning supervisé, les modèles sont entraînés à partir d'exemples étiquetés et effectuent des prédictions sur des exemples sans étiquette.

Comparer l'exemple étiqueté et les exemples sans étiquette.

fuite d'étiquettes

Un défaut de conception du modèle dans lequel une caractéristique est un proxy de l'étiquette. Prenons l'exemple d'un modèle de classification binaire qui prédit si un client potentiel achètera ou non un produit particulier. Supposons que l'une des caractéristiques du modèle est une valeur booléenne nommée SpokeToCustomerAgent. Supposons en outre qu'un agent client ne soit attribué qu'après que le client potentiel a réellement acheté le produit. Au cours de l'entraînement, le modèle apprend rapidement l'association entre SpokeToCustomerAgent et l'étiquette.

lambda

Synonyme de taux de régularisation.

Lambda est un terme complexe. Nous nous concentrons ici sur la définition du terme dans la régularisation.

LaMDA (Language Model for Dialogue Applications)

Un grand modèle de langage basé sur Transformer et développé par Google, entraîné sur un vaste ensemble de données de dialogues, capable de générer des réponses conversationnelles réalistes.

LaMDA, notre technologie de conversation révolutionnaire, fournit un aperçu de ce projet.

landmarks

Synonyme de points clés.

modèle de langage

model qui estime la probabilité qu'un model ou une séquence de jetons se produisent dans une séquence plus longue de jetons.

grand modèle de langage

Terme informel sans définition stricte, qui désigne généralement un modèle de langage comportant un grand nombre de paramètres. Certains grands modèles de langage contiennent plus de 100 milliards de paramètres.

espace latent

Synonyme d'espace d'intégration.

cachée)

Ensemble de neurones dans un réseau de neurones. Voici trois types courants de couches:

• La couche d'entrée, qui fournit les valeurs de toutes les caractéristiques.
• Une ou plusieurs couches cachées, qui identifient des relations non linéaires entre les caractéristiques et l'étiquette.
• La couche de sortie, qui fournit la prédiction.

Par exemple, l'illustration suivante montre un réseau de neurones avec une couche d'entrée, deux couches cachées et une couche de sortie:

Dans TensorFlow, les couches sont également des fonctions Python qui acceptent des Tensors et des options de configuration en entrée et génèrent d'autres Tensors en sortie.

API Layers (tf.layers)

API TensorFlow permettant de construire un réseau de neurones profond à partir de plusieurs couches. L'API Layers permet de créer différents types de couches, par exemple:

• tf.layers.Dense pour une couche entièrement connectée.
• tf.layers.Conv2D pour une couche convolutive.

L'API Layers respecte les conventions de l'API Keras concernant les couches. Autrement dit, à l'exception d'un préfixe différent, toutes les fonctions de l'API Layers ont les mêmes noms et signatures que leurs homologues dans l'API Keras Layers.

feuille

Tout point de terminaison d'un arbre de décision Contrairement à une condition, une feuille n'effectue pas de test. Une feuille est plutôt une prédiction possible. Une feuille est également le nœud de terminal d'un chemin d'inférence.

Par exemple, l'arbre de décision suivant contient trois feuilles:

Learning Interpretability Tool (LIT)

Un outil visuel et interactif de compréhension des modèles et de visualisation des données.

Vous pouvez utiliser l'outil LIT Open Source pour interpréter des modèles ou pour visualiser du texte, des images et des données tabulaires.

taux d'apprentissage

Nombre à virgule flottante qui indique à l'algorithme de descente de gradient la force d'ajustement des pondérations et des biais à chaque itération. Par exemple, un taux d'apprentissage de 0,3 ajusterait les pondérations et les biais trois fois plus efficacement qu'un taux d'apprentissage de 0,1.

Le taux d'apprentissage est un hyperparamètre clé. Si vous définissez un taux d'apprentissage trop faible, l'entraînement prendra trop de temps. Si vous définissez un taux d'apprentissage trop élevé, la descente de gradient a souvent du mal à atteindre la convergence.

régression des moindres carrés

Un modèle de régression linéaire entraîné en minimisant la perte L₂.

linear

Relation entre deux ou plusieurs variables qui peut être représentée uniquement par l'addition et la multiplication.

Le tracé d'une relation linéaire est une droite.

À comparer à l'non linéaire.

modèle linéaire

Un model qui attribue une model par model pour effectuer des model. (Les modèles linéaires intègrent également un biais.) En revanche, dans les modèles profonds, la relation entre les caractéristiques et les prédictions est généralement non linéaire.

Les modèles linéaires sont généralement plus faciles à entraîner et plus interprétables que les modèles profonds. Cependant, les modèles profonds peuvent apprendre des relations complexes entre caractéristiques.

La régression linéaire et la régression logistique sont deux types de modèles linéaires.

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

régression linéaire

Type de modèle de machine learning dans lequel les deux conditions suivantes sont remplies:

• Il s'agit d'un modèle linéaire.
• La prédiction est une valeur à virgule flottante. (Il s'agit de la partie régression de la régression linéaire.)

Comparer la régression linéaire à la régression logistique. Vous devez aussi comparer la régression à la classification.

LIT

Abréviation de Learning Interpretability Tool (LIT), qui était auparavant appelé "Language Interpretability Tool".

LLM

Abréviation de grand modèle de langage.

régression logistique

Type de modèle de régression qui prédit une probabilité. Les modèles de régression logistique présentent les caractéristiques suivantes:

• L'étiquette est catégorielle. Le terme "régression logistique" fait généralement référence à la régression logistique binaire, c'est-à-dire à un modèle qui calcule des probabilités pour des étiquettes avec deux valeurs possibles. Une variante moins courante, la régression logistique multinomiale, calcule les probabilités pour les étiquettes ayant plus de deux valeurs possibles.
• La fonction de perte pendant l'entraînement est la perte logistique. (Plusieurs unités de perte de journaux peuvent être placées en parallèle pour les étiquettes ayant plus de deux valeurs possibles.)
• Le modèle est doté d'une architecture linéaire et non d'un réseau de neurones profond. Toutefois, le reste de cette définition s'applique également aux modèles profonds qui prédisent des probabilités pour les étiquettes catégorielles.

Prenons l'exemple d'un modèle de régression logistique qui calcule la probabilité qu'un e-mail d'entrée soit du spam ou non. Pendant l'inférence, supposons que le modèle prédit 0,72. Par conséquent, le modèle évalue:

• Une probabilité que l'e-mail soit du spam est de 72 %.
• Une probabilité de 28% que l'e-mail ne soit pas un spam

Un modèle de régression logistique utilise l'architecture en deux étapes suivante:

1. Le modèle génère une prédiction brute (y') en appliquant une fonction linéaire des caractéristiques d'entrée.
2. Le modèle utilise cette prédiction brute comme entrée d'une fonction sigmoïde, qui la convertit en une valeur comprise entre 0 et 1 (exclus).

Comme tout modèle de régression, un modèle de régression logistique prédit un nombre. Cependant, ce nombre fait généralement partie d'un modèle de classification binaire comme suit:

• Si le nombre prédit est supérieur au seuil de classification, le modèle de classification binaire prédit la classe positive.
• Si le nombre prédit est inférieur au seuil de classification, le modèle de classification binaire prédit la classe négative.

fonctions logit

Vecteur de prédictions brutes (non normalisées) généré par un modèle de classification, et généralement transmis à une fonction de normalisation. Si le modèle résout un problème de classification à classes multiples, les fonctions logit deviennent généralement une entrée de la fonction softmax. La fonction softmax génère ensuite un vecteur de probabilités (normalisées) avec une valeur pour chaque classe possible.

Perte logistique

La fonction de perte utilisée dans la régression logistique binaire.

logarithme de cote

Logarithme des cotes d'un événement donné.

Mémoire à long terme (LSTM)

Type de cellule d'un réseau de neurones récurrent, utilisé pour traiter des séquences de données dans des applications telles que la reconnaissance de l'écriture manuscrite, la traduction automatique et les légendes d'images. Les LSTM permettent de résoudre le problème de disparition du gradient qui survient lors de l'entraînement des RNN en raison de longues séquences de données en conservant l'historique dans un état de mémoire interne basé sur les nouvelles entrées et le contexte des cellules précédentes du RNN.

LoRA

Abréviation de adaptabilité de rang faible.

perte

Lors de l'entraînement d'un modèle supervisé, mesure de l'écart entre la prédiction d'un modèle et son étiquette.

La fonction de perte calcule la perte.

agrégateur de perte

Type d'algorithme de machine learning qui améliore les performances d'un modèle en combinant les prédictions de plusieurs modèles et en les utilisant pour effectuer une seule prédiction. Par conséquent, un agrégateur de perte peut réduire la variance des prédictions et en améliorer la précision.

courbe de fonction de perte

Graphique représentant la perte en fonction du nombre d'itérations d'entraînement. Le graphique suivant montre une courbe de fonction de perte typique:

Les courbes de perte peuvent vous aider à déterminer quand votre modèle est convergence ou surapprentissage.

Les courbes de fonction de perte permettent de représenter tous les types de perte suivants:

• perte d'entraînement
• perte de validation
• perte d'évaluation

Voir aussi Courbe de généralisation.

fonction de perte

Pendant l'entraînement ou les tests, une fonction mathématique qui calcule la perte sur un lot d'exemples. Une fonction de perte renvoie une perte plus faible pour les modèles qui réalisent de bonnes prédictions par rapport à ceux qui réalisent de mauvaises prédictions.

L'objectif de l'entraînement est généralement de minimiser la perte renvoyée par une fonction de perte.

Il existe de nombreux types de fonctions de perte différents. Choisissez la fonction de perte adaptée au type de modèle que vous créez. Exemple :

• La perte L₂ (ou erreur quadratique moyenne) est la fonction de perte de la régression linéaire.
• La perte logistique est la fonction de perte de la régression logistique.

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

  f(x, y) = 3x -5xy + y2 + 17

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

  height > width

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%