Machine Learning Glossary

In diesem Glossar werden allgemeine Begriffe des maschinellen Lernens sowie spezifische Begriffe für TensorFlow definiert.

A

Ablation

Ein Verfahren zur Bewertung der Bedeutung eines Features oder einer Komponente durch vorübergehendes Entfernen aus einem Modell. Anschließend trainieren Sie das Modell ohne dieses Feature oder diese Komponente neu. Wenn das neu trainierte Modell deutlich schlechter abschneidet, war das entfernte Feature oder die entfernte Komponente wahrscheinlich wichtig.

Angenommen, Sie trainieren ein Klassifizierungsmodell für 10 Features und erreichen im Test-Dataset eine Genauigkeit von 88 %. Um die Wichtigkeit des ersten Features zu prüfen, können Sie das Modell nur mit den neun anderen Merkmalen neu trainieren. Wenn das neu trainierte Modell deutlich schlechter abschneidet (z. B. eine Genauigkeit von 55 %), war das entfernte Feature wahrscheinlich wichtig. Umgekehrt gilt: Wenn das neu trainierte Modell gleich gut funktioniert, wäre dieses Feature wahrscheinlich nicht so wichtig.

Ablation kann auch dabei helfen, die Bedeutung von:

• Größere Komponenten, z. B. das gesamte Subsystem eines größeren ML-Systems
• Prozesse oder Techniken, z. B. ein Schritt zur Datenvorverarbeitung

In beiden Fällen können Sie beobachten, wie sich die Systemleistung ändert (oder nicht ändert), nachdem Sie die Komponente entfernt haben.

A/B-Tests

Eine statistische Methode zum Vergleich von zwei (oder mehr) Techniken – dem A und dem B. Normalerweise ist A eine vorhandene Technik und B eine neue Technik. Mit A/B-Tests wird nicht nur ermittelt, welches Verfahren besser funktioniert, sondern auch, ob der Unterschied statistisch signifikant ist.

Bei A/B-Tests wird in der Regel ein einzelner Messwert für zwei Techniken verglichen. Wie lässt sich beispielsweise die Modellgenauigkeit bei zwei Techniken vergleichen? Bei A/B-Tests kann jedoch auch eine beliebige endliche Anzahl von Messwerten verglichen werden.

Beschleuniger-Chip

Kategorie spezialisierter Hardwarekomponenten zur Durchführung wichtiger Berechnungen für Deep-Learning-Algorithmen.

Beschleunigerchips (oder kurz Beschleuniger) können die Geschwindigkeit und Effizienz von Trainings- und Inferenzaufgaben im Vergleich zu einer Allzweck-CPU erheblich erhöhen. Sie eignen sich ideal für das Training neuronaler Netzwerke und ähnliche rechenintensive Aufgaben.

Beispiele für Beschleuniger-Chips:

• Tensor Processing Units (TPUs) von Google mit dedizierter Hardware für Deep Learning.
• Die GPUs von NVIDIA, die ursprünglich für die Grafikverarbeitung entwickelt wurden, ermöglichen eine parallele Verarbeitung, die die Verarbeitungsgeschwindigkeit erheblich erhöhen kann.

Genauigkeit

Die Anzahl der Vorhersagen für die korrekte Klassifizierung geteilt durch die Gesamtzahl der Vorhersagen. Das bedeutet:

Ein Modell, das 40 richtige und 10 falsche Vorhersagen getroffen hat, hat beispielsweise eine Genauigkeit von:

Die Binärklassifizierung liefert spezifische Namen für die verschiedenen Kategorien richtiger Vorhersagen und falscher Vorhersagen. Die Genauigkeitsformel für die binäre Klassifizierung lautet also wie folgt:

Dabei gilt:

• TP ist die Anzahl der richtig positiven Ergebnisse (richtige Vorhersagen).
• TN ist die Anzahl der richtigen negativen Ergebnisse (richtige Vorhersagen).
• FP ist die Anzahl der falsch positiven Ergebnisse (falsche Vorhersagen).
• FN ist die Anzahl der falsch negativen Ergebnisse (falsche Vorhersagen).

Vergleichen Sie die Genauigkeit mit Precision und Recall.

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

Aktion

Beim bestärkenden Lernen der Mechanismus, mit dem der Agent zwischen Zuständen der Umgebung wechselt. Der Agent wählt die Aktion mithilfe einer Richtlinie aus.

Aktivierungsfunktion

Eine Funktion, mit der neuronale Netzwerke nicht lineare (komplexe) Beziehungen zwischen Features und dem Label lernen können.

Beliebte Aktivierungsfunktionen sind:

• ReLU
• Sigmoid

Die Diagramme von Aktivierungsfunktionen sind niemals gerade Linien. Beispielsweise besteht das Diagramm der ReLU-Aktivierungsfunktion aus zwei geraden Linien:

Ein Diagramm der Sigmoid-Aktivierungsfunktion sieht so aus:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

aktives Lernen

Ein Trainingsansatz, bei dem der Algorithmus einige der Daten auswählt, aus denen er lernt. Aktives Lernen ist besonders nützlich, wenn Beispiele mit Labels knapp oder teuer zu beschaffen sind. Anstatt blind nach einer Vielzahl von Beispielen mit Labels zu suchen, sucht ein aktiver Lernalgorithmus selektiv nach dem bestimmten Bereich von Beispielen, die zum Lernen benötigt werden.

AdaGrad

Einen ausgefeilten Algorithmus für den Gradientenabstieg, der die Gradienten jedes Parameters neu skaliert und jedem Parameter effektiv eine unabhängige Lernrate zuweist. Eine ausführliche Erläuterung finden Sie in diesem AdaGrad-Dokument.

Agent

Beim bestärkenden Lernen die Entität, die eine Richtlinie verwendet, um die erwartete Rendite zu maximieren, die aus dem Wechsel zwischen Zuständen der Umgebung erzielt wird.

Im Allgemeinen ist ein Agent Software, die automatisch eine Reihe von Aktionen zur Verfolgung eines Ziels plant und ausführt und sich an Änderungen in der Umgebung anpasst. Beispielsweise können LLM-basierte Agents das LLM verwenden, um einen Plan zu erstellen, anstatt eine Richtlinie für Reinforcement Learning anzuwenden.

Agglomeratives Clustering

Siehe Hierarchisches Clustering.

Anomalieerkennung

Prozess der Identifizierung von Ausreißern. Wenn der Mittelwert für ein bestimmtes Feature beispielsweise 100 mit einer Standardabweichung von 10 beträgt, sollte die Anomalieerkennung einen Wert von 200 als verdächtig markieren.

AR

Abkürzung für Augmented Reality.

Bereich unter der PR-Kurve

Siehe PR AUC (Area under the PR Curve).

Bereich unter der ROC-Kurve

Siehe AUC (Bereich unter der ROC-Kurve).

künstliche allgemeine Intelligenz

Ein nicht menschlicher Mechanismus, der ein breites Spektrum an Problemlösung, Kreativität und Anpassungsfähigkeit demonstriert. Ein Programm, das künstliche Intelligenz demonstriert, könnte beispielsweise Text übersetzen, Symphonien komponieren und sich bei Spielen durchsetzen, die noch nicht erfunden wurden.

künstliche Intelligenz

Ein nicht-menschliches Programm oder model, das komplexe Aufgaben lösen kann. Beispielsweise ist ein Programm oder Modell, das Text übersetzt, oder ein Programm oder Modell, das Krankheiten in radiologischen Bildern identifiziert, beide mit künstlicher Intelligenz.

Formal ist maschinelles Lernen ein Teilbereich der künstlichen Intelligenz. In den letzten Jahren haben einige Unternehmen jedoch damit begonnen, die Begriffe künstliche Intelligenz und maschinelles Lernen synonym zu verwenden.

aufmerksamkeit

Mechanismus in einem neuronalen Netzwerk, der die Bedeutung eines bestimmten Wortes oder Teils eines Worts angibt. Attention komprimiert die Menge an Informationen, die ein Modell benötigt, um das nächste Token/Wort vorherzusagen. Ein typischer Aufmerksamkeitsmechanismus kann aus einer gewichteten Summe über eine Reihe von Eingaben bestehen, wobei die Gewichtung für jede Eingabe von einem anderen Teil des neuronalen Netzwerks berechnet wird.

Weitere Informationen finden Sie unter Selbstaufmerksamkeit und Mehrkopf-Selbstaufmerksamkeit, die die Bausteine von Transformer sind.

Attribut

Synonym für feature.

Bei der Fairness beim maschinellen Lernen beziehen sich Attribute häufig auf Eigenschaften, die Einzelpersonen betreffen.

Stichprobenerhebung für Attribute

Taktik zum Trainieren einer Entscheidungsstruktur, bei der jeder Entscheidungsbaum beim Erlernen der Bedingung nur eine zufällige Teilmenge möglicher Features berücksichtigt. In der Regel wird für jeden Knoten eine andere Teilmenge von Features abgefragt. Im Gegensatz dazu werden beim Trainieren eines Entscheidungsbaums ohne Attribut-Sampling alle möglichen Merkmale für jeden Knoten berücksichtigt.

AUC (Bereich unter der ROC-Kurve)

Eine Zahl zwischen 0,0 und 1,0, die die Fähigkeit eines binären Klassifizierungsmodells darstellt, positive Klassen von negativen Klassen zu trennen. Je näher die AUC an 1,0 liegt, desto besser kann das Modell Klassen voneinander trennen.

Die folgende Abbildung zeigt beispielsweise ein Klassifikatormodell, das positive Klassen (grüne Ovale) perfekt von negativen Klassen (lila Rechtecken) trennt. Dieses unrealistisch perfekte Modell hat eine AUC von 1,0:

Umgekehrt zeigt die folgende Abbildung die Ergebnisse für ein Klassifikatormodell, das zufällige Ergebnisse generiert hat. Dieses Modell hat eine AUC von 0,5:

Ja, das vorherige Modell hat eine AUC von 0,5, nicht 0,0.

Die meisten Modelle befinden sich irgendwo zwischen zwei Extremen. Zum Beispiel trennt das folgende Modell Positive von negativen Werten etwas, sodass eine AUC irgendwo zwischen 0,5 und 1,0 liegt:

AUC ignoriert alle Werte, die Sie für den Klassifizierungsschwellenwert festgelegt haben. Stattdessen berücksichtigt AUC alle möglichen Klassifizierungsschwellenwerte.

augmented reality

Eine Technologie, die ein computergeneriertes Bild über die Sicht eines Nutzers auf die reale Welt blendet und so eine zusammengesetzte Ansicht liefert.

Autoencoder

Ein System, das lernt, die wichtigsten Informationen aus der Eingabe zu extrahieren. Autoencoder sind eine Kombination aus einem Encoder und Decodierer. Autoencoder basieren auf dem folgenden zweistufigen Prozess:

1. Der Encoder ordnet die Eingabe einem (in der Regel verlustbehafteten) niedrigdimensionalen (Zwischen)format zu.
2. Der Decoder erstellt eine verlustbehaftete Version der ursprünglichen Eingabe, indem er das niedrigdimensionale Format dem ursprünglichen, höherdimensionalen Eingabeformat zuordnet.

Autoencoder werden durchgängig trainiert, indem sie versuchen, die ursprüngliche Eingabe aus dem Zwischenformat des Encoders so genau wie möglich zu rekonstruieren. Da das Zwischenformat kleiner (niedrigerer Dimension) als das Originalformat ist, ist der Autoencoder gezwungen zu lernen, welche Informationen in der Eingabe wichtig sind. Die Ausgabe ist dann nicht exakt mit der Eingabe identisch.

Beispiel:

• Wenn es sich bei den Eingabedaten um eine Grafik handelt, ähnelt die nicht exakte Kopie der Originalgrafik, könnte aber etwas abgeändert werden. Vielleicht werden bei der ungenauen Kopie Rauschen aus der Originalgrafik entfernt oder einige fehlende Pixel eingefügt.
• Wenn die Eingabedaten Text sind, generiert ein Autoencoder neuen Text, der den Originaltext nachahmt (aber nicht damit identisch ist).

Weitere Informationen finden Sie unter Variative Autoencoder.

Automatisierungsverzerrung

Wenn ein menschlicher Entscheidungsträger Empfehlungen eines automatisierten Entscheidungssystems gegenüber Informationen ohne Automatisierung bevorzugt, auch wenn das automatisierte Entscheidungssystem Fehler macht.

AutoML

Jeder automatisierte Prozess zum Erstellen von Modellen für maschinelles Lernen. AutoML kann z. B. automatisch die folgenden Aufgaben ausführen:

• Suchen Sie nach dem Modell, das am besten geeignet ist.
• Stimmen Sie Hyperparameter ab.
• Daten vorbereiten (einschließlich Feature Engineering)
• Stellen Sie das resultierende Modell bereit.

AutoML ist für Data Scientists nützlich, da es ihnen bei der Entwicklung von ML-Pipelines Zeit und Aufwand ersparen und die Vorhersagegenauigkeit verbessern kann. Es ist auch für Laien nützlich, da es komplizierte ML-Aufgaben für sie leichter zugänglich macht.

automatisch regressives Modell

Ein model, das eine Vorhersage anhand seiner eigenen vorherigen Vorhersagen leitet. Automatisch regressive Sprachmodelle sagen beispielsweise das nächste Token basierend auf den zuvor vorhergesagten Tokens voraus. Alle Transformer-basierten Large Language Models sind automatisch regressiv.

Im Gegensatz dazu sind GAN-basierte Bildmodelle normalerweise nicht automatisch regressiv, da sie ein Bild in einem einzigen Vorwärtsdurchlauf und nicht iterativ in Schritten generieren. Bestimmte Bildgenerierungsmodelle sind jedoch automatisch regressiv, da sie das Bild schrittweise generieren.

Hilfsverlust

Eine Verlustfunktion, die in Verbindung mit der Hauptverlustfunktion eines neuronalen Netzwerks Modells verwendet wird und dazu beiträgt, das Training während der frühen Iterationen zu beschleunigen, wenn Gewichtungen zufällig initialisiert werden.

Hilfsverlustfunktionen übertragen effektive Verläufe an die früheren Ebenen. Dies erleichtert die Konvergenz während des Trainings, da das Problem mit dem Gradientenverschwinden beseitigt wird.

durchschnittliche Precision

Messwert zum Zusammenfassen der Leistung einer Rangfolge von Ergebnissen. Zur Berechnung der durchschnittlichen Precision wird der Durchschnitt der depth-Werte für jedes relevante Ergebnis berechnet (jedes Ergebnis in der Rangliste, in der sich der Recall im Verhältnis zum vorherigen Ergebnis erhöht).

Siehe auch Fläche unter der PR-Kurve.

Achsenausrichtung

In einem Entscheidungsbaum eine Bedingung, die nur ein einziges Feature umfasst. Wenn die Fläche beispielsweise ein Element ist, lautet die Bedingung für die Achsenausrichtung:

area > 200

Kontrast zur schrägen Bedingung

B

Rückpropagierung

Der Algorithmus, der den Gradientenabstieg in neuronalen Netzwerken implementiert.

Das Training eines neuronalen Netzwerks beinhaltet viele Iterationen des folgenden Zyklus mit zwei Durchläufen:

1. Während der Vorwärtsterminierung verarbeitet das System einen Batch von Beispielen, um Vorhersagen zu erhalten. Das System vergleicht jede Vorhersage mit jedem label-Wert. Die Differenz zwischen der Vorhersage und dem Labelwert ist der Verlust in diesem Beispiel. Das System aggregiert die Verluste für alle Beispiele, um den Gesamtverlust für den aktuellen Batch zu berechnen.
2. Während der Rückwärtspropagierung (Rückpropagierung) reduziert das System den Verlust, da die Gewichtung aller Neuronen in allen verborgenen Schichten angepasst wird.

Neuronale Netzwerke umfassen oft viele Neuronen auf vielen verborgenen Schichten. Jedes dieser Neuronen trägt auf unterschiedliche Weise zum Gesamtverlust bei. Die Rückpropagierung bestimmt, ob die auf bestimmte Neuronen angewendeten Gewichtungen erhöht oder verringert werden sollen.

Die Lernrate ist ein Multiplikator, der den Grad steuert, um den die Gewichtung bei jedem Rückwärtsgang erhöht oder verringert wird. Eine große Lernrate erhöht oder verringert jede Gewichtung mehr als eine geringe Lernrate.

In rechnerischer Hinsicht implementiert die Rückpropagierung die Kettenregel aus Kalkulation. Das heißt, bei der Rückpropagierung wird die partielle Ableitung des Fehlers in Bezug auf jeden Parameter berechnet.

Vor Jahren mussten ML-Anwender Code schreiben, um die Rückpropagierung zu implementieren. Moderne ML-APIs wie TensorFlow implementieren jetzt die Rückpropagierung für Sie. Geschafft!

Bagging

Eine Methode zum Trainieren eines Ensembles, bei der jedes einzelne Modell mit einer zufälligen Teilmenge von Trainingsbeispielen trainiert wird, die mit Ersatzstichproben erfasst wurden. Ein Random Forest ist beispielsweise eine Sammlung von Entscheidungsbäumen, die mit Bagging trainiert wurden.

Bagging steht für Aggregating von Schnürsenkeln.

Bag of Words

Darstellung der Wörter in einer Wortgruppe oder Passage, unabhängig von deren Reihenfolge. Beispielsweise stellt eine Bag of Words die folgenden drei Sätze identisch dar:

• Der Hund springt
• springt den Hund
• Hund springt

Jedes Wort wird einem Index in einem dünnen Vektor zugeordnet, wobei der Vektor einen Index für jedes Wort im Vokabular hat. Beispielsweise wird der Ausdruck der Hund springt einem Featurevektor mit Werten ungleich null in den drei Indexen zugeordnet, die den Wörtern the, dog und jumps entsprechen. Bei einem Wert ungleich null kann es sich um einen der folgenden Werte handeln:

• Eine 1, die angibt, dass ein Wort vorhanden ist.
• Gibt an, wie oft ein Wort in einer Tasche erscheint. Wenn die Formulierung beispielsweise the kastanthund ist ein Hund mit kastanienbraunem Fell lautet, würden sowohl maroon als auch dog als 2 dargestellt und die anderen Wörter als 1.
• Ein anderer Wert, z. B. der Logarithmus der Häufigkeit, mit der ein Wort in einem Paket vorkommt.

baseline

Ein model, das als Bezugspunkt zum Vergleich der Leistung eines anderen (in der Regel komplexeren) Modells verwendet wird. Ein logistisches Regressionsmodell kann beispielsweise als gute Referenz für ein tiefes Modell dienen.

Bei einem bestimmten Problem hilft die Referenz Modellentwicklern dabei, die minimale erwartete Leistung zu quantifizieren, die ein neues Modell erreichen muss, damit es nützlich ist.

Batch

Die Beispiele, die in einer Trainingsdurchlaufphase verwendet werden. Die Batchgröße bestimmt die Anzahl der Beispiele in einem Batch.

Wie sich ein Batch auf eine Epoche bezieht, wird unter Epoche erläutert.

Batch-Inferenz

Der Prozess des Ableitens von Vorhersagen für mehrere Beispiele ohne Label, unterteilt in kleinere Teilmengen („Batches“).

Für die Batchinferenz können die Parallelisierungsfeatures von Beschleuniger-Chips genutzt werden. Das heißt, mehrere Beschleuniger können gleichzeitig Vorhersagen für verschiedene Batches von Beispielen ohne Label ableiten, wodurch die Anzahl der Inferenzen pro Sekunde drastisch erhöht wird.

Batchnormalisierung

Normalisierung der Ein- und Ausgabe der Aktivierungsfunktionen in einer verborgenen Ebene Die Batchnormalisierung bietet folgende Vorteile:

• Machen Sie neuronale Netzwerke stabiler, indem Sie sie vor Ausreißergewichtungen schützen.
• Aktivieren Sie höhere Lernraten, wodurch das Training beschleunigt werden kann.
• Reduzieren Sie Überanpassung.

Batchgröße

Die Anzahl der Beispiele in einem Batch. Wenn die Batchgröße beispielsweise 100 beträgt, verarbeitet das Modell 100 Beispiele pro Iteration.

Im Folgenden sind beliebte Strategien für die Batchgröße aufgeführt:

• Stochastic Gradient Descent (SGD) mit einer Batchgröße von 1.
• Vollständiger Batch, bei dem die Batchgröße der Anzahl der Beispiele im gesamten Trainings-Dataset entspricht. Wenn das Trainings-Dataset beispielsweise eine Million Beispiele enthält, wäre die Batchgröße eine Million Beispiele. Ein vollständiger Batch ist normalerweise eine ineffiziente Strategie.
• Mini-Batch, bei dem die Batchgröße normalerweise zwischen 10 und 1.000 liegt. Mini-Batches sind normalerweise die effizienteste Strategie.

Bayessches neuronales Netzwerk

Ein probabilistisches neuronales Netzwerk, das Unsicherheit in Gewichtungen und Ausgaben berücksichtigt. Ein Regressionsmodell für ein neuronales Standardnetzwerk prognostiziert normalerweise einen skalaren Wert. Ein Standardmodell prognostiziert beispielsweise einen Hauspreis von 853.000. Im Gegensatz dazu prognostiziert ein Bayes'sches neuronales Netzwerk eine Verteilung von Werten. Beispielsweise prognostiziert ein bayessches Modell einen Hauspreis von 853.000 mit einer Standardabweichung von 67.200.

Ein Bayes'sches neuronales Netzwerk stützt sich auf den Bayesschen Satz, um Unsicherheiten in Gewichtungen und Vorhersagen zu berechnen. Ein Bayes'sches neuronales Netzwerk kann nützlich sein, wenn es wichtig ist, Unsicherheit zu quantifizieren, beispielsweise bei Modellen für Arzneimittel. Bayessche neuronale Netzwerke können auch dazu beitragen, eine Überanpassung zu vermeiden.

Bayes'sche Optimierung

Verfahren eines probabilistischen Regressionsmodells zur Optimierung rechenintensiver Zielfunktionen. Stattdessen wird ein Ersatzwert optimiert, der die Unsicherheit mithilfe eines bayesschen Lernverfahrens quantifiziert. Da die Bayes'sche Optimierung selbst sehr teuer ist, wird sie in der Regel verwendet, um kostenintensive Aufgaben zu optimieren, die eine kleine Anzahl von Parametern haben, z. B. die Auswahl von Hyperparametern.

Bellman-Gleichung

Beim Reinforcement Learning die folgende Identität, die von der optimalen Q-Funktion erfüllt wird:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

Algorithmen für Reinforcement Learning wenden diese Identität an, um Q-Learning anhand der folgenden Aktualisierungsregel zu erstellen:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

Die Bellman-Gleichung kann nicht nur für bestärkendes Lernen verwendet werden, sondern auch für die dynamische Programmierung. Weitere Informationen finden Sie im Wikipedia-Eintrag zur Bellman-Gleichung.

BERT (Bidirektionale Encoder-Darstellungen von Transformers)

Eine Modellarchitektur für die Textdarstellung. Ein trainiertes BERT-Modell kann als Teil eines größeren Modells für die Textklassifizierung oder andere ML-Aufgaben fungieren.

BERT hat die folgenden Eigenschaften:

• Verwendet die Transformer-Architektur und ist daher auf Selbstaufmerksamkeit angewiesen.
• Verwendet den Encoder-Teil des Transformers. Die Aufgabe des Encoders besteht darin, gute Textdarstellungen zu erzeugen, anstatt eine bestimmte Aufgabe wie die Klassifizierung auszuführen.
• Sie ist bidirektional.
• Verwendet Maskierung für unüberwachtes Training.

Zu den BERT-Varianten gehören:

• ALBERT, ein Akronym für A Light BERT.
• LaBSE

Eine Übersicht über BERT finden Sie unter BERT für Open Sourcing: hochmodernes Pre-Training für Natural Language Processing.

Voreingenommenheit (Ethik/Fairness)

1. Vorurteile, Vorurteile oder Bevorzugung bestimmter Dinge, Personen oder Gruppen gegenüber anderen. Diese Voreingenommenheiten können sich auf die Erfassung und Interpretation von Daten, das Design eines Systems und die Interaktion der Nutzer mit einem System auswirken. Zu diesen Formen von Verzerrungen gehören:

• Automatisierungsverzerrung
• Bestätigungsverzerrung
• Voreingenommenheit der Experimentatoren
• Gruppenattributionsverzerrung
• impliziter Bias
• In-Group-Verzerrungen
• Homogenitätsverzerrung

2. Systematischer Fehler, der durch eine Stichproben- oder Meldemethode verursacht wird. Zu diesen Formen von Verzerrungen gehören:

• Abdeckungsfehler
• Non-Response-Verzerrungen
• Teilnahmeverzerrung
• Berichtsverzerrung
• Stichprobenverzerrung
• Auswahlverzerrung

Nicht zu verwechseln mit dem Begriff in ML-Modellen oder der Vorhersageverzerrung.

Verzerrung (Mathematik) oder Bias-Begriff

Ein Achsenabschnitt oder Versatz von einem Ursprung. Verzerrung ist ein Parameter in Modellen für maschinelles Lernen, der durch eines der folgenden Elemente symbolisiert wird:

• b
• W₀

Verzerrungen sind beispielsweise das b in der folgenden Formel:

Bei einer einfachen zweidimensionalen Linie bedeutet Verzerrung einfach "y-Achsenabschnitt". Die Verzerrung der Linie in der folgenden Abbildung beträgt beispielsweise 2.

Verzerrung liegt vor, weil nicht alle Modelle am Ursprung (0,0) beginnen. Beispiel: Ein Freizeitpark kostet 2 € und für jede Stunde, die ein Kunde übernachtet, weitere 0,5 €. Daher hat ein Modell, das die Gesamtkosten zuordnet, eine Verzerrung von 2, da die niedrigsten Kosten 2 € betragen.

Voreingenommenheit ist nicht zu verwechseln mit Voreingenommenheit in Bezug auf Ethik und Fairness oder Vorhersageverzerrungen.

bidirektional

Begriff zur Beschreibung eines Systems, das den Text auswertet, der sowohl vorangegangen als auch nach einem Zieltextabschnitt folgt. Im Gegensatz dazu wertet ein unidirektionales System nur den Text aus, der einem Zieltextabschnitt vorher ist.

Nehmen wir als Beispiel ein maskiertes Sprachmodell, das in der folgenden Frage Wahrscheinlichkeiten für das Wort oder die Wörter bestimmen muss, die den Unterstrich darstellen:

Was ist _____ bei dir?

Ein unidirektionales Sprachmodell müsste seine Wahrscheinlichkeiten nur auf dem Kontext stützen, der von den Wörtern "Was", "ist" und "der" bereitgestellt wird. Im Gegensatz dazu könnte ein bidirektionales Sprachmodell auch Kontext von „mit“ und „Sie“ erhalten, was dem Modell helfen kann, bessere Vorhersagen zu generieren.

Bidirektionales Sprachmodell

Ein Sprachmodell, das auf Basis des vorherigen und folgenden Textes die Wahrscheinlichkeit bestimmt, dass ein bestimmtes Token an einer bestimmten Stelle in einem Textauszug vorhanden ist.

Bigram

Ein N-Gramm mit N=2.

Binäre Klassifizierung

Eine Art der Klassifizierungsaufgabe, die eine von zwei sich gegenseitig ausschließende Klassen vorhersagt:

• die positive Klasse
• die negative Klasse

Die folgenden beiden ML-Modelle führen beispielsweise jeweils eine binäre Klassifizierung durch:

• Ein Modell, das bestimmt, ob E-Mail-Nachrichten Spam (positive Klasse) oder kein Spam (negative Klasse) sind.
• Ein Modell, das medizinische Symptome bewertet, um festzustellen, ob eine Person eine bestimmte Krankheit (die positive Klasse) oder nicht diese Krankheit hat (die negative Klasse).

Im Kontrast zur Klassifizierung mit mehreren Klassen stehen.

Siehe auch logistische Regression und Klassifizierungsschwellenwert.

Binärbedingung

In einem Entscheidungsbaum eine Bedingung, die nur zwei mögliche Ergebnisse hat, in der Regel yes oder no. Das folgende Beispiel ist eine binäre Bedingung:

temperature >= 100

Im Kontrast zur nicht binären Bedingung stehen.

Gruppieren

Synonym für bucketing.

BLEU (Bilingual Evaluation Understudy)

Ein Wert zwischen 0, 0 und einschließlich 1, 0, der die Qualität einer Übersetzung zwischen zwei menschlichen Sprachen (z.B.zwischen Englisch und Russisch) angibt. Ein BLEU-Wert von 1,0 zeigt eine perfekte Übersetzung an, ein BLEU-Wert von 0,0 auf eine schlechte Übersetzung.

Boosting

Verfahren des maschinellen Lernens, das eine Reihe einfacher und nicht sehr genauer Klassifikatoren (sogenannte schwache Klassifikatoren genannt) iterativ zu einem Klassifikator mit hoher Genauigkeit (einem „starken“ Klassifikator) kombiniert, indem die Beispiele, die das Modell derzeit falsch klassifiziert, hochgeskaliert werden.

Begrenzungsrahmen

In einem Bild die Koordinaten (x, y) eines Rechtecks um einen Bereich von Interesse, wie den Hund im Bild unten.

Broadcasting

Erweiterung der Form eines Operanden in einer mathematischen Matrixoperation auf Dimensionen, die für diese Operation kompatibel sind. Bei der linearen Algebra müssen beispielsweise die beiden Operanden in einer Matrixaddierung die gleichen Maße haben. Folglich können Sie keine Matrix der Form (m, n) zu einem Vektor der Länge n hinzufügen. Broadcasting ermöglicht diesen Vorgang, indem der Vektor der Länge n virtuell auf eine Matrix der Form (m, n) erweitert wird, indem dieselben Werte in jeder Spalte nach unten repliziert werden.

Angesichts der folgenden Definitionen verbietet die lineare Algebra beispielsweise A+B, da A und B unterschiedliche Dimensionen haben:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

Broadcasting ermöglicht jedoch die Operation A+B durch die virtuelle Erweiterung von B auf:

 [[2, 2, 2],
  [2, 2, 2]]

Daher ist A+B jetzt eine gültige Operation:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

Weitere Informationen finden Sie in der folgenden Beschreibung der Übertragung in NumPy.

Bucketing

Konvertieren eines einzelnen Merkmals in mehrere binäre Merkmale, die als Buckets oder bins bezeichnet werden, in der Regel auf der Grundlage eines Wertebereichs. Das ausgewählte Element ist in der Regel ein kontinuierliches Element.

Anstatt die Temperatur als einzelnes kontinuierliches Gleitkommaelement darzustellen, können Sie beispielsweise Temperaturbereiche in separate Buckets aufteilen, z. B.:

• <= 10 Grad Celsius wäre der „kalte“ Bucket.
• 11 bis 24 °C wäre der „gemäße“-Bucket.
• >= 25 Grad Celsius wäre der „warme“ Bucket.

Das Modell behandelt jeden Wert im selben Bucket gleich. Beispielsweise befinden sich die Werte 13 und 22 beide im gemäßigten Bucket, sodass das Modell die beiden Werte gleich behandelt.

C

Kalibrierungsschicht

Eine Anpassung nach der Vorhersage, in der Regel zur Berücksichtigung von Vorhersageverzerrungen. Die angepassten Vorhersagen und Wahrscheinlichkeiten sollten der Verteilung eines beobachteten Satzes von Labels entsprechen.

Kandidatengenerierung

Der erste Satz Empfehlungen, die von einem Empfehlungssystem ausgewählt wurden. Nehmen wir z. B. einen Buchladen mit 100.000 Titeln. In der Phase der Kandidatenerstellung wird eine viel kleinere Liste geeigneter Bücher für einen bestimmten Nutzer erstellt, z. B. 500. Aber selbst 500 Bücher sind viel zu viele, um sie einem Nutzer zu empfehlen. Nachfolgende, teurere Phasen eines Empfehlungssystems (z. B. Bewertung und Neurangierung) reduzieren diese 500 auf einen viel kleineren, nützlicheren Satz von Empfehlungen.

Stichprobenerhebung bei Kandidaten

Optimierung während der Trainingszeit, die eine Wahrscheinlichkeit für alle positiven Labels berechnet, beispielsweise unter Verwendung von Softmax, aber nur für eine Zufallsstichprobe negativer Labels. Beim Beispiel mit den Bezeichnungen beagle und dog werden bei der Kandidatenstichprobe die vorhergesagten Wahrscheinlichkeiten und die entsprechenden Verlustbegriffe für Folgendes berechnet:

• Beagle
• Hund
• Eine zufällige Teilmenge der verbleibenden negativen Klassen (z. B. cat, lollipop, fence).

Die Idee dahinter ist, dass die negativen Klassen aus weniger häufig negativer Verstärkung lernen können, solange die positiven Klassen immer eine ordnungsgemäß positive Verstärkung erhalten. Dies wird tatsächlich empirisch beobachtet.

Die Stichprobennahme ist recheneffizienter als Trainingsalgorithmen, die Vorhersagen für alle negativen Klassen berechnen, insbesondere wenn die Anzahl der negativen Klassen sehr groß ist.

Kategorische Daten

Elemente mit einem bestimmten Satz möglicher Werte. Nehmen wir als Beispiel ein kategoriales Feature mit dem Namen traffic-light-state, das nur einen der folgenden drei möglichen Werte haben kann:

• red
• yellow
• green

Durch die Darstellung von traffic-light-state als kategoriales Merkmal kann ein Modell die unterschiedlichen Auswirkungen von red, green und yellow auf das Fahrverhalten lernen.

Kategorische Merkmale werden manchmal als diskrete Merkmale bezeichnet.

Einen Kontrast zu numerischen Daten

kausales Language Model

Synonym für unidirektionales Sprachmodell.

Informationen zum Kontrast zwischen verschiedenen Richtungsansätzen bei der Sprachmodellierung finden Sie unter bidirektionales Sprachmodell.

Schwerpunkt

Der Mittelpunkt eines Clusters, der durch einen k-Means- oder k-median-Algorithmus festgelegt wird. Wenn beispielsweise k 3 ist, findet der k-Means- oder k-Median-Algorithmus 3 Schwerpunkte.

Schwerpunktbasiertes Clustering

Eine Kategorie von Clustering-Algorithmen, die Daten in nicht hierarchischen Clustern organisieren. k-Means ist der am häufigsten verwendete zentroidbasierte Clustering-Algorithmus.

Im Gegensatz zu hierarchischen Clustering-Algorithmen.

Chain-of-Thought Prompting

Prompt Engineering, bei der ein Large Language Model (LLM) dazu animiert wird, seine Gründe Schritt für Schritt zu erklären. Betrachten Sie beispielsweise den folgenden Prompt und achten Sie dabei besonders auf den zweiten Satz:

Wie viele g-Kräfte würde ein Fahrer in einem Auto erleben, das in 7 Sekunden von 0 auf 60 Meilen pro Stunde fährt? Zeigen Sie in der Antwort alle relevanten Berechnungen an.

Die Antwort des LLM würde wahrscheinlich:

• Zeigen Sie eine Reihe physikalischer Formeln, wobei Sie die Werte 0, 60 und 7 an der richtigen Stelle einfügen.
• Erklären Sie, warum diese Formeln gewählt wurden und was die verschiedenen Variablen bedeuten.

Eine Denkkette zwingt das LLM, alle Berechnungen durchzuführen, was zu einer richtigeren Antwort führen kann. Darüber hinaus können Nutzer mithilfe von Chain-of-Though-Prompts die Schritte des LLM prüfen, um festzustellen, ob die Antwort sinnvoll ist.

Chat

Inhalt eines wechselseitigen Dialogs mit einem ML-System, in der Regel ein Large Language Model. Die vorherige Interaktion in einem Chat (was Sie eingegeben haben und wie das Large Language Model geantwortet hat) wird zum Kontext für nachfolgende Teile des Chats.

Ein Chatbot ist eine Anwendung eines Large Language Model.

checkpoint

Daten, die den Status der Parameter eines Modells bei einem bestimmten Trainingsdurchlauf erfassen. Prüfpunkte ermöglichen das Exportieren von Modellgewichtungen oder das Ausführen von Trainings über mehrere Sitzungen hinweg. Prüfpunkte ermöglichen auch das Training früherer Fehler (z. B. Jobpräemption).

Bei der Feinabstimmung ist der Ausgangspunkt für das Training des neuen Modells ein bestimmter Prüfpunkt des vortrainierten Modells.

Klasse

Eine Kategorie, zu der ein Label gehören kann. Beispiel:

• In einem binären Klassifizierungsmodell, das Spam erkennt, können die beiden Klassen Spam und kein Spam sein.
• In einem Klassifizierungsmodell mit mehreren Klassen, das Hunderassen identifiziert, können die Klassen Pudel, Beagle, Mops usw. sein.

Ein Klassifizierungsmodell sagt eine Klasse vorher. Im Gegensatz dazu sagt ein Regressionsmodell eine Zahl und nicht eine Klasse vorher.

Klassifizierungsmodell

Ein model, dessen Vorhersage eine model ist. Im Folgenden finden Sie alle Klassifizierungsmodelle:

• Ein Modell, das die Sprache eines Eingabesatzes vorhersagt (Französisch? Spanisch? Italienisch?).
• Ein Modell, das Baumarten vorhersagt (Maple? Oak? Affenbrot?).
• Ein Modell, das die positive oder negative Klasse für eine bestimmte Erkrankung vorhersagt.

Im Gegensatz dazu sagen Regressionsmodelle Zahlen statt Klassen voraus.

Zwei gängige Arten von Klassifizierungsmodellen sind:

• Binärklassifizierung
• Klassifizierung mit mehreren Klassen

Klassifizierungsschwellenwert

Bei einer binären Klassifizierung eine Zahl zwischen 0 und 1, die die Rohausgabe eines logistischen Regressionsmodells in eine Vorhersage entweder der positiven Klasse oder der negativen Klasse umwandelt. Beachten Sie, dass der Klassifizierungsschwellenwert ein Wert ist, den ein Mensch auswählt, und kein Wert, der durch das Modelltraining ausgewählt wird.

Ein logistisches Regressionsmodell gibt einen Rohwert zwischen 0 und 1 aus. Dann:

• Wenn dieser Rohwert größer als der Klassifizierungsschwellenwert ist, wird die positive Klasse vorhergesagt.
• Wenn dieser Rohwert kleiner als der Klassifizierungsschwellenwert ist, wird die negative Klasse vorhergesagt.

Angenommen, der Klassifizierungsschwellenwert beträgt 0,8. Wenn der Rohwert 0,9 ist, sagt das Modell die positive Klasse vorher. Wenn der Rohwert 0,7 ist, sagt das Modell die negative Klasse vorher.

Die Wahl des Klassifizierungsschwellenwerts beeinflusst die Anzahl der falsch positiven und falsch negativen Ergebnisse erheblich.

Dataset mit klassenunausgeglichenem Dataset

Ein Dataset für ein Klassifizierungsproblem, bei dem sich die Gesamtzahl der Labels jeder Klasse erheblich unterscheidet. Nehmen wir als Beispiel ein binäres Klassifizierungs-Dataset, dessen zwei Labels wie folgt aufgeteilt sind:

• 1.000.000 auszuschließende Labels
• 10 positive Labels

Das Verhältnis von negativen zu positiven Labels beträgt 100.000:1, sodass dies ein Dataset ohne Klassenungleichgewicht ist.

Im Gegensatz dazu ist das folgende Dataset nicht klassenungleichmäßig, da das Verhältnis von negativen Labels zu positiven Labels relativ nahe bei 1 liegt:

• 517 ausschließende Labels
• 483 positive Labels

Datasets mit mehreren Klassen können auch klassenunausgewogen sein. Beispielsweise ist das folgende Klassifizierungs-Dataset mit mehreren Klassen ebenfalls klassenunausgewogen, da ein Label weit mehr Beispiele als die anderen beiden enthält:

• 1.000.000 Labels mit der Klasse „green“
• 200 Labels mit der Klasse „lila“
• 350 Labels mit der Klasse „orange“

Siehe auch Entropie, Mehrheitsklasse und Minderheitsklasse.

Clipping

Verfahren zum Umgang mit Ausreißern durch eine oder beide der folgenden Aktionen:

• Reduzieren von feature-Werten, die über einem maximalen Schwellenwert liegen, auf diesen maximalen Schwellenwert.
• Erhöhen von Featurewerten, die unter einem Mindestschwellenwert liegen, bis zu diesem Mindestgrenzwert.

Angenommen, < 0,5% der Werte für ein bestimmtes Feature liegen außerhalb des Bereichs 40–60. In diesem Fall könnten Sie so vorgehen:

• Alle Werte über 60 (der maximale Schwellenwert) werden auf genau 60 reduziert.
• Alle Werte unter 40 (die Mindestgrenze) werden auf genau 40 gekürzt.

Ausreißer können Modelle beschädigen und manchmal dazu führen, dass Gewichte während des Trainings überlaufen. Einige Ausreißer können Messwerte wie die Genauigkeit auch drastisch beeinträchtigen. Das Abschneiden ist eine gängige Methode, um den Schaden zu begrenzen.

Mit der Gradientenklimmung werden während des Trainings Gradientenwerte innerhalb eines festgelegten Bereichs erzwungen.

Cloud TPU

Ein spezieller Hardwarebeschleuniger zum Beschleunigen von ML-Arbeitslasten in Google Cloud.

Clustering

Gruppieren verwandter Beispiele, insbesondere beim unüberwachten Lernen Sobald alle Beispiele gruppiert sind, kann ein Mensch jedem Cluster optional Bedeutung verleihen.

Es gibt viele Clustering-Algorithmen. Der k-Means-Algorithmus Cluster beispielsweise anhand ihrer Nähe zu einem Schwerpunkt, wie im folgenden Diagramm:

Ein menschlicher Forscher könnte dann die Cluster überprüfen und beispielsweise Cluster 1 als „Zwergbäume“ und Cluster 2 mit „Bäume in voller Größe“ kennzeichnen.

Nehmen wir als weiteres Beispiel einen Clustering-Algorithmus, der auf der Entfernung eines Beispiels von einem Mittelpunkt basiert:

Co-Anpassung

Wenn Neuronen Muster in Trainingsdaten vorhersagen, indem sie sich fast ausschließlich auf die Ausgaben bestimmter anderer Neuronen verlassen, anstatt auf das Verhalten des Netzwerks als Ganzes. Wenn die Muster, die eine Co-Anpassung verursachen, in den Validierungsdaten nicht vorhanden sind, führt die Co-Anpassung zu einer Überanpassung. Die Dropout-Regularisierung reduziert die Co-Anpassung, da das Dropout dafür sorgt, dass Neuronen sich nicht nur auf bestimmte andere Neuronen verlassen können.

kollaboratives Filtern

Vorhersagen zu den Interessen eines Nutzers basierend auf den Interessen vieler anderer Nutzer treffen. Das kollaborative Filtern wird häufig in Empfehlungssystemen verwendet.

Konzeptabweichung

Eine Verschiebung in der Beziehung zwischen Elementen und dem Label. Im Laufe der Zeit verringert eine Konzeptabweichung die Qualität eines Modells.

Während des Trainings lernt das Modell die Beziehung zwischen den Features und ihren Labels im Trainings-Dataset. Wenn die Labels im Trainings-Dataset gute Proxys für die reale Welt sind, sollte das Modell gute Vorhersagen in der realen Welt treffen. Aufgrund von Konzeptabweichungen neigen die Vorhersagen des Modells jedoch im Laufe der Zeit dazu, sich zu verschlechtern.

Betrachten Sie beispielsweise ein binäres Klassifizierungsmodell, das vorhersagt, ob ein bestimmtes Automodell „kraftstoffeffizient“ ist oder nicht. Mögliche Funktionen:

• Fahrzeuggewicht
• Motorkompressung
• Übertragungstyp

Das Label ist entweder:

• spritsparend
• nicht spritsparend

Das Konzept des „kraftstoffsparenden Autos“ ändert sich jedoch immer wieder. Ein Automodell mit dem Label Kraftstoffeffizienz im Jahr 1994 würde 2024 mit hoher Wahrscheinlichkeit als nicht kraftstoffsparend gekennzeichnet werden. Ein Modell, das unter Konzeptabweichungen leidet, macht im Laufe der Zeit immer weniger nützliche Vorhersagen.

Vergleichen Sie sie mit der Instationarität.

Bedingung

In einem Entscheidungsbaum jeder Knoten, der einen Ausdruck auswertet. Der folgende Teil eines Entscheidungsbaums enthält beispielsweise zwei Bedingungen:

Eine Bedingung wird auch als Split oder Test bezeichnet.

Kontrastbedingung mit Blatt

Weitere Informationen

• Binärbedingung
• nicht binäre Bedingung.
• axis-aligned-condition
• schräge Zustand

Konfabulation

Synonym für Halluzination.

Konfabulation ist technisch wahrscheinlich ein besserer Begriff als Halluzination. Halluzinationen wurden jedoch zuerst beliebt.

Konfiguration

Das Zuweisen der anfänglichen Attributwerte, die zum Trainieren eines Modells verwendet werden, umfasst Folgendes:

• Die Zusammensetzung der Ebenen des Modells
• den Speicherort der Daten
• Hyperparameter wie:
  • Lernrate
  • Iterationen
  • Optimierungstool
  • Verlustfunktion

In Projekten für maschinelles Lernen kann die Konfiguration über eine spezielle Konfigurationsdatei oder mithilfe von Konfigurationsbibliotheken wie der folgenden erfolgen:

• HParam
• Gin
• Geige

Bestätigungsverzerrung

Die Tendenz, Informationen so zu suchen, zu interpretieren, zu bevorzugen und in Erinnerung zu rufen, dass bereits bestehende Überzeugungen oder Hypothesen bestätigt werden. Entwickler von maschinellem Lernen können versehentlich Daten auf eine Weise erfassen oder kennzeichnen, die ein Ergebnis beeinflusst, das ihre bestehenden Überzeugungen unterstützt. Der Bestätigungsfehler ist eine Form der impliziten Voreingenommenheit.

Die Testverzerrung ist eine Form der Bestätigungsverzerrung, bei der ein Experimentator Modelle trainiert, bis eine bereits bestehende Hypothese bestätigt wurde.

Wahrheitsmatrix

Eine NxN-Tabelle, die die Anzahl der richtigen und falschen Vorhersagen eines Klassifizierungsmodells zusammenfasst. Betrachten Sie beispielsweise die folgende Wahrheitsmatrix für ein binäres Klassifizierungsmodell:

Die obige Wahrheitsmatrix zeigt Folgendes:

• Von den 19 Vorhersagen, bei denen Ground Truth Tumor war, hat das Modell 18 richtig und 1 falsch klassifiziert.
• Von den 458 Vorhersagen, bei denen die Grundwahrheit „Nicht-Tumor“ war, hat das Modell 452 richtig und 6 falsch klassifiziert.

Mit der Wahrheitsmatrix für ein Klassifizierungsproblem mit mehreren Klassen können Sie Fehlermuster erkennen. Betrachten Sie beispielsweise die folgende Wahrheitsmatrix für ein Klassifizierungsmodell mit drei Klassen, das drei verschiedene Iristypen (Virginica, Versicolor und Setosa) kategorisiert. Als die Grundwahrheit Virginica war, zeigt die Wahrheitsmatrix, dass das Modell Versicolor viel eher fälschlicherweise vorhersagt als Setosa:

Ein weiteres Beispiel: Eine Wahrheitsmatrix könnte aufzeigen, dass ein Modell, das dafür trainiert wurde, handschriftliche Ziffern zu erkennen, fälschlicherweise 9 statt 4 vorhersagt oder fälschlicherweise 1 statt 7 vorhersagt.

Wahrheitsmatrizes enthalten genügend Informationen, um verschiedene Leistungsmesswerte wie Precision und Recall zu berechnen.

Wahlkreis-Parsing

Das Unterteilen eines Satzes in kleinere grammatische Strukturen („Bestandteile“). Ein späterer Teil des ML-Systems, z. B. ein Natural Language Understanding-Modell, kann die Bestandteile leichter parsen als der ursprüngliche Satz. Betrachten Sie beispielsweise den folgenden Satz:

Mein Freund hat zwei Katzen adoptiert.

Ein Wahlkreisparser kann diesen Satz in die folgenden zwei Bestandteile unterteilen:

• Mein Freund ist eine Nominalphrase.
• zwei Katzenadoptionen ist eine Verbphrase.

Diese Personen lassen sich in kleinere Unterteilungen unterteilen. Zum Beispiel kann das Verb

hat zwei Katzen adoptiert

könnte weiter unterteilt werden in:

• adopted ist ein Verb.
• zwei Katzen ist eine weitere Nominalphrase.

kontextbezogene Spracheinbettung

Eine Einbettung, die dem „Verstehen“ von Wörtern und Wortgruppen so nahe kommt, wie es menschliche Muttersprachler können. Kontextbasierte Spracheinbettungen können komplexe Syntax, Semantik und Kontext verstehen.

Sehen wir uns als Beispiel Einbettungen des englischen Wortes cow an. Ältere Einbettungen wie word2vec können englische Wörter darstellen, sodass der Abstand im Einbettungsbereich von cow zu bull der Entfernung von ewe (weibliche Schafe) zu ram (männliche Schafe) oder von weiblich zu männlich entspricht. Kontextbasierte Spracheinbettungen können noch einen Schritt weiter gehen: Sie erkennen, dass englischsprachige Nutzer gelegentlich das Wort Kuh verwenden, um entweder Kuh oder Stier zu bedeuten.

Kontextfenster

Die Anzahl der Tokens, die ein Modell in einer bestimmten Eingabeaufforderung verarbeiten kann. Je größer das Kontextfenster, desto mehr Informationen kann das Modell verwenden, um kohärente und konsistente Antworten auf den Prompt zu liefern.

stetiges Feature

Ein Gleitkomma-Feature mit einem unendlichen Bereich möglicher Werte, z. B. Temperatur oder Gewicht.

Stellen Sie einen Kontrast mit der diskreten Funktion her.

willkürliche Stichproben

Verwendung eines Datasets, das nicht wissenschaftlich erfasst wurde, um schnelle Experimente durchzuführen. Später ist es unerlässlich, auf ein wissenschaftlich gesammeltes Dataset umzustellen.

Konvergenz

Ein Status, der erreicht wird, wenn sich die Verlustwerte bei jeder Iteration sehr gering oder gar nicht ändern. Die folgende Verlustkurve zeigt beispielsweise eine Konvergenz bei etwa 700 Iterationen an:

Ein Modell konvergiert, wenn zusätzliches Training das Modell nicht verbessert.

Beim Deep Learning bleiben Verlustwerte manchmal über viele Iterationen konstant oder nahezu so, bevor sie schließlich absteigend. Während eines langen Zeitraums mit konstanten Verlustwerten kann es vorkommen, dass Sie vorübergehend ein falsches Konvergenzgefühl haben.

Siehe auch Vorzeitiges Beenden.

konvexe Funktion

Eine Funktion, bei der der Bereich über dem Graphen der Funktion eine konvexe Menge ist. Die prototypische konvexe Funktion hat in etwa die Form des Buchstabens U. Im Folgenden sind z. B. alle konvexen Funktionen aufgeführt:

Im Gegensatz dazu ist die folgende Funktion nicht konvex. Beachten Sie, dass die Region über dem Diagramm keine konvexe Menge ist:

Eine strikt konvexe Funktion hat genau einen lokalen Minimalpunkt, der auch der globale Minimalpunkt ist. Die klassischen U-förmigen Funktionen sind strikt konvexe Funktionen. Einige konvexe Funktionen (z. B. gerade Linien) sind jedoch nicht u-förmig.

Konvex-Optimierung

Verfahren, bei dem mathematische Verfahren wie das Gradientenverfahren verwendet werden, um das Minimum einer konvexen Funktion zu ermitteln. Ein Großteil der Forschung im Bereich des maschinellen Lernens hat sich darauf konzentriert, verschiedene Probleme als konvexe Optimierungsprobleme zu formulieren und diese Probleme effizienter zu lösen.

Vollständige Details finden Sie unter Boyd und Vandenberghe, Convex-Optimierung.

konvexe Menge

Eine Teilmenge des euklidischen Raums, bei der eine zwischen zwei Punkten in der Teilmenge gezogene Linie vollständig innerhalb der Teilmenge bleibt. Die folgenden beiden Formen sind beispielsweise konvexe Sätze:

Im Gegensatz dazu sind die folgenden beiden Formen keine konvexen Mengen:

Faltung

In der Mathematik, beiläufig gesprochen, eine Mischung aus zwei Funktionen. Beim maschinellen Lernen vermischt eine Faltung den Convolutional-Filter und die Eingabematrix, um Gewichtungen zu trainieren.

Der Begriff „Faltung“ im maschinellen Lernen ist oft eine Kurzform, um sich entweder auf Convolutional Operations oder auf Convolutional Layer zu beziehen.

Ohne Faltungen müsste ein Algorithmus für maschinelles Lernen für jede Zelle in einem großen Tensor eine eigene Gewichtung lernen. Beispielsweise müsste ein Algorithmus für maschinelles Lernen, der mit 2.000 x 2.000 Bildern trainiert wird, 4 Millionen separate Gewichtungen finden. Dank Faltungen muss ein Algorithmus für maschinelles Lernen lediglich für jede Zelle im Faltungsfilter Gewichtungen finden. Dadurch wird der für das Training des Modells erforderliche Arbeitsspeicher erheblich reduziert. Wenn der Faltungsfilter angewendet wird, wird er einfach über die Zellen hinweg repliziert, sodass jede Zelle mit dem Filter multipliziert wird.

Convolutional-Filter

Einer der beiden Akteure bei einem Faltungsvorgang. (Der andere Akteur ist ein Segment einer Eingabematrix.) Ein Faltungsfilter ist eine Matrix mit demselben Rang wie die Eingabematrix, jedoch mit einer kleineren Form. Bei einer Eingabematrix von 28 x 28 könnte der Filter beispielsweise eine beliebige 2D-Matrix sein, die kleiner als 28 x 28 ist.

Bei der fotografischen Bearbeitung werden alle Zellen in einem Faltungsfilter normalerweise auf ein konstantes Muster aus Einsen und Nullen gesetzt. Beim maschinellen Lernen werden Faltungsfilter normalerweise mit Zufallszahlen versehen. Das Netzwerk trainiert dann die idealen Werte.

Convolutional Layer

Eine Schicht eines neuronalen Deep-Learning-Netzwerks, in dem ein Convolutional-Filter an einer Eingabematrix vorbeiführt. Betrachten Sie beispielsweise den folgenden Faltungsfilter für 3 x 3-Elemente:

Die folgende Animation zeigt eine Faltungsschicht, die aus 9 Faltungsvorgängen mit der 5x5-Eingabematrix besteht. Beachten Sie, dass jeder Faltungsvorgang auf ein anderes 3x3-Segment der Eingabematrix angewendet wird. Die resultierende 3x3-Matrix (rechts) besteht aus den Ergebnissen der neun Faltungsoperationen:

Convolutional Neural Network

Ein neuronales Netzwerk, in dem mindestens eine Schicht eine Convolutional Layer ist. Ein typisches Convolutional neuronales Netzwerk besteht aus einer Kombination der folgenden Schichten:

• Faltungsebenen
• Pooling-Ebenen
• dichte Schichten

Convolutional Neural Networks hatten großen Erfolg bei bestimmten Arten von Problemen, z. B. bei der Bilderkennung.

Faltungsvorgang

Die folgende zweistufige mathematische Operation:

1. Elementweise Multiplikation des Faltungsfilters und eines Slice einer Eingabematrix. (Das Segment der Eingabematrix hat den gleichen Rang und die gleiche Größe wie der Faltungsfilter.)
2. Addition aller Werte in der resultierenden Produktmatrix.

Betrachten Sie beispielsweise die folgende 5x5-Eingabematrix:

Stellen Sie sich nun den folgenden 2x2-Faltungsfilter vor:

Jede Faltungsvorgang umfasst ein einzelnes 2x2-Segment der Eingabematrix. Angenommen, wir verwenden das 2x2-Segment oben links in der Eingabematrix. Die Faltungsvorgang für dieses Slice sieht also so aus:

Eine Convolutional Layer besteht aus einer Reihe von Faltungsvorgängen, die sich jeweils auf ein anderes Segment der Eingabematrix auswirken.

Kosten

Synonym für loss.

gemeinsames Training

Ein Ansatz für halbüberwachtes Lernen, der besonders nützlich ist, wenn alle der folgenden Bedingungen erfüllt sind:

• Das Verhältnis von Beispielen ohne Label zu Beispielen mit Labels ist im Dataset hoch.
• Dies ist ein Klassifizierungsproblem (binär oder mehrere Klassen).
• Das Dataset enthält zwei verschiedene Gruppen von Vorhersagefunktionen, die unabhängig voneinander und komplementär sind.

Beim gemeinsamen Training werden unabhängige Signale zu einem stärkeren Signal verstärkt. Betrachten Sie beispielsweise ein Klassifizierungsmodell, das einzelne Gebrauchtwagen als Gut oder Schlecht kategorisiert. Eine Gruppe von Vorhersagefunktionen kann sich auf aggregierte Merkmale wie das Jahr, die Marke und das Modell des Autos konzentrieren. Eine andere Gruppe von Vorhersagefunktionen könnte sich auf den Fahrverlauf des Vorbesitzers und den Wartungsverlauf des Autos konzentrieren.

Der wegweisende Artikel zum gemeinsamen Training heißt Combining Labeled and Unlabeled Data with Co-Training von Blum und Mitchell.

kontrafaktische Fairness

Fairness-Messwert, der prüft, ob ein Klassifikator für eine Person dasselbe Ergebnis erzielt wie für eine andere Person, die mit der ersten identisch ist, mit Ausnahme eines oder mehrerer sensibler Attribute. Die Bewertung eines Klassifikators auf kontrafaktische Fairness ist eine Methode zur Aufdeckung potenzieller Ursachen von Verzerrungen in einem Modell.

Eine ausführlichere Beschreibung der kontrafaktischen Fairness finden Sie im Artikel When Worlds Collide: Integrate Different kontraffactsäres in Fairness.

Abdeckungsverzerrung

Siehe Auswahlverzerrung.

Crash Blossom

Ein Satz oder Satz mit mehrdeutiger Bedeutung. Absturzblüten stellen ein erhebliches Problem beim Natural Language Understanding dar. Die Überschrift Red Tape Holds Up Skyscraper ist beispielsweise ein Crash Blossom, da ein NLU-Modell die Schlagzeile wörtlich oder im übertragenen Sinne interpretieren könnte.

Kritiker

Synonym für Deep Q-Network.

Kreuzentropie

Eine Generalisierung von Logverlust zu Klassifizierungsproblemen mit mehreren Klassen. Die Kreuzentropie quantifiziert die Differenz zwischen zwei Wahrscheinlichkeitsverteilungen. Siehe auch Perplexität.

Kreuzvalidierung

Ein Mechanismus zum Schätzen, wie gut sich ein model auf neue Daten verallgemeinern würde. Dazu wird das Modell an einer oder mehreren sich nicht überschneidenden Datenteilmengen getestet, die aus dem model zurückgehalten werden.

Kumulierte Verteilungsfunktion (Kumulierte Verteilungsfunktion)

Eine Funktion, die die Häufigkeit von Stichproben definiert, die kleiner oder gleich einem Zielwert sind. Stellen Sie sich zum Beispiel eine Normalverteilung kontinuierlicher Werte vor. Eine CDF gibt an, dass etwa 50% der Stichproben kleiner oder gleich dem Mittelwert sein sollten und dass etwa 84% der Stichproben kleiner oder gleich einer Standardabweichung über dem Mittelwert sein sollten.

D

Datenanalyse

Verständnis von Daten durch Berücksichtigung von Stichproben, Messungen und Visualisierungen gewinnen Die Datenanalyse kann besonders nützlich sein, wenn ein Dataset zum ersten Mal empfangen wird, bevor das erste model erstellt wird. Sie ist auch wichtig, um Tests zu verstehen und Probleme mit dem System zu beheben.

Datenerweiterung

Künstliches Erhöhen des Umfangs und der Anzahl der Trainingsbeispiele durch Umwandlung vorhandener Beispiele, um zusätzliche Beispiele zu erstellen. Angenommen, Bilder sind eines Ihrer Features, das Dataset enthält jedoch nicht genügend Bildbeispiele, damit das Modell nützliche Verknüpfungen lernen kann. Idealerweise fügen Sie dem Dataset genügend Bilder mit Label hinzu, damit das Modell richtig trainiert werden kann. Wenn dies nicht möglich ist, kann die Datenerweiterung jedes Bild drehen, strecken und spiegeln, um viele Varianten des Originalbilds zu erzeugen. Dadurch werden möglicherweise genügend Daten mit Labels geliefert, um ein exzellentes Training zu ermöglichen.

DataFrame

Ein beliebter Datentyp pandas zur Darstellung von Datasets im Arbeitsspeicher.

Ein DataFrame ist analog zu einer Tabelle. Jede Spalte eines DataFrames hat einen Namen (eine Kopfzeile) und jede Zeile ist durch eine eindeutige Nummer gekennzeichnet.

Jede Spalte in einem DataFrame ist wie ein 2D-Array strukturiert. Der einzige Unterschied ist, dass jeder Spalte ein eigener Datentyp zugewiesen werden kann.

Weitere Informationen finden Sie auf der offiziellen pandas.DataFrame-Referenzseite.

Datenparallelität

Eine Methode zur Skalierung von Training oder Inferenz, bei der ein vollständiges Modell auf mehrere Geräte repliziert wird und dann eine Teilmenge der Eingabedaten an jedes Gerät übergibt. Datenparallelität kann Training und Inferenz für sehr große Batchgrößen ermöglichen. Die Datenparallelität setzt jedoch voraus, dass das Modell klein genug ist, um auf alle Geräte zu passen.

Datenparallelität beschleunigt normalerweise das Training und die Inferenz.

Siehe auch Modellparallelität.

Dataset oder Dataset

Eine Sammlung von Rohdaten, die üblicherweise (aber nicht ausschließlich) in einem der folgenden Formate organisiert sind:

• Tabelle
• Eine Datei im CSV-Format (Comma-Separated Values, durch Kommas getrennte Werte)

Dataset API (tf.data)

Eine allgemeine TensorFlow API, mit der Daten gelesen und in eine Form umgewandelt werden, die ein Algorithmus für maschinelles Lernen erfordert Ein tf.data.Dataset-Objekt steht für eine Abfolge von Elementen, bei denen jedes Element einen oder mehrere Tensors enthält. Ein tf.data.Iterator-Objekt bietet Zugriff auf die Elemente einer Dataset.

Ausführliche Informationen zur Dataset API finden Sie im TensorFlow-Programmierhandbuch unter tf.data: TensorFlow-Eingabepipelines erstellen.

Entscheidungsgrenze

Das Trennzeichen zwischen Klassen, das ein Modell in einer binären Klasse oder in Klassifizierungsproblemen mit mehreren Klassen erlernt hat. In der folgenden Abbildung, die ein binäres Klassifizierungsproblem darstellt, ist die Entscheidungsgrenze beispielsweise die Grenze zwischen der orangefarbenen und der blauen Klasse:

Entscheidungswald

Ein Modell, das aus mehreren Entscheidungsbäumen erstellt wurde. Eine Entscheidungsstruktur fasst die Vorhersagen seiner Entscheidungsbäume zusammen, um eine Vorhersage zu treffen. Zu den beliebten Arten von Entscheidungsforen gehören Random Forests und Gradient Boosted Trees.

Entscheidungsschwellenwert

Synonym für Klassifizierungsschwellenwert.

Entscheidungsbaum

Ein Modell für überwachtes Lernen, das aus einer Reihe von conditions besteht und conditions. Das folgende Beispiel zeigt einen Entscheidungsbaum:

Decoder

Im Allgemeinen ist jedes ML-System, das von einer verarbeiteten, dichten oder internen Darstellung in eine Rohdarstellung, eine dünnbesetzte oder externe Darstellung konvertiert.

Decodierer sind häufig eine Komponente eines größeren Modells, in dem sie häufig mit einem Encoder gekoppelt sind.

Bei Sequenz-zu-Sequenz-Aufgaben beginnt ein Decoder mit dem internen Status, der vom Encoder generiert wird, um die nächste Sequenz vorherzusagen.

Die Definition eines Decoders in der Transformer-Architektur finden Sie unter Transformer.

Deep-Modell

Ein neuronales Netzwerk mit mehr als einer verborgenen Schicht.

Ein tiefes Modell wird auch als neuronales Deep-Learning-Netzwerk bezeichnet.

Kontrast zum breiten Modell

neuronales Deep-Learning-Netzwerk

Synonym für Deep Model.

Deep Q-Network (DQN)

In Q-Learning ein tiefes neuronales Netzwerk, das Q-Funktionen vorhersagt.

Critic ist ein Synonym für „Deep Q-Network“.

demografische Gleichheit

Fairness-Messwert, der erfüllt wird, wenn die Ergebnisse der Klassifizierung eines Modells nicht von einem bestimmten sensiblen Attribut abhängen.

Wenn sich zum Beispiel sowohl Lilliputianer als auch die Brobdingnagians an der Glubbdubdrib University bewerben, wird die demografische Parität erreicht, wenn der Prozentsatz der zugelassenen Lilliputianer dem Prozentsatz der zugelassenen Brobdingnagier entspricht, unabhängig davon, ob eine Gruppe im Durchschnitt höher qualifiziert ist als die andere.

Im Gegensatz dazu können Klassifizierungsergebnisse von sensiblen Attributen abhängig sein. Für bestimmte Ground-Truth-Labels dürfen jedoch keine sensiblen Attribute verwendet werden. In der Visualisierung Diskriminierung durch intelligentes maschinelles Lernen bekämpfen finden Sie die Vor- und Nachteile der Optimierung der demografischen Gleichheit.

Entrauschen

Ein gängiger Ansatz für selbstüberwachtes Lernen, bei dem:

1. Rauschen wird dem Datensatz künstlich hinzugefügt.
2. Das model versucht, das Rauschen zu entfernen.

Die Rauschunterdrückung ermöglicht das Lernen aus Beispielen ohne Labels. Das ursprüngliche Dataset dient als Ziel oder Label und die verrauschten Daten als Eingabe.

In einigen maskierten Sprachmodellen wird die Rauschunterdrückung so verwendet:

1. Rauschen wird einem Satz ohne Label künstlich hinzugefügt, indem einige der Tokens maskiert werden.
2. Das Modell versucht, die ursprünglichen Tokens vorherzusagen.

vollbesetztes Feature

Eine Funktion, bei der die meisten oder alle Werte ungleich null sind, in der Regel ein Tensor mit Gleitkommawerten. Der folgende Tensor mit 10 Elementen ist beispielsweise dicht, da 9 seiner Werte ungleich null sind:

Kontrast zur dünnbesetzten Funktion

Dichte Schicht

Synonym für vollständig verbundene Ebene.

Tiefe

Die Summe der folgenden Messwerte in einem neuronalen Netzwerk:

• Anzahl der ausgeblendeten Ebenen
• die Anzahl der Ausgabeschichten (in der Regel 1)
• Anzahl der Einbettungsebenen

Ein neuronales Netzwerk mit fünf verborgenen Schichten und einer Ausgabeschicht hat beispielsweise eine Tiefe von 6.

Die Eingabeebene hat keinen Einfluss auf die Tiefe.

Deepwise Separable Convolutional Neural Network (sepCNN)

Eine auf Inception basierende Architektur eines Convolutional Neural Network, bei der Inception-Module jedoch durch tiefenweise trennbare Faltungen ersetzt werden. Wird auch Xception genannt.

Eine tiefenweise trennbare Faltung (auch als trennbare Faltung abgekürzt) faktorisiert eine standardmäßige 3D-Faltung in zwei separate Faltungsvorgänge, die recheneffizienter sind: zuerst eine tiefe Faltung mit einer Tiefe von 1 (n × n × 1) und dann eine punktweise Faltung mit Länge und Breite von 1 (1 n × 1).

Weitere Informationen finden Sie unter Xception: Deep Learning with Depthwise Separable Convolutions.

abgeleitetes Label

Synonym für Proxylabel.

Gerät

Ein überlasteter Begriff mit den folgenden zwei möglichen Definitionen:

1. Hardwarekategorie, auf der eine TensorFlow-Sitzung ausgeführt werden kann, einschließlich CPUs, GPUs und TPUs.
2. Beim Trainieren eines ML-Modells auf Beschleuniger-Chips (GPUs oder TPUs) ist der Teil des Systems, der Tensoren und Einbettungen tatsächlich manipuliert. Das Gerät wird auf Beschleuniger-Chips ausgeführt. Im Gegensatz dazu wird der Host normalerweise auf einer CPU ausgeführt.

Differential Privacy

Beim maschinellen Lernen ein Anonymisierungsansatz, um zu verhindern, dass sensible Daten (z. B. personenbezogene Daten einer Person), die im Trainingssatz eines Modells enthalten sind, offengelegt werden. Dieser Ansatz sorgt dafür, dass das model nicht viel über eine bestimmte Person lernt oder sich daran erinnert. Dies wird erreicht, indem während des Modelltrainings Stichproben erhoben und Rauschen hinzugefügt werden, um einzelne Datenpunkte zu verbergen und das Risiko der Offenlegung vertraulicher Trainingsdaten zu verringern.

Differential Privacy wird auch außerhalb des maschinellen Lernens verwendet. Beispielsweise verwenden Data Scientists manchmal Differential Privacy, um die Privatsphäre des Einzelnen zu schützen, wenn Produktnutzungsstatistiken für verschiedene demografische Merkmale berechnet werden.

Dimensionsreduzierung

Verringern der Anzahl der Dimensionen, die zur Darstellung eines bestimmten Elements in einem Featurevektor verwendet werden, in der Regel durch Umwandlung in einen Einbettungsvektor

Dimensionen

Überladener Begriff mit einer der folgenden Definitionen:

• Die Anzahl der Koordinatenebenen in einem Tensor. Beispiel:

  • Ein Skalar hat null Dimensionen. Zum Beispiel: ["Hello"].
  • Ein Vektor hat eine Dimension, z. B. [3, 5, 7, 11].
  • Eine Matrix hat zwei Dimensionen. Beispiel: [[2, 4, 18], [5, 7, 14]].

  Sie können eine bestimmte Zelle in einem eindimensionalen Vektor mit einer Koordinate eindeutig angeben. Sie benötigen zwei Koordinaten, um eine bestimmte Zelle in einer zweidimensionalen Matrix eindeutig zu definieren.

• Die Anzahl der Einträge in einem Featurevektor.

• Die Anzahl der Elemente in einer Einbettungsebene.

direkte Aufforderungen

Synonym für Zero-Shot-Prompting.

diskretes Feature

Ein Feature mit einer endlichen Reihe möglicher Werte. Ein Element, dessen Werte nur Tier, Gemüse oder Mineral sein dürfen, ist beispielsweise ein diskretes (oder kategoriales) Element.

Kontrast zur kontinuierlichen Funktion

Diskriminatives Modell

Ein model, das model aus einem Satz von einem oder mehreren model vorhersagt. Formal definieren diskriminative Modelle die bedingte Wahrscheinlichkeit einer Ausgabe anhand der Merkmale und Gewichtungen, d. h.:

p(output | features, weights)

Beispielsweise ist ein Modell, das vorhersagt, ob eine E-Mail aufgrund von Features und Gewichtungen Spam ist, ein diskriminierendes Modell.

Die überwiegende Mehrheit der Modelle für überwachtes Lernen, einschließlich Klassifizierungs- und Regressionsmodellen, sind diskriminierende Modelle.

Im Vergleich zum generativen Modell

Diskriminator

Ein System, das bestimmt, ob Beispiele echt oder vorgetäuscht sind.

Alternativ das Subsystem in einem generativen kontradiktorischen Netzwerk, das bestimmt, ob die vom Generator erstellten Beispiele echt oder gefälscht sind.

unterschiedliche Auswirkungen

Entscheidungen über Personen treffen, die unterschiedliche Untergruppen von Bevölkerungsgruppen unverhältnismäßig beeinflussen, Dies bezieht sich in der Regel auf Situationen, in denen ein algorithmischer Entscheidungsprozess einigen Untergruppen mehr schadet oder Nutzen hat als andere.

Angenommen, ein Algorithmus, der die Berechtigung eines Lilliputianers für einen Mini-Hauskredit mit höherer Wahrscheinlichkeit als „nicht geeignet“ einstuft, ist wahrscheinlicher, wenn seine Postanschrift eine bestimmte Postleitzahl enthält. Wenn Big-Endian-Lilliputians eher Postadressen mit dieser Postleitzahl haben als Little-Endian Lilliputians, kann dieser Algorithmus zu unterschiedlichen Auswirkungen führen.

Im Kontrast zur Unterscheidungsbehandlung, die sich auf Unterschiede konzentriert, die entstehen, wenn die Merkmale von Untergruppen explizite Eingaben für einen algorithmischen Entscheidungsprozess sind.

unterschiedliche Behandlung

Berücksichtigung sensibler Attribute von Personen in einem algorithmischen Entscheidungsprozess, sodass verschiedene Untergruppen von Menschen unterschiedlich behandelt werden.

Stellen Sie sich zum Beispiel einen Algorithmus vor, der anhand der Daten, die sie in ihrem Kreditantrag angeben, den Anspruch von Lilliputians für einen Mini-Hauskredit ermittelt. Wenn der Algorithmus die Verknüpfung eines Lilliputian als Big-Endian oder Little-Endian als Eingabe verwendet, werden unterschiedliche Methoden für diese Dimension verwendet.

Im Gegensatz dazu stehen unterschiedliche Auswirkungen, bei denen die Unterschiede in den gesellschaftlichen Auswirkungen von algorithmischen Entscheidungen auf Untergruppen im Mittelpunkt stehen, unabhängig davon, ob diese Untergruppen Eingaben für das Modell sind.

Destillation

Der Vorgang, bei dem die Größe eines model (als model bezeichnet) zu einem kleineren Modell (model) reduziert wird, das die Vorhersagen des ursprünglichen Modells so genau wie möglich emuliert. Die Destillation ist nützlich, da das kleinere Modell gegenüber dem größeren Modell (Lehrkraft) zwei wesentliche Vorteile hat:

• Schnellere Inferenzzeit
• Geringerer Speicher- und Energieverbrauch

Die Vorhersagen des Schülers/Studenten sind jedoch normalerweise nicht so gut wie die der Lehrkraft.

Bei der Destillation wird das Schülermodell so trainiert, dass eine Verlustfunktion anhand der Differenz zwischen den Ausgaben der Vorhersagen der Schüler- und Lehrermodelle minimiert wird.

Vergleichen Sie die Destillation mit den folgenden Begriffen:

• Feinabstimmung
• Prompt-basiertes Lernen

Verteilung

Die Häufigkeit und der Bereich verschiedener Werte für ein bestimmtes Feature oder Label. Eine Verteilung gibt an, wie wahrscheinlich ein bestimmter Wert ist.

Die folgende Abbildung zeigt Histogramme von zwei verschiedenen Verteilungen:

• Links die Verteilung des Vermögens im Verhältnis zur Anzahl der Menschen, die diesen Reichtum besitzen.
• Rechts eine Normalverteilung der Größe im Vergleich zur Anzahl der Personen mit dieser Größe.

Wenn Sie die Verteilung der einzelnen Features und Labels verstehen, können Sie leichter bestimmen, wie Sie Werte normalisieren und Ausreißer erkennen.

Der Ausdruck out of distribution bezieht sich auf einen Wert, der nicht im Dataset enthalten ist oder sehr selten ist. Ein Bild des Planeten Saturn würde z. B. bei einem Dataset mit Katzenbildern nicht als Verteilung angesehen werden.

divisives Clustering

Siehe Hierarchisches Clustering.

Downsampling

Überladener Begriff, der Folgendes bedeuten kann:

• Reduzieren der Informationsmenge in einem Feature, um ein Modell effizienter trainieren zu können. Beispielsweise wird vor dem Trainieren eines Bilderkennungsmodells ein Downsampling von Bildern hoher Auflösung auf ein Format mit geringerer Auflösung durchgeführt.
• Training an einem unverhältnismäßig niedrigen Prozentsatz an überrepräsentierten Klassenbeispielen, um das Modelltraining für unterrepräsentierte Klassen zu verbessern. In einem Dataset mit unausgeglichenen Klassen zum Beispiel neigen Modelle dazu, viel über die Mehrheitsklasse und nicht genug über die Minderheitsklasse zu erfahren. Das Downsampling trägt dazu bei, den Umfang des Trainings auf die Mehrheits- und Minderheitenklassen auszugleichen.

DQN

Abkürzung für Deep Q-Network.

Dropout-Regularisierung

Eine Form der Regularisierung, die zum Trainieren von neuronalen Netzwerken nützlich ist. Die Dropout-Regularisierung entfernt eine zufällige Auswahl einer festen Anzahl von Einheiten in einer Netzwerkschicht für einen einzelnen Gradientenschritt. Je mehr Einheiten ausgelassen werden, desto stärker ist die Regularisierung. Dies ist vergleichbar mit dem Training des Netzwerks, um ein exponentiell großes Ensemble kleinerer Netzwerke zu emulieren. Weitere Informationen finden Sie unter Dropout: Eine einfache Möglichkeit, eine Überanpassung neuronaler Netzwerke zu verhindern.

dynamic

Etwas, das häufig oder kontinuierlich ausgeführt wird. Die Begriffe dynamisch und online sind Synonyme im maschinellen Lernen. Im Folgenden werden gängige Anwendungen von Dynamisch und Online im maschinellen Lernen aufgeführt:

• Ein dynamisches Modell (oder Onlinemodell) ist ein Modell, das häufig oder kontinuierlich neu trainiert wird.
• Beim dynamischen Training (oder Online-Training) wird das Training regelmäßig oder kontinuierlich ausgeführt.
• Dynamische Inferenz (oder Online-Inferenz) ist der Prozess, bei dem Vorhersagen nach Bedarf generiert werden.

dynamisches Modell

Ein model, das häufig (vielleicht sogar kontinuierlich) neu trainiert wird. Ein dynamisches Modell ist ein „lebenslang Lernender“, der sich ständig an sich weiterentwickelnde Daten anpasst. Ein dynamisches Modell wird auch als Onlinemodell bezeichnet.

Im Kontrast zum statischen Modell stehen.

E

eifrig hingerichtet

Eine TensorFlow-Programmierumgebung, in der operations sofort ausgeführt werden Im Gegensatz dazu werden in der Grafikausführung aufgerufene Vorgänge erst ausgeführt, wenn sie explizit ausgewertet wurden. Die zügige Ausführung ist eine imperative Schnittstelle, ähnlich wie der Code in den meisten Programmiersprachen. Schnelle Ausführungsprogramme lassen sich im Allgemeinen viel leichter debuggen als Graphausführungsprogramme.

vorzeitiges Beenden

Eine Methode zur Regularisierung, bei der das Training beendet wird, bevor der Verlust von Trainingsverlusten nachlässt. Beim vorzeitigen Beenden stoppen Sie das Training des Modells absichtlich, wenn der Verlust bei einem Validierungs-Dataset zunimmt, d. h. wenn sich die Leistung der Generalisierung verschlechtert.

Entfernung der Erde (EMD)

Ein Maß für die relative Ähnlichkeit zweier Verteilungen. Je geringer die Entfernung ist, desto ähnlicher sind die Verteilungen.

Strecke bearbeiten

Ein Maß dafür, wie ähnlich zwei Textzeichenfolgen einander sind. Beim maschinellen Lernen ist die Bearbeitung des Abstands nützlich, da er sich einfach berechnen lässt und eine effektive Möglichkeit ist, zwei Strings zu vergleichen, die bekanntermaßen ähnlich sind, oder weil sie einem bestimmten String ähnlich sind.

Es gibt mehrere Definitionen für die Entfernung von Entfernungen, die jeweils unterschiedliche Stringoperationen verwenden. Die Levenshtein-Distanz berücksichtigt beispielsweise die wenigsten Lösch-, Einfüge- und Ersetzungsvorgänge.

Zum Beispiel ist der Levenshtein-Abstand zwischen den Wörtern „Herz“ und „darts“ 3, da die folgenden drei Bearbeitungen die kleinsten Änderungen sind, mit denen ein Wort in das andere umgewandelt wird:

1. Herz → herabsetzen („h“ durch „d“ ersetzen)
2. deart → dart (löschen "e")
3. dart → darts (einfügen "s")

Einsum-Notation

Eine effiziente Notation, um zu beschreiben, wie zwei Tensoren kombiniert werden sollen. Die Tensoren werden kombiniert, indem die Elemente eines Tensors mit den Elementen des anderen Tensors multipliziert und dann die Produkte summiert werden. Die Einsum-Notation verwendet Symbole, um die Achsen jedes Tensors zu identifizieren. Diese Symbole werden neu angeordnet, um die Form des neuen resultierenden Tensors anzugeben.

NumPy stellt eine gängige Einsum-Implementierung bereit.

Einbettungsebene

Eine spezielle verborgene Ebene, die anhand eines hochdimensionalen kategorialen Merkmals trainiert wird, um schrittweise einen Einbettungsvektor mit niedrigerer Dimension zu lernen. Eine Einbettungsebene ermöglicht einem neuronalen Netzwerk ein wesentlich effizienteres Training als das Training nur anhand des hochdimensionalen kategorialen Merkmals.

So unterstützt Google Earth derzeit etwa 73.000 Baumarten. Angenommen, Baumart ist ein Element in Ihrem Modell. Die Eingabeebene Ihres Modells enthält also einen One-Hot-Vektor mit 73.000 Elementen. Beispielsweise würde baobab in etwa so dargestellt:

Ein Array mit 73.000 Elementen ist sehr lang. Wenn Sie dem Modell keine Einbettungsebene hinzufügen, wird das Training durch die Multiplikation von 72.999 Nullen sehr zeitaufwendig. Vielleicht wählen Sie für die Einbettungsebene 12 Dimensionen aus. Folglich lernt die Einbettungsebene nach und nach einen neuen Einbettungsvektor für jede Baumart.

In bestimmten Situationen ist Hashing eine sinnvolle Alternative zu einer Einbettungsebene.

Einbettungsbereich

Der d-dimensionale Vektorraum, dem Elemente aus einem höherdimensionalen Vektorraum zugeordnet sind. Im Idealfall enthält der Einbettungsraum eine Struktur, die aussagekräftige mathematische Ergebnisse liefert. In einem idealen Einbettungsbereich lassen sich beispielsweise durch die Addition und Subtraktion von Einbettungen Aufgaben der Wortanalyse lösen.

Das Punktprodukt zweier Einbettungen ist ein Maß für ihre Ähnlichkeit.

Einbettungsvektor

Im Allgemeinen ein Array von Gleitkommazahlen aus jeder verborgenen Ebene, die die Eingaben für diese verborgene Ebene beschreibt. Ein Einbettungsvektor ist häufig ein Array von Gleitkommazahlen, die in einer Einbettungsebene trainiert wurden. Angenommen, eine Einbettungsebene muss für jede der 73.000 Baumarten auf der Erde einen Einbettungsvektor lernen. Vielleicht ist das folgende Array der Einbettungsvektor für einen Affenbrotbaum:

Ein Einbettungsvektor ist kein Haufen Zufallszahlen. Eine Einbettungsschicht bestimmt diese Werte durch Training, ähnlich wie ein neuronales Netzwerk während des Trainings andere Gewichtungen erlernt. Jedes Element des Arrays ist eine Bewertung anhand eines Merkmals einer Baumart. Welches Element stellt das Merkmal welcher Baumart dar? Das ist für Menschen sehr schwer zu erkennen.

Das mathematisch bemerkenswerte Teil eines Einbettungsvektors besteht darin, dass ähnliche Elemente ähnliche Mengen von Gleitkommazahlen haben. Ähnliche Baumarten haben beispielsweise einen ähnlichen Satz von Gleitkommazahlen als unterschiedliche Baumarten. Mammutbäume und Mammutbäume sind verwandte Baumarten. Daher haben sie eine ähnliche Gleitkommazahl wie Mammutbäume und Kokospalmen. Die Zahlen im Einbettungsvektor ändern sich jedes Mal, wenn Sie das Modell neu trainieren, auch wenn Sie das Modell mit identischer Eingabe neu trainieren.

empirische kumulative Verteilungsfunktion (eCDF oder EDF)

Eine kumulative Verteilungsfunktion, die auf empirischen Messungen aus einem echten Dataset basiert. Der Wert der Funktion an einem beliebigen Punkt entlang der x-Achse ist der Bruchteil der Beobachtungen im Dataset, die kleiner oder gleich dem angegebenen Wert sind.

empirische Risikominimierung (ERM)

Auswählen der Funktion, die den Verlust im Trainings-Dataset minimiert Das steht im Gegensatz zur strukturellen Risikominimierung.

Encoder

Im Allgemeinen ist jedes ML-System, das von einer unformatierten, dünnbesetzten oder externen Darstellung in eine besser verarbeitete, dichtere oder internere Darstellung konvertiert.

Encoder sind häufig eine Komponente eines größeren Modells, in dem sie häufig mit einem Decodierer gekoppelt sind. Einige Transformer koppeln Encoder mit Decodern, während andere nur den Encoder oder nur den Decoder verwenden.

Einige Systeme verwenden die Ausgabe des Encoders als Eingabe für ein Klassifizierungs- oder Regressionsnetzwerk.

Bei Sequenz-zu-Sequenz-Aufgaben nimmt ein Encoder eine Eingabesequenz an und gibt einen internen Status (einen Vektor) zurück. Dann verwendet der Decoder diesen internen Status, um die nächste Sequenz vorherzusagen.

Die Definition eines Encoders in der Transformer-Architektur finden Sie unter Transformer.

Ensemble

Eine Sammlung von Modellen, die unabhängig trainiert wurden und deren Vorhersagen gemittelt oder aggregiert werden. In vielen Fällen liefert ein Ensemble bessere Vorhersagen als ein einzelnes Modell. Ein Random Forest ist beispielsweise ein Ensemble, das aus mehreren Entscheidungsbäumen besteht. Beachten Sie, dass nicht alle Entscheidungswälder Ensembles sind.

Entropie

In der Informationstheorie wird beschrieben, wie unvorhersehbar eine Wahrscheinlichkeitsverteilung ist. Alternativ wird als Entropie auch definiert, wie viele Informationen jedes Beispiel enthält. Eine Verteilung hat die höchstmögliche Entropie, wenn alle Werte einer Zufallsvariablen gleich wahrscheinlich sind.

Die Entropie einer Menge mit den zwei möglichen Werten "0" und "1" (z. B. die Labels in einem binären Klassifizierungsproblem) setzt sich wie folgt zusammen:

  H = -p log p - q log q = -p log p - (1-p) * log (1–p)

Dabei gilt:

• H ist die Entropie.
• p ist der Anteil an den „1“-Beispielen.
• q ist der Bruchteil der Beispiele mit „0“. Beachten Sie, dass q = (1 - p) ist.
• log ist im Allgemeinen log₂. In diesem Fall ist die Entropieeinheit ein wenig.

Nehmen wir beispielsweise Folgendes an:

• 100 Beispiele enthalten den Wert „1“
• 300 Beispiele enthalten den Wert „0“

Daher ist der Entropiewert:

• p = 0,25
• q = 0,75
• H = (-0,25)log₂(0,25) - (0,75)log₂(0,75) = 0,81 Bit pro Beispiel

Ein Satz, der perfekt ausgeglichen ist (z. B. 200 „0“ und 200 „1“), hätte eine Entropie von 1,0 Bit pro Beispiel. Wenn eine Menge unausgewogen wird, steigt ihre Entropie in Richtung 0,0.

In Entscheidungsbäumen hilft die Entropie bei der Formulierung eines Informationsgewinns, damit der Splitter die Bedingungen während des Wachstums eines Entscheidungsbaums zur Klassifizierung auswählen kann.

Entropie vergleichen mit:

• Gini-Verunreinigung
• Kreuzentropie-Verlustfunktion

Die Entropie wird oft als Shannnon-Entropie bezeichnet.

Umgebung

Beim Reinforcement Learning ist die Welt, die den Agent enthält und es dem Agent ermöglicht, diesen Zustand zu beobachten. Die dargestellte Welt kann beispielsweise ein Spiel wie Schach oder eine physische Welt wie ein Labyrinth sein. Wenn der Agent eine Aktion auf die Umgebung anwendet, wechselt die Umgebung zwischen den Status.

Folge

Beim Reinforcement Learning wird jeder der wiederholten Versuche des Agent, eine Umgebung zu erlernen, ausgeführt.

Epoche

Einen vollständigen Trainingsdurchlauf für das gesamte Trainings-Dataset, sodass jedes Beispiel einmal verarbeitet wurde

Eine Epoche stellt N/Batchgröße von Trainingsiterationen dar, wobei N die Gesamtzahl der Beispiele ist.

Beispiel:

• Das Dataset besteht aus 1.000 Beispielen.
• Die Batchgröße beträgt 50 Beispiele.

Daher erfordert eine einzelne Epoche 20 Iterationen:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

Epsilon-Richtlinie „Greedy“

Beim Reinforcement Learning eine Richtlinie, die entweder einer Zufallsrichtlinie mit Epsilon-Wahrscheinlichkeit oder einer Greetenrichtlinie folgt. Wenn beispielsweise Epsilon 0, 9 ist, folgt die Richtlinie in 90% der Fälle einer zufälligen Richtlinie und in 10% der Fälle einer gierigen Richtlinie.

Über aufeinanderfolgende Folgen reduziert der Algorithmus den Epsilon-Wert, um von einer zufälligen Richtlinie zu einer gierigen Richtlinie zu wechseln. Beim Verschieben der Richtlinie erkundet der Agent zuerst nach dem Zufallsprinzip die Umgebung und nutzt dann gierig die Ergebnisse der zufälligen Erkundung.

Chancengleichheit

Fairnessmesswert, um zu beurteilen, ob ein Modell das gewünschte Ergebnis für alle Werte eines sensiblen Attributs gleichermaßen gut vorhersagt. Mit anderen Worten: Wenn das gewünschte Ergebnis für ein Modell die positive Klasse ist, wäre es das Ziel, dass die Rate wirklich positiver Ergebnisse für alle Gruppen gleich ist.

Die Chancengleichheit hängt mit der gleichmäßigen Wahrscheinlichkeit zusammen. Dies setzt voraus, dass sowohl die Rate richtig positiver Ergebnisse als auch die Raten falsch positiver Ergebnisse für alle Gruppen gleich sind.

Angenommen, die Glubbdubdrib University lässt sowohl Lilliputianer als auch die Brobdingnagians zu einem strengen Mathematikprogramm zu. Die weiterführenden Schulen von Lilliputian bieten einen soliden Lehrplan für Mathematikkurse an und die überwiegende Mehrheit der Studenten ist für das Universitätsprogramm qualifiziert. An den Sekundarschulen der Brobdingnagians werden überhaupt keine Mathematikkurse angeboten, sodass infolgedessen weit weniger Schüler qualifiziert sind. Die Chancengleichheit ist für die bevorzugte Bezeichnung „zugelassen“ im Hinblick auf die Nationalität erfüllt (Lilliputian oder Brobdingnag), wenn qualifizierte Schüler mit gleicher Wahrscheinlichkeit zugelassen werden, unabhängig davon, ob sie Lilliputianer oder Brobdingnager sind.

Angenommen, 100 Lilliputianer und 100 Brobdingnagians bewerben sich an der Glubbdubdrib University und Entscheidungen über die Zulassung werden wie folgt getroffen:

Tabelle 1. Bewerber in Lilliputen (90% sind qualifiziert)

Tabelle 2: Bewerber aus dem Brobdingnag-Programm (10% sind qualifiziert):

Die obigen Beispiele erfüllen die Chancengleichheit bei der Akzeptanz qualifizierter Studenten, da sowohl qualifizierte Lilliputianer als auch Qualifizierte Brobdingnagians eine Chance von 50% haben, zugelassen zu werden.

Während die Chancengleichheit erfüllt ist, sind die folgenden beiden Fairness-Messwerte nicht erfüllt:

• demografische Parität: Lilliputer und Brobdingnagier werden zu unterschiedlichen Zeiten für die Universität zugelassen. 48% der Lilliputianer werden zugelassen, aber nur 14% der Brobdingnagischen Studenten sind zugelassen.
• gleichmäßige Chancen: Qualifizierte Lilliputianer und Brobdingnagian-Studenten haben zwar die gleichen Chancen, zugelassen zu werden, aber die zusätzliche Einschränkung, dass unqualifizierte Lilliputianer und Brobdingnagians beide die gleiche Chance haben, abgelehnt zu werden, wird nicht erfüllt. Bei unqualifizierten Lilliputianern liegt die Ablehnungsrate bei 70 %, bei unqualifizierten Brobdingnagians bei 90 %.

Detailliertere Informationen zur Chancengleichheit finden Sie unter Chancengleichheit beim überwachten Lernen. In der Visualisierung Diskriminierung durch intelligentes maschinelles Lernen angreifen finden Sie Informationen zu den Nachteilen bei der Optimierung der Chancengleichheit.

ausgeglichene Chancen

Ein Fairness-Messwert, um zu beurteilen, ob ein Modell Ergebnisse für alle Werte eines sensiblen Attributs gleichermaßen gut in Bezug auf die positive Klasse und die negative Klasse vorhersagt – und nicht nur auf eine oder die andere Klasse. Mit anderen Worten: Sowohl die Rate richtig positiver Ergebnisse als auch die Rate falsch negativer Ergebnisse sollte für alle Gruppen gleich sein.

Analysierte Chancen stehen im Zusammenhang mit der Chancengleichheit, bei der nur Fehlerraten für eine einzelne Klasse (positiv oder negativ) im Mittelpunkt stehen.

Nehmen wir beispielsweise an, die Glubbdubdrib University erlaubt sowohl den Lilliputianern als auch der Brobdingnagians ein strenges Mathematikprogramm. Die weiterführenden Schulen der Lilliputians bieten ein umfangreiches Lehrangebot für Mathematikkurse an und die überwiegende Mehrheit der Schülerinnen und Schüler ist für das Universitätsprogramm qualifiziert. An den Sekundarschulen der Brobdingnagians werden überhaupt keine Mathematikkurse angeboten. Daher sind weit weniger Schüler qualifiziert. Die Chancengleichheit ist gegeben, vorausgesetzt, dass ein Bewerber unabhängig davon, ob er ein Lilliputer oder ein Brobdingnager ist, mit gleicher Wahrscheinlichkeit für das Programm zugelassen wird.

Angenommen, 100 Lilliputianer und 100 Brobdingnagians bewerben sich bei der Glubbdubdrib University und Entscheidungen über die Zulassung werden wie folgt getroffen:

Tabelle 3 Bewerber in Lilliputen (90% sind qualifiziert)

Tabelle 4 Bewerber aus dem Brobdingnag-Programm (10% sind qualifiziert):

Die Chancengleichheit ist erfüllt, da qualifizierte lilliputische und Brobdingnagian-Studierende eine 50-prozentige Chance haben, zugelassen zu werden, und unqualifizierte Lilliputian- und Brobdingnagian-Schüler eine Chance von 80 %, abgelehnt zu werden.

Gleichförmige Chancen sind in Chancengleichheit beim überwachten Lernen formell so definiert: „Predictor Ŷ erfüllt die gleichen Chancen in Bezug auf das geschützte Attribut A und das Ergebnis Y, wenn Ŷ und A unabhängig und an Y bedingt sind.“

Estimator

Eine verworfene TensorFlow API. Verwenden Sie tf.keras anstelle von Schätzern.

Kennenlernen

Prozess der Messung der Qualität der Vorhersagen eines Modells für maschinelles Lernen. Bei der Entwicklung eines Modells wenden Sie in der Regel Bewertungsmesswerte nicht nur auf das Trainings-Dataset an, sondern auch auf ein Validierungs-Dataset und ein Test-Dataset. Sie können auch Bewertungsmesswerte verwenden, um verschiedene Modelle miteinander zu vergleichen.

Beispiel

Die Werte einer Zeile mit features und möglicherweise eines Labels. Beispiele für überwachtes Lernen lassen sich in zwei allgemeine Kategorien unterteilen:

• Ein Beispiel mit einem Label besteht aus einem oder mehreren Merkmalen und einem Label. Beispiele mit Label werden während des Trainings verwendet.
• Ein Beispiel ohne Label besteht aus einem oder mehreren Merkmalen, aber ohne Label. Beispiele ohne Label werden bei der Inferenz verwendet.

Angenommen, Sie trainieren ein Modell, um den Einfluss der Wetterbedingungen auf die Prüfungsergebnisse von Studenten zu bestimmen. Hier sind drei Beispiele mit Labels:

Hier sind drei Beispiele ohne Label:

Die Zeile eines Datasets ist normalerweise die Rohquelle für ein Beispiel. Ein Beispiel besteht also in der Regel aus einer Teilmenge der Spalten im Dataset. Außerdem können die Merkmale in einem Beispiel auch synthetische Merkmale wie Feature-Crosses enthalten.

Wiederholung

Beim Reinforcement Learning: ein DQN-Verfahren, mit dem zeitliche Korrelationen in Trainingsdaten reduziert werden. Der Agent speichert Statusübergänge in einem Replay-Zwischenspeicher und erstellt dann anhand von Übergängen aus dem Wiedergabezwischenspeicher Trainingsdaten.

Verzerrungen des Experimentators

Siehe Bestätigungsverzerrung.

Problem mit explodierendem Farbverlauf

Die Tendenz von Verläufen in neuronalen Deep-Learning-Netzwerken (insbesondere in neuronalen neuronalen Netzwerken), die überraschend steil (hoch) werden. Steile Farbverläufe führen häufig zu sehr großen Aktualisierungen der Gewichtungen jedes Knotens in einem neuronalen Deep-Learning-Netzwerk.

Modelle, die unter dem Problem des explodierenden Gradienten leiden, werden schwer oder unmöglich zu trainieren. Dieses Problem lässt sich möglicherweise durch das Abschneiden des Farbverlaufs beheben.

Vergleiche das Problem mit dem Problem mit dem Farbverlaufsverschwinden.

F

F₁

Einen Sammelmesswert für die binäre Klassifizierung, der sowohl auf Genauigkeit als auch auf Trefferquote basiert. Die Formel lautet:

Hier ein Beispiel:

• Precision = 0,6
• Recall = 0,4

Wenn Precision und Recall ziemlich ähnlich sind (wie im vorherigen Beispiel), liegt F₁ nah an ihrem Mittelwert. Wenn sich Precision und Recall erheblich unterscheiden, liegt F₁ näher am niedrigeren Wert. Beispiel:

• Precision = 0,9
• Recall = 0,1

Fairness-Beschränkung

• Nachverarbeitung der Modellausgabe
• Die Verlustfunktion so ändern, dass eine Strafe für Verstöße gegen einen Fairness-Messwert eingebaut wird.
• Direktes Hinzufügen einer mathematischen Einschränkung zu einem Optimierungsproblem.

Fairness-Messwert

Eine mathematische Definition von „Fairness“, die messbar ist. Zu den häufig verwendeten Fairness-Messwerten gehören:

• ausgeglichene Gewinnchancen
• prognostische Parität
• kontrafaktische Fairness
• demografische Einheitlichkeit

Viele Fairness-Messwerte schließen sich gegenseitig aus; siehe dazu auch die Inkompatibilität von Fairness-Messwerten.

Falsch-negativ (FN)

Ein Beispiel, in dem das Modell fälschlicherweise die negative Klasse vorhersagt. Das Modell sagt beispielsweise vorher, dass eine bestimmte E-Mail-Nachricht kein Spam ist (die negative Klasse), bei dieser E-Mail-Nachricht jedoch tatsächlich Spam.

Rate falsch negativer Ergebnisse

Anteil der tatsächlichen positiven Beispiele, für die das Modell die negative Klasse versehentlich vorhergesagt hat. Die folgende Formel berechnet die Rate falsch negativer Ergebnisse:

Falsch positives Ergebnis (FP)

Ein Beispiel, in dem das Modell fälschlicherweise die positive Klasse vorhersagt. Das Modell sagt beispielsweise vorher, dass eine bestimmte E-Mail-Nachricht Spam (die positive Klasse), aber diese E-Mail-Nachricht tatsächlich kein Spam ist.

Rate falsch positiver Ergebnisse (FPR)

Der Anteil der tatsächlichen negativen Beispiele, für die das Modell die positive Klasse versehentlich vorhergesagt hat. Mit der folgenden Formel wird die Falsch-Positiv-Rate berechnet:

Die Falsch-Positiv-Rate ist die x-Achse in einer ROC-Kurve.

Feature

Eine Eingabevariable für ein ML-Modell. Ein Beispiel besteht aus einem oder mehreren Features. Angenommen, Sie trainieren ein Modell, um den Einfluss der Wetterbedingungen auf die Prüfungsergebnisse von Studenten zu bestimmen. Die folgende Tabelle zeigt drei Beispiele, die jeweils drei Funktionen und ein Label enthalten:

Stellen Sie einen Kontrast mit label her.

Featureverknüpfung

Ein synthetisches Feature, das durch „übergreifende“ kategoriale oder Bucket-basierte Features gebildet wird.

Betrachten Sie beispielsweise ein "Stimmungsprognosemodell", das die Temperatur in einem der folgenden vier Buckets darstellt:

• freezing
• chilly
• temperate
• warm

Und stellt die Windgeschwindigkeit in einer der folgenden drei Kategorien dar:

• still
• light
• windy

Ohne Featureverknüpfungen wird das lineare Modell unabhängig von den vorherigen sieben verschiedenen Buckets trainiert. Das Modell wird also z. B. mit freezing unabhängig vom Training trainiert, z. B. mit windy.

Alternativ können Sie eine Featureverknüpfung für Temperatur und Windgeschwindigkeit erstellen. Dieses synthetische Feature hätte die folgenden 12 möglichen Werte:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Dank Featureverknüpfungen kann das Modell Stimmungsunterschiede zwischen einem freezing-windy-Tag und einem freezing-still-Tag lernen.

Wenn Sie ein synthetisches Feature aus zwei Merkmalen erstellen, die jeweils viele verschiedene Buckets haben, ergeben sich für die resultierende Featureverknüpfung eine große Anzahl möglicher Kombinationen. Wenn ein Feature beispielsweise 1.000 Buckets hat und das andere 2.000 Buckets, hat die resultierende Featureverknüpfung 2.000.000 Buckets.

Formal ist ein Kreuz ein kartesisches Produkt.

Featureverknüpfungen werden hauptsächlich mit linearen Modellen und selten bei neuronalen Netzwerken verwendet.

Feature Engineering

Ein Prozess, der die folgenden Schritte umfasst:

1. Bestimmen, welche Features beim Trainieren eines Modells nützlich sein könnten
2. Konvertieren von Rohdaten aus dem Dataset in effiziente Versionen dieser Merkmale

Beispielsweise könnten Sie feststellen, dass temperature eine nützliche Funktion sein könnte. Anschließend können Sie mit Bucketing experimentieren, um zu optimieren, was das Modell aus verschiedenen temperature-Bereichen lernen kann.

Feature Engineering wird manchmal als Feature-Extraktion oder Featurisierung bezeichnet.

Featureextraktion

Überladener Begriff mit einer der folgenden Definitionen:

• Zwischenfeatures von Features abrufen, die von einem nicht überwachten oder vortrainierten Modell (z. B. Werte für verborgene Ebene in einem neuronalen Netzwerk) berechnet wurden, um sie in einem anderen Modell als Eingabe zu verwenden
• Synonym für Feature Engineering.

Featurewichtigkeiten

Synonym für variable Wichtigkeiten.

Feature-Set

Die Gruppe von Features, mit denen Ihr Modell für maschinelles Lernen trainiert wird. Zum Beispiel können die Postleitzahl, die Immobiliengröße und der Immobilienzustand einen einfachen Feature-Set für ein Modell darstellen, das Immobilienpreise vorhersagt.

Featurespezifikation

Beschreibt die erforderlichen Informationen zum Extrahieren von features-Daten aus dem tf.Example-Protokollzwischenspeicher. Da der Protokollpuffer von tf.Example nur ein Container für Daten ist, müssen Sie Folgendes angeben:

• Die zu extrahierenden Daten (d. h. die Schlüssel für die Funktionen)
• Der Datentyp (z. B. float oder int)
• Länge (fest oder variabel)

Featurevektor

Das Array der feature-Werte besteht aus einem Beispiel. Der Featurevektor wird während des Trainings und während der Inferenz eingegeben. Der Featurevektor für ein Modell mit zwei diskreten Merkmalen könnte beispielsweise so aussehen:

[0.92, 0.56]

In jedem Beispiel werden unterschiedliche Werte für den Featurevektor bereitgestellt. Der Featurevektor für das nächste Beispiel könnte also so aussehen:

[0.73, 0.49]

Feature Engineering bestimmt, wie Features im Featurevektor dargestellt werden. Ein binäres kategoriales Merkmal mit fünf möglichen Werten könnte beispielsweise mit One-Hot-Codierung dargestellt werden. In diesem Fall würde der Teil des Featurevektors für ein bestimmtes Beispiel aus vier Nullen und einer einzelnen 1,0 an der dritten Position bestehen:

[0.0, 0.0, 1.0, 0.0, 0.0]

Nehmen wir als weiteres Beispiel an, Ihr Modell besteht aus drei Merkmalen:

• Ein binäres kategoriales Feature mit fünf möglichen Werten, die mit One-Hot-Codierung dargestellt werden. Beispiel: [0.0, 1.0, 0.0, 0.0, 0.0]
• ein weiteres binäres kategoriales Feature mit drei möglichen Werten, die mit One-Hot-Codierung dargestellt werden. Beispiel: [0.0, 0.0, 1.0]
• ein Gleitkommaelement; Beispiel: 8.3.

In diesem Fall würde der Featurevektor für jedes Beispiel durch neun Werte dargestellt werden. Bei den Beispielwerten in der vorherigen Liste wäre der Featurevektor:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

Featurisierung

Der Prozess, bei dem Merkmale aus einer Eingabequelle wie einem Dokument oder Video extrahiert und in einem Featurevektor zugeordnet werden.

Einige ML-Experten verwenden die Featurisierung als Synonym für Feature Engineering oder Feature-Extraktion.

föderiertes Lernen

Ein Ansatz für verteiltes maschinelles Lernen, bei dem Modelle für maschinelles Lernen mithilfe dezentralisierter Beispiele auf Geräten wie Smartphones trainiert. Beim föderierten Lernen lädt eine Teilmenge von Geräten das aktuelle Modell von einem zentralen koordinierenden Server herunter. Die Geräte verwenden die auf den Geräten gespeicherten Beispiele, um das Modell zu verbessern. Die Geräte laden dann die Modellverbesserungen (jedoch nicht die Trainingsbeispiele) auf den Koordinierungsserver hoch, wo sie mit anderen Updates zusammengefasst werden, um ein verbessertes globales Modell zu erzeugen. Nach der Aggregation werden die von Geräten berechneten Modellaktualisierungen nicht mehr benötigt und können verworfen werden.

Da die Trainingsbeispiele nie hochgeladen werden, folgt das föderierte Lernen den Datenschutzgrundsätzen der fokussierten Datenerhebung und Datenminimierung.

Weitere Informationen zum föderierten Lernen finden Sie in dieser Anleitung.

Feedback Loop

Eine Situation beim maschinellen Lernen, in der die Vorhersagen eines Modells die Trainingsdaten für dasselbe oder ein anderes Modell beeinflussen. Beispielsweise beeinflusst ein Modell, das Filme empfiehlt, die Filme, die sich Nutzer ansehen. Dies wiederum wirkt sich auf nachfolgende Filmempfehlungsmodelle aus.

Neuronales Feed-Forward-Netzwerk (FFN)

Ein neuronales Netzwerk ohne zyklische oder rekursive Verbindungen. Herkömmliche neuronale Deep-Learning-Netzwerke sind beispielsweise neuronale Feed-Forward-Netzwerke. Im Gegensatz dazu sind recurrent neuronale Netzwerke, die zyklisch sind.

Lernen mit wenigen Schritten

Ein Ansatz für maschinelles Lernen, der häufig für die Objektklassifizierung verwendet wird und zum Trainieren effektiver Klassifikatoren mit nur einer kleinen Anzahl von Trainingsbeispielen entwickelt wurde.

Weitere Informationen finden Sie unter One-Shot Learning und Zero-Shot Learning.

Wenige-Shot-Prompts

Eine Prompt mit mehreren Beispielen, die zeigen, wie das Large Language Model reagieren soll. Die folgende lange Aufforderung enthält beispielsweise zwei Beispiele, die zeigen, wie ein Large Language Model eine Abfrage beantwortet.

Wenig-shot-Prompts führen in der Regel zu besseren Ergebnissen als Zero-Shot-Prompts und One-Shot-Prompts. Für „wenige-shot“-Prompts ist jedoch ein längerer Prompt erforderlich.

Wenig-shot-Prompts sind eine Form von wenig-shot-Lernen, die auf Prompt-basiertes Lernen angewendet wird.

Geige

Eine Konfigurationsbibliothek speziell für Python, die die Werte von Funktionen und Klassen ohne invasiven Code oder invasive Infrastruktur festlegt. Im Fall von Pax – und anderen ML-Codebasen – stellen diese Funktionen und Klassen Modelle und Trainings Hyperparameter dar.

Fiddle geht davon aus, dass Codebasen für maschinelles Lernen typischerweise in folgende Kategorien unterteilt sind:

• Bibliothekscode, der die Layer und Optimierungstools definiert.
• Dataset-"glue"-Code, der die Bibliotheken aufruft und alles miteinander verkabelt.

Fiddle erfasst die Aufrufstruktur des Glue-Codes in einer nicht bewerteten und veränderlichen Form.

Feinabstimmung

Ein zweiter, aufgabenspezifischer Trainingsdurchlauf, der für ein vortrainiertes Modell ausgeführt wird, um seine Parameter für einen bestimmten Anwendungsfall zu optimieren. Die vollständige Trainingssequenz für einige Large Language Models sieht beispielsweise so aus:

1. Vor dem Training:Trainieren Sie ein Large Language Model mit einem umfangreichen allgemeinen Dataset, z. B. allen englischsprachigen Wikipedia-Seiten.
2. Feinabstimmung:Trainieren Sie das vortrainierte Modell, um eine bestimmte Aufgabe auszuführen, z. B. das Antworten auf medizinische Abfragen. Die Feinabstimmung umfasst in der Regel Hunderte oder Tausende Beispiele, die sich auf die spezifische Aufgabe konzentrieren.

Ein weiteres Beispiel für die vollständige Trainingssequenz für ein großes Bildmodell:

1. Vor dem Training:Trainieren Sie ein großes Bildmodell mit einem umfangreichen allgemeinen Bild-Dataset, z. B. allen Bildern in Wikimedia Commons.
2. Feinabstimmung:Trainieren Sie das vortrainierte Modell, um eine bestimmte Aufgabe auszuführen, z. B. das Generieren von Bildern von Orcas.

Die Optimierung kann eine beliebige Kombination der folgenden Strategien umfassen:

• Änderung aller vorhandenen Parameter des vortrainierten Modells. Dies wird auch als vollständige Feinabstimmung bezeichnet.
• Nur einige der vorhandenen Parameter des vortrainierten Modells ändern (in der Regel die Schichten, die der Ausgabeschicht am nächsten sind) und andere vorhandene Parameter unverändert lassen (normalerweise die Ebenen, die der Eingabeschicht am nächsten sind). Weitere Informationen finden Sie unter Parametereffiziente Abstimmung.
• Es werden weitere Ebenen hinzugefügt, in der Regel über den vorhandenen Ebenen, die der Ausgabeebene am nächsten sind.

Die Feinabstimmung ist eine Form des Lerntransfers. Daher kann für die Feinabstimmung eine andere Verlustfunktion oder ein anderer Modelltyp als beim Trainieren des vortrainierten Modells verwendet werden. Sie können beispielsweise ein vortrainiertes großes Bildmodell optimieren, um ein Regressionsmodell zu erstellen, das die Anzahl der Vögel in einem Eingabebild zurückgibt.

Vergleichen Sie die Feinabstimmung mit den folgenden Begriffen:

• Destillation
• Prompt-basiertes Lernen

Kristallgrau

Eine leistungsstarke Open-Source-Bibliothek für Deep Learning auf der Grundlage von JAX. Flax bietet Funktionen zum Training von neuronalen Netzwerken sowie Methoden zur Bewertung ihrer Leistung.

Flachsformer

Eine Open-Source-Transformer-Bibliothek, die auf Flax aufbaut und in erster Linie für Natural Language Processing und multimodale Forschung entwickelt wurde.

Vergiss Gate

Der Teil einer Zelle vom Typ Long Short-Term Memory, der den Informationsfluss durch die Zelle reguliert. Forget-Gatter behalten den Kontext aufrecht, indem sie entscheiden, welche Informationen aus dem Zellenstatus verworfen werden sollen.

Full Softmax

Synonym für Softmax.

Im Gegensatz dazu können Sie mit der Stichprobenerhebung kontrastieren.

vollständig verbundene Ebene

Eine verborgene Ebene, in der jeder Knoten mit jedem Knoten in der nachfolgenden versteckten Ebene verbunden ist.

Eine vollständig verbundene Ebene wird auch als dichte Ebene bezeichnet.

Funktionstransformation

Eine Funktion, die eine Funktion als Eingabe verwendet und eine transformierte Funktion als Ausgabe zurückgibt. JAX verwendet Funktionstransformationen.

G

GAN

Abkürzung für Generative Adversarial Network.

Generalisierung

Fähigkeit eines Modells, korrekte Vorhersagen für neue, zuvor unbekannte Daten zu treffen. Ein Modell, das generalisierbar ist, ist das Gegenteil eines Modells mit Überanpassung.

Generalisierungskurve

Ein Diagramm des Trainingsverlusts und des Validierungsverlusts als Funktion der Anzahl der Iterationen.

Mithilfe einer Generalisierungskurve können Sie eine mögliche Überanpassung erkennen. Die folgende Generalisierungskurve deutet beispielsweise auf eine Überanpassung hin, da der Validierungsverlust letztendlich erheblich höher ist als der Trainingsverlust.

allgemeines lineares Modell

Eine Generalisierung von Regressionsmodellen mit den kleinsten Quadraten, die auf dem Gaußschen Rauschen basieren, für andere Modelltypen auf der Grundlage anderer Arten von Rauschen wie Poisson-Rauschen oder kategorialem Rauschen. Beispiele für generalisierte lineare Modelle:

• logistische Regression
• mehrklassige Regression
• Regression der kleinsten Quadrate

Die Parameter eines generalisierten linearen Modells können mithilfe der konvexen Optimierung ermittelt werden.

Generalisierte lineare Modelle haben die folgenden Eigenschaften:

• Die durchschnittliche Vorhersage des optimalen Regressionsmodells der kleinsten Quadrate entspricht dem Durchschnittslabel der Trainingsdaten.
• Die durchschnittliche Wahrscheinlichkeit, die vom optimalen logistischen Regressionsmodell vorhergesagt wird, entspricht dem Durchschnittslabel der Trainingsdaten.

Die Leistungsfähigkeit eines generalisierten linearen Modells wird durch seine Merkmale begrenzt. Im Gegensatz zu einem tiefen Modell kann ein generalisiertes lineares Modell nicht „neue Features lernen“.

Generative Adversarial Network (GAN)

Ein System zum Erstellen neuer Daten, in dem ein Generator Daten erstellt und ein Diskriminator bestimmt, ob die erstellten Daten gültig oder ungültig sind.

generative KI

Ein aufstrebendes transformatives Feld ohne formale Definition. Dennoch sind sich die meisten Experten einig, dass Generative-AI-Modelle folgende Inhalte erstellen („generieren“) können:

• komplex
• kohärent
• ursprünglich

Ein Generative-AI-Modell kann beispielsweise anspruchsvolle Aufsätze oder Bilder erstellen.

Mit einigen früheren Technologien wie LSTMs und RNNs können auch eigene und kohärente Inhalte generiert werden. Einige Experten betrachten diese früheren Technologien als generative KI, während andere der Meinung sind, dass echte generative KI komplexere Ergebnisse erfordert, als diese früheren Technologien erzeugen können.

Im Gegensatz zu prädiktivem ML.

generatives Modell

Praktisch gesprochen, ein Modell, das einen der folgenden Schritte ausführt:

• Erstellt (generiert) neue Beispiele aus dem Trainings-Dataset. Ein generatives Modell könnte beispielsweise nach dem Training mit einem Dataset von Gedichten Gedichte erstellen. Der Generator eines generativen kontradiktorischen Netzwerks fällt in diese Kategorie.
• Bestimmt die Wahrscheinlichkeit, dass ein neues Beispiel aus dem Trainings-Dataset stammt oder mit demselben Mechanismus erstellt wurde, mit dem das Dataset erstellt wurde. Nach dem Training mit einem Dataset, das aus englischen Sätzen besteht, könnte ein generatives Modell beispielsweise die Wahrscheinlichkeit bestimmen, dass eine neue Eingabe ein gültiger englischer Satz ist.

Ein generatives Modell kann theoretisch die Verteilung von Beispielen oder bestimmten Merkmalen in einem Dataset erkennen. Das bedeutet:

p(examples)

Unüberwachtes Lernen ist generativ.

Im Kontrast zu diskriminativen Modellen stehen.

Generator

Das Subsystem innerhalb eines generativen kontradiktorischen Netzwerks, das neue Beispiele erstellt.

Im Kontrast zum diskriminativen Modell stehen.

Gini-Verunreinigung

Einen Messwert, der Entropie ähnelt. Splitter verwenden Werte, die von Gini-Verunreinigungen oder Entropie abgeleitet werden, um Bedingungen für die Entscheidungsbäume zu erstellen. Der Informationsgewinn wird aus der Entropie abgeleitet. Es gibt keinen allgemein akzeptierten äquivalenten Begriff für den aus „Gini“ abgeleiteten Messwert. Dieser unbenannte Messwert ist jedoch genauso wichtig wie der Informationsgewinn.

Die Gini-Verunreinigung wird auch als Gini-Index oder einfach Gini bezeichnet.

Goldenes Dataset

Eine Reihe manuell ausgewählter Daten, die Ground Truth erfassen. Teams können ein oder mehrere goldene Datasets verwenden, um die Qualität eines Modells zu bewerten.

Einige goldene Datasets erfassen verschiedene Subdomains der Grundwahrheit. Ein goldenes Dataset für die Bildklassifizierung könnte beispielsweise die Lichtverhältnisse und die Bildauflösung erfassen.

GPT (Generativer vortrainierter Transformer)

Eine Familie von Transformer-basierten Large Language Models, die von OpenAI entwickelt wurden.

GPT-Varianten können für mehrere Modalitäten angewendet werden, darunter:

• Bildgenerierung (z. B. ImageGPT)
• Text-zu-Bild-Generierung (z. B. DALL-E)

Farbverlauf

Der Vektor von partiellen Ableitungen unter Berücksichtigung aller unabhängigen Variablen. Beim maschinellen Lernen ist der Gradient der Vektor von partiellen Ableitungen der Modellfunktion. Der Farbverlauf zeigt in Richtung des steilsten Aufstiegs.

Gradientenakkumulation

Eine Rückpropagierung, bei der die Parameter nur einmal pro Epoche und nicht einmal pro Iteration aktualisiert werden. Nach der Verarbeitung jedes Mini-Batch wird durch die Gradientenakkumulation einfach eine laufende Summe von Gradienten aktualisiert. Nach der Verarbeitung des letzten Minibatches in der Epoche aktualisiert das System schließlich die Parameter anhand der Summe aller Gradientenänderungen.

Die Gradientenakkumulation ist nützlich, wenn die Batchgröße im Vergleich zum verfügbaren Arbeitsspeicher für das Training sehr groß ist. Wenn Arbeitsspeicher ein Problem ist, besteht die natürliche Tendenz darin, die Batchgröße zu reduzieren. Wenn Sie jedoch die Batchgröße bei der normalen Rückpropagierung verringern, wird die Anzahl der Parameteraktualisierungen erhöht. Durch die Gradientakkumulation kann das Modell Arbeitsspeicherprobleme vermeiden, aber dennoch effizient trainieren.

Gradient Boosted (Entscheidungsbaum) (GBT)

Eine Art von Entscheidungsstruktur, in dem:

• Das Training basiert auf Gradient-Boosting.
• Das schwache Modell ist ein Entscheidungsbaum.

Gradientenverstärkung

Einen Trainingsalgorithmus, mit dem schwache Modelle trainiert werden, um die Qualität eines starken Modells iterativ zu verbessern (den Verlust zu reduzieren). Ein schwaches Modell könnte beispielsweise ein lineares oder ein kleines Entscheidungsbaummodell sein. Ein starkes Modell ergibt sich aus der Summe aller zuvor trainierten schwachen Modelle.

Bei der einfachsten Form des Gradienten-Boostings wird bei jeder Iteration ein schwaches Modell darauf trainiert, den Verlustgradient des starken Modells vorherzusagen. Anschließend wird die Ausgabe des starken Modells aktualisiert, indem der vorhergesagte Gradient subtrahiert wird, ähnlich wie beim Gradientenverfahren.

Dabei gilt:

• $F_{0}$ ist das erste starke Modell.
• $F_{i+1}$ ist das nächste starke Modell.
• $F_{i}$ ist das aktuelle starke Modell.
• $\xi$ ist ein Wert zwischen 0,0 und 1,0, der als Schrumpfung bezeichnet wird und der Lernrate beim Gradientenabstieg entspricht.
• $f_{i}$ ist das schwache Modell, das dafür trainiert wurde, den Verlustgrad von $F_{i}$ vorherzusagen.

Moderne Varianten des Gradienten-Boostings beinhalten auch die zweite Ableitung des Verlusts (hessisch).

Entscheidungsbäume werden häufig als schwache Modelle beim Gradienten-Boosting verwendet. Weitere Informationen finden Sie unter Gradienten-Boosted-Bäume (Entscheidungsbäume).

Farbverlauf-Clipping

Ein häufig verwendeter Mechanismus zur Entschärfung des Problems des explodierenden Gradienten, indem der Maximalwert von Gradienten künstlich begrenzt (begrenzt) wird, wenn ein Modell mit Gradientenabstieg trainiert wird.

Gradientenabstieg

Eine mathematische Methode zur Minimierung von Verlust. Beim Gradientenabstieg werden Gewichtungen und Verzerrungen iterativ angepasst, um schrittweise die beste Kombination zur Minimierung des Verlusts zu finden.

Das Gradientenverfahren ist älter – viel, viel älter – als das maschinelle Lernen.

Grafik

Eine Berechnungsspezifikation in TensorFlow. Knoten im Diagramm stellen Vorgänge dar. Kanten sind gerichtet und stellen die Übergabe des Ergebnisses eines Vorgangs (Tensor) als Operanden an einen anderen Vorgang dar. Mit TensorBoard können Sie ein Diagramm visualisieren.

Graph Execution

Eine TensorFlow-Programmierumgebung, in der das Programm zuerst eine Grafik erstellt und diese dann vollständig oder teilweise ausführt. Die Grafikausführung ist der Standardausführungsmodus in TensorFlow 1.x.

Im Kontrast zu gezielter Ausführung stehen.

Gierige Richtlinien

Beim Reinforcement Learning eine Richtlinie, die immer die Aktion mit der höchsten erwarteten Rendite auswählt.

Ground Truth

Realität.

Die Sache, die tatsächlich passiert ist.

Betrachten Sie beispielsweise ein binäres Klassifizierungsmodell, das vorhersagt, ob ein Student im ersten Universitätsjahr innerhalb von sechs Jahren seinen Abschluss machen wird. Die Grundwahrheit für dieses Modell ist, ob der Student tatsächlich innerhalb von sechs Jahren

Gruppenattributionsverzerrung

Unter der Annahme, dass das, was für eine Person wahr ist, auch für alle in dieser Gruppe gilt. Die Auswirkungen einer Gruppenattributionsverzerrung können sich verschlimmern, wenn zur Datenerhebung willkürliche Stichproben verwendet werden. In einer nicht repräsentativen Stichprobe können Zuordnungen gegeben werden, die nicht der Realität entsprechen.

Weitere Informationen finden Sie unter Out-Group-Homogenitätsverzerrung und In-Group-Verzerrung.

H

KI-Halluzination

Erstellung einer plausibel scheinen, aber faktisch falschen Ausgabe durch ein generatives KI-Modell, das eine Behauptung über die reale Welt zu geben scheint. Ein generatives KI-Modell, das behauptet, Barack Obama sei 1865 gestorben, heißt beispielsweise Halluzinieren.

Hash-Technologie

Beim maschinellen Lernen ein Mechanismus zum Bucketing kategorialer Daten, insbesondere wenn die Anzahl der Kategorien groß ist, die Anzahl der tatsächlich im Dataset vorkommenden Kategorien jedoch vergleichsweise klein.

Auf der Erde gibt es beispielsweise etwa 73.000 Baumarten. Sie können jede der 73.000 Baumarten in 73.000 separaten kategorialen Buckets darstellen. Wenn nur 200 dieser Baumarten tatsächlich in einem Dataset vorkommen, können Sie die Baumarten auch mithilfe von Hashing in etwa 500 Buckets unterteilen.

Ein einzelner Bucket könnte mehrere Baumarten enthalten. Zum Beispiel könnten Affenbrotbäume und Roter Ahorn – zwei genetisch unterschiedliche Arten – in denselben Bucket gestellt werden. Unabhängig davon ist das Hashen eine gute Möglichkeit, große kategoriale Sets der ausgewählten Anzahl von Buckets zuzuordnen. Beim Hashing wird ein kategoriales Merkmal mit einer großen Anzahl möglicher Werte in eine viel kleinere Anzahl von Werten umgewandelt, indem Werte auf deterministische Weise gruppiert werden.

Heuristik

Eine einfache und schnell implementierte Lösung für ein Problem. Zum Beispiel: „Mit einer Heuristik haben wir eine Genauigkeit von 86% erreicht. Als wir zu einem neuronalen Deep-Learning-Netzwerk wechselten, stieg die Genauigkeit auf 98%.“

versteckte Ebene

Eine Schicht in einem neuronalen Netzwerk zwischen der Eingabeschicht (die Features) und der Ausgabeschicht (die Vorhersage). Jede versteckte Schicht besteht aus einem oder mehreren Neuronen. Das folgende neuronale Netzwerk enthält beispielsweise zwei verborgene Schichten, die erste mit drei Neuronen und die zweite mit zwei Neuronen:

Ein neuronales Deep-Learning-Netzwerk enthält mehr als eine versteckte Schicht. Die obige Abbildung zeigt beispielsweise ein neuronales Deep-Learning-Netzwerk, da das Modell zwei versteckte Schichten enthält.

hierarchisches Clustering

Eine Kategorie von Clustering-Algorithmen, die eine Baumstruktur von Clustern erstellen. Das hierarchische Clustering eignet sich gut für hierarchische Daten, z. B. botanische Taxonomien. Es gibt zwei Arten von hierarchischen Clustering-Algorithmen:

• Beim agglomerativen Clustering wird zuerst jedes Beispiel einem eigenen Cluster zugewiesen. Anschließend werden die nächstgelegenen Cluster iterativ zusammengeführt, um eine hierarchische Struktur zu erstellen.
• Divisives Clustering gruppiert zuerst alle Beispiele in einem Cluster und teilt den Cluster dann iterativ in eine hierarchische Struktur auf.

Im Gegensatz zu zentroidbasiertem Clustering.

Scharnierverlust

Eine Familie von Verlustfunktionen für die Klassifizierung, die darauf abzielt, die Entscheidungsgrenze so weit wie möglich von jedem Trainingsbeispiel zu entfernen, um so den Abstand zwischen den Beispielen und der Grenze zu maximieren. KSVMs nutzen Scharnierverlust (oder eine damit verbundene Funktion, z. B. das quadratische Scharnierverlust). Für die binäre Klassifizierung wird die Scharnierverlustfunktion so definiert:

Dabei ist y das tatsächliche Label, entweder -1 oder +1, und y' die Rohausgabe des Klassifikatormodells:

Folglich sieht ein Diagramm des Scharniersverlusts im Vergleich zu (y * y') so aus:

historische Voreingenommenheit

Eine Art der Voreingenommenheit, die bereits auf der Welt existiert und in ein Dataset eingedrungen ist. Diese Voreingenommenheiten spiegeln in der Regel bestehende kulturelle Stereotypen, demografische Ungleichheiten und Vorurteile gegenüber bestimmten sozialen Gruppen wider.

Stellen Sie sich beispielsweise ein Klassifizierungsmodell vor, das vorhersagt, ob ein Kreditantragsteller im Verzug ist oder nicht. Das Modell wurde mit historischen Standarddaten für Kredite aus den 1980er-Jahren von lokalen Banken in zwei verschiedenen Gemeinden trainiert. Wenn frühere Bewerber aus Community A sechsmal häufiger einen Kredit in Anspruch nehmen als Bewerber aus Community B, lernt das Modell möglicherweise eine historische Verzerrung. Dies würde dazu führen, dass das Modell Kredite in Community A weniger wahrscheinlich bewilligt, auch wenn die historischen Bedingungen, die dazu geführt haben, dass die höheren Standardraten dieser Community nicht mehr relevant waren, nicht mehr relevant waren.

Holdout-Daten

Beispiele werden während des Trainings absichtlich nicht verwendet („hervorgehoben“). Das Validierungs-Dataset und das Test-Dataset sind Beispiele für Holdout-Daten. Mit Holdout-Daten können Sie die Fähigkeit Ihres Modells bewerten, andere Daten als die Daten zu verallgemeinern, mit denen es trainiert wurde. Der Verlust des Holdout-Datasets liefert eine bessere Schätzung des Verlusts für ein nicht gesehenes Dataset als der Verlust des Trainings-Datasets.

Gastgeber

Wenn Sie ein ML-Modell auf Beschleuniger-Chips (GPUs oder TPUs) trainieren, ist dies der Teil des Systems, der Folgendes steuert:

• Der gesamte Ablauf des Codes.
• Die Extraktion und Transformation der Eingabepipeline.

Der Host wird normalerweise auf einer CPU und nicht auf einem Beschleunigerchip ausgeführt. Das device manipuliert Tensoren auf den Beschleunigerchips.

Hyperparameter

Die Variablen, die Sie oder ein Hyperparameter-Abstimmungsdienstwährend aufeinanderfolgenden Trainingsläufen eines Modells anpassen. Beispielsweise ist die Lernrate ein Hyperparameter. Sie können die Lernrate vor einer Trainingseinheit auf 0,01 festlegen. Wenn Sie feststellen, dass 0,01 zu hoch ist, könnten Sie die Lernrate für die nächste Trainingseinheit vielleicht auf 0,003 festlegen.

Im Gegensatz dazu stehen Parameter für die verschiedenen Gewichtungen und Verzerrungen, die das Modell während des Trainings lernt.

Hyperplane

Begrenzung, die einen Bereich in zwei untergeordnete Bereiche trennt. Eine Linie ist beispielsweise eine Hyperebene in zwei Dimensionen und eine Ebene eine Hyperebene in drei Dimensionen. Beim maschinellen Lernen ist in der Regel eine Hyperebene die Grenze, die einen hochdimensionalen Raum trennt. Kernel-Unterstützungsvektormaschinen verwenden Hyperebenen, um positive von negativen Klassen zu trennen, oft in einem sehr hochdimensionalen Bereich.

I

i.d.

Abkürzung für unabhängig und identisch verteilt.

bilderkennung

Prozess, der Objekte, Muster oder Konzepte in einem Bild klassifiziert. Die Bilderkennung wird auch als Bildklassifizierung bezeichnet.

Weitere Informationen finden Sie unter ML Practicum: Bildklassifizierung.

unausgeglichenes Dataset

Synonym für class-unbalanced dataset.

impliziter Bias

Das automatische Herstellen einer Zuordnung oder Annahme basierend auf den eigenen Gedankenmodellen und Erinnerungen. Implizite Voreingenommenheit kann folgende Auswirkungen haben:

• Wie Daten erhoben und klassifiziert werden.
• Design und Entwicklung von ML-Systemen

Beispielsweise kann ein Ingenieur beim Erstellen eines Klassifikators für Hochzeitsfotos das Vorhandensein eines weißen Kleides auf einem Foto als Element nutzen. Weiße Kleider waren jedoch nur zu bestimmten Zeiten und in bestimmten Kulturen üblich.

Siehe auch Bestätigungsverzerrung.

Imputation

Kurzform der Wertberechnung.

Inkompatibilität von Fairness-Messwerten

Konzept, das besagt, dass einige Konzepte von Fairness gegenseitig nicht kompatibel sind und nicht gleichzeitig befriedigt werden können. Daher gibt es keinen einzigen universellen Messwert zur Quantifizierung von Fairness, der auf alle ML-Probleme angewendet werden kann.

Dies mag zwar entmutigend erscheinen, aber eine Inkompatibilität von Fairness-Messwerten bedeutet nicht, dass Fairness-Bemühungen ergebnislos sind. Stattdessen schlägt er vor, dass Fairness für ein bestimmtes ML-Problem kontextbezogen definiert werden muss, um Schäden zu verhindern, die für die jeweiligen Anwendungsfälle spezifisch sind.

Weitere Informationen zu diesem Thema finden Sie unter Über die (Un-)Möglichkeit von Fairness.

kontextbezogenes Lernen

Synonym für wenige-shot-Prompting.

unabhängig und identisch verteilt (i.i.d)

Daten aus einer Verteilung, die sich nicht ändert und bei denen jeder gezeichnete Wert nicht von zuvor gezeichneten Werten abhängt. Ein i.i.d. ist das ideale Gas des maschinellen Lernens – ein nützliches mathematisches Konstrukt, das in der realen Welt aber so gut wie nie genau zu finden ist. Die Verteilung der Besucher einer Webseite kann beispielsweise über ein kurzes Zeitfenster hinweg ablaufen. Das heißt, die Verteilung ändert sich während dieses kurzen Zeitfensters nicht und der Besuch einer Person ist im Allgemeinen unabhängig vom Besuch einer anderen Person. Wenn Sie dieses Zeitfenster jedoch verlängern, können saisonale Unterschiede bei den Besuchern der Webseite auftreten.

Siehe auch Instationarität.

individuelle Fairness

Ein Fairness-Messwert, mit dem geprüft wird, ob ähnliche Personen ähnlich klassifiziert werden. Die Brobdingnagian Academy kann beispielsweise auf individuelle Fairness achten, indem sichergestellt wird, dass zwei Studenten mit identischen Noten und standardisierten Prüfungsergebnissen die gleiche Wahrscheinlichkeit zur Zulassung erhalten.

Beachten Sie, dass die individuelle Fairness vollständig davon abhängt, wie Sie „Ähnlichkeit“ (in diesem Fall Noten und Prüfungsergebnisse) definieren. Sie laufen außerdem Gefahr, neue Fairness-Probleme aufzustellen, wenn beim Ähnlichkeitsmesswert wichtige Informationen fehlen (z. B. die Gründlichkeit des Lehrplans eines Lernenden).

Detailliertere Informationen zu Fairness beim einzelnen Nutzer finden Sie unter Fairness beim Bewusstsein.

Inferenz

Beim maschinellen Lernen der Prozess des Treffens von Vorhersagen durch Anwenden eines trainierten Modells auf Beispiele ohne Label.

Inferenz hat in der Statistik eine etwas andere Bedeutung. Weitere Informationen finden Sie im Wikipedia-Artikel zur statistischen Inferenz.

Inferenzpfad

In einem Entscheidungsbaum wird während der Inferenz die Route eines bestimmten Beispiels vom Stamm zu anderen Bedingungen verwendet, die mit einem Blatt endet. Im folgenden Entscheidungsbaum zeigen die dickeren Pfeile beispielsweise den Inferenzpfad für ein Beispiel mit den folgenden Feature-Werten an:

• x = 7
• y = 12
• z = -3

Der Inferenzpfad in der folgenden Abbildung durchläuft drei Bedingungen, bevor er das Blatt erreicht (Zeta).

Die drei dicken Pfeile zeigen den Inferenzpfad.

Informationsgewinn

In Entscheidungsstrukturen die Differenz zwischen der Entropie eines Knotens und der gewichteten Summe (nach Anzahl der Beispiele) der Entropie seiner untergeordneten Knoten. Die Entropie eines Knotens ist die Entropie der Beispiele in diesem Knoten.

Betrachten Sie beispielsweise die folgenden Entropiewerte:

• Entropie des übergeordneten Knotens = 0,6
• Entropie eines untergeordneten Knotens mit 16 relevanten Beispielen = 0,2
• Entropie eines anderen untergeordneten Knotens mit 24 relevanten Beispielen = 0,1

Somit befinden sich 40% der Beispiele in einem untergeordneten Knoten und 60% in dem anderen untergeordneten Knoten. Beispiele:

• Gewichtete Entropiesumme der untergeordneten Knoten = (0,4 * 0,2) + (0,6 * 0,1) = 0,14

Die gewonnenen Informationen sind also:

• Informationsgewinn = Entropie des übergeordneten Knotens - gewichtete Entropie-Summe der untergeordneten Knoten
• Informationsgewinn = 0,6 - 0,14 = 0,46

Die meisten Splitter schaffen Bedingungen, die den Informationsgewinn maximieren.

In-Group-Verzerrung

Zeigt eine Parteilichkeit gegenüber der eigenen Gruppe oder eigenen Merkmalen. Wenn Tester oder Prüfer aus Freunden, Familienmitgliedern oder Kollegen des Entwicklers für maschinelles Lernen bestehen, kann die In-Group-Verzerrung Produkttests oder das Dataset ungültig machen.

Die In-Group-Verzerrung ist eine Form der Gruppenzuordnungsverzerrung. Siehe auch Out-Group-Homogenitätsverzerrung.

Eingabegenerator

Ein Mechanismus, mit dem Daten in ein neuronales Netzwerk geladen werden.

Ein Eingabegenerator kann man sich als eine Komponente vorstellen, die für die Verarbeitung von Rohdaten in Tensoren verantwortlich ist, die iteriert werden, um Batches für Training, Auswertung und Inferenz zu generieren.

Eingabeebene

Die Ebene eines neuronalen Netzwerks, das den Featurevektor enthält. Das heißt, die Eingabeebene enthält Beispiele für Training oder Inferenz. Die Eingabeebene im folgenden neuronalen Netzwerk besteht beispielsweise aus zwei Merkmalen:

Eingefügte Bedingung

In einem Entscheidungsbaum eine Bedingung, die prüft, ob ein Element in einer Gruppe von Elementen vorhanden ist. Das folgende Beispiel zeigt eine festgelegte Bedingung:

  house-style in [tudor, colonial, cape]

Wenn während der Inferenz der Wert des Elements im Hausstil tudor, colonial oder cape ist, wird diese Bedingung mit „Ja“ ausgewertet. Wenn der Wert des Elements im Hausstil ein anderer Wert ist (z. B. ranch), wird diese Bedingung als „Nein“ ausgewertet.

Eingesetzte Bedingungen führen in der Regel zu effizienteren Entscheidungsbäumen als Bedingungen, mit denen One-Hot-codierte Features getestet werden.

Instanz

Synonym für example.

Anweisung Feinabstimmung

Eine Form der Feinabstimmung, mit der die Fähigkeit eines generativen KI-Modells verbessert wird, Anweisungen zu befolgen. Bei der Feinabstimmung von Anweisungen wird ein Modell anhand einer Reihe von Anweisungsaufforderungen trainiert, die in der Regel eine Vielzahl von Aufgaben abdecken. Das resultierende, auf Anweisungen abgestimmte Modell generiert dann tendenziell nützliche Antworten auf Zero-Shot-Prompts für eine Vielzahl von Aufgaben.

Vergleichen mit:

• parametereffiziente Abstimmung
• Abstimmung von Eingabeaufforderungen

Interpretierbarkeit

Fähigkeit, die Schlussfolgerungen eines ML-Modells für einen Menschen auf verständliche Weise zu erklären oder zu präsentieren.

Die meisten linearen Regressionsmodelle beispielsweise sind hoch interpretierbar. (Sie müssen sich nur die trainierten Gewichtungen für jedes Feature ansehen.) Auch Entscheidungsforen sind gut interpretierbar. Einige Modelle erfordern jedoch eine ausgefeilte Visualisierung, damit sie interpretierbar werden.

Sie können das Learning Interpretability Tool (LIT) verwenden, um ML-Modelle zu interpretieren.

Vereinbarung zwischen Ratern

Ein Maß dafür, wie oft sich die Prüfer bei der Erledigung einer Aufgabe einig sind. Wenn die Bewerter sich nicht einig sind, müssen die Aufgabenanleitung möglicherweise verbessert werden. Wird manchmal auch als Vereinbarung zwischen den Kommentierenden oder Zuverlässigkeit zwischen Evaluatoren bezeichnet. Siehe auch Cohen's Kappa, eine der beliebtesten Messungen zwischen Rater Vereinbarungen.

Interpunktion über Union (IoU)

Schnittmenge zweier Mengen, geteilt durch ihre Vereinigung. Bei Bilderkennungsaufgaben für maschinelles Lernen wird IoU verwendet, um die Genauigkeit des vorhergesagten Begrenzungsrahmens des Modells in Bezug auf den Ground-Truth-Begrenzungsrahmen zu messen. In diesem Fall ist der IoU für die beiden Begrenzungsrahmen das Verhältnis zwischen dem sich überschneidenden Bereich und der Gesamtfläche. Sein Wert reicht von 0 (keine Überschneidung des vorhergesagten Begrenzungsrahmens und des Grundwahrheits-Begrenzungsrahmens) bis 1 (der vorhergesagter Begrenzungsrahmen und der Ground-Truth-Begrenzungsrahmen haben genau dieselben Koordinaten).

In der folgenden Abbildung ist beispielsweise Folgendes zu sehen:

• Der vorhergesagte Begrenzungsrahmen (die Koordinaten, die begrenzen, wo das Modell die Nachttabelle im Gemälde vorhersagt) ist lila dargestellt.
• Der Ground-Truth-Begrenzungsrahmen (die Koordinaten, die festlegen, wo sich die Nachttabelle im Gemälde tatsächlich befindet) ist grün umrandet.

Hier ist die Schnittmenge der Begrenzungsrahmen für Vorhersage und Ground Truth (unten links) 1 und die Vereinigung der Begrenzungsrahmen für Vorhersage und Ground Truth (unten rechts) 7, sodass der IoU \(\frac{1}{7}\)ist.

IoU

Abkürzung für Intersection over Union.

Elementmatrix

In Empfehlungssystemen eine Matrix von Einbettungsvektoren, die durch die Matrixfaktorisierung generiert wird und latente Signale zu jedem Element enthält. Jede Zeile der Elementmatrix enthält den Wert eines einzelnen latenten Merkmals für alle Elemente. Sehen wir uns als Beispiel ein Filmempfehlungssystem an. Jede Spalte in der Elementmatrix repräsentiert einen einzelnen Film. Die latenten Signale können Genres oder schwer zu interpretierende Signale sein, die komplexe Interaktionen zwischen Genre, Stars, Filmalter oder anderen Faktoren beinhalten.

Die Elementmatrix hat dieselbe Anzahl von Spalten wie die Zielmatrix, die faktorisiert wird. Bei einem Filmempfehlungssystem, das 10.000 Filmtitel auswertet, hat die Elementmatrix beispielsweise 10.000 Spalten.

items

In einem Empfehlungssystem die Entitäten, die ein System empfiehlt. Videos sind beispielsweise die Artikel, die in einem Videogeschäft empfohlen werden, während Bücher die Artikel sind, die eine Buchhandlung empfiehlt.

Iteration

Eine einzelne Aktualisierung der Parameter eines Modells – der Gewichtungen und Verzerrungen des Modells – während des Trainings. Die Batchgröße bestimmt, wie viele Beispiele das Modell in einer einzelnen Iteration verarbeitet. Wenn die Batchgröße beispielsweise 20 beträgt, verarbeitet das Modell 20 Beispiele, bevor die Parameter angepasst werden.

Beim Training eines neuronalen Netzwerks umfasst ein einzelner Durchlauf die folgenden beiden Durchgänge:

1. Ein Vorwärtsdurchlauf zum Auswerten des Verlusts eines einzelnen Batches.
2. Eine Rückwärtsterminierung (Rückpropagierung), um die Parameter des Modells basierend auf dem Verlust und der Lernrate anzupassen.

J

JAX

Eine Array-Computing-Bibliothek, die XLA (Accelerated Linear Algebra) und automatische Differenzierung für numerisches Hochleistungs-Computing vereint. JAX bietet eine einfache und leistungsstarke API zum Schreiben von beschleunigtem numerischen Code mit zusammensetzbaren Transformationen. JAX bietet unter anderem folgende Funktionen:

• grad (automatische Differenzierung)
• jit (Just-in-Time-Kompilierung)
• vmap (automatische Vektorisierung oder Batchverarbeitung)
• pmap (Parallelisierung)

JAX ist eine Sprache zum Ausdrucken und Zusammensetzen von Transformationen von numerischem Code. Sie ähnelt der Python-Bibliothek NumPy, ist jedoch im Umfang sehr viel größer. Tatsächlich ist die .numpy-Bibliothek unter JAX eine funktional äquivalente, aber vollständig umgeschriebene Version der Python-NumPy-Bibliothek.

JAX eignet sich besonders gut, um viele Aufgaben des maschinellen Lernens zu beschleunigen. Dazu werden die Modelle und Daten in eine für GPU- und TPU-Beschleunigerchips geeignete Form umgewandelt.

Flax, Optax, Pax und viele weitere Bibliotheken basieren auf der JAX-Infrastruktur.

K

Keras

Eine beliebte Python-API für maschinelles Lernen. Keras wird auf verschiedenen Deep-Learning-Frameworks ausgeführt, einschließlich TensorFlow, wo es als tf.keras zur Verfügung gestellt wird.

Kernel Support Vector Machines (KSVMs)

Klassifizierungsalgorithmus, der darauf abzielt, den Abstand zwischen positiven und negativen Klassen zu maximieren, indem Eingabedatenvektoren einem höherdimensionalen Bereich zugeordnet werden. Stellen Sie sich beispielsweise ein Klassifizierungsproblem vor, bei dem das Eingabe-Dataset hundert Merkmale hat. Um den Abstand zwischen positiven und negativen Klassen zu maximieren, könnte eine KSVM diese Merkmale intern einem Bereich mit Millionen Dimensionen zuordnen. KSVMs verwendet eine Verlustfunktion namens Hinge-Verlust.

Keypoints

Die Koordinaten bestimmter Merkmale in einem Bild. Bei einem Bilderkennungsmodell, das Blumenarten unterscheidet, können beispielsweise die Mittelpunkte der einzelnen Blütenblätter, die Stiele oder die Stapel entsprechen.

k-Fold-Kreuzvalidierung

Algorithmus zur Vorhersage der Generalisierung eines Modells auf neue Daten. Das k in k-facher Faltung bezieht sich auf die Anzahl gleicher Gruppen, in die Sie die Beispiele eines Datasets unterteilen, d. h., Sie trainieren und testen Ihr Modell k-mal. Für jede Trainings- und Testrunde wird eine andere Gruppe als Test-Dataset verwendet und alle verbleibenden Gruppen bilden das Trainings-Dataset. Nach k Trainings- und Testdurchläufen berechnen Sie den Mittelwert und die Standardabweichung der ausgewählten Testmesswerte.

Angenommen, Ihr Dataset besteht aus 120 Beispielen. Nehmen wir weiter an, Sie setzen k auf 4. Daher teilen Sie das Dataset nach dem Mischen der Beispiele in vier gleiche Gruppen mit je 30 Beispielen auf und führen vier Trainings-/Testrunden durch:

Beispielsweise kann Mean Squared Error (MSE) der aussagekräftigste Messwert für ein lineares Regressionsmodell sein. Daher ermitteln Sie den Mittelwert und die Standardabweichung der MSE für alle vier Runden.

k-Means

Ein beliebter Clustering-Algorithmus, der Beispiele für unüberwachtes Lernen gruppiert. Der k-Means-Algorithmus führt im Wesentlichen folgende Schritte aus:

• Die besten k-Mittelpunkte (sogenannte Schwerpunkte) werden iterativ bestimmt.
• Weist jedes Beispiel dem nächstgelegenen Schwerpunkt zu. Die Beispiele, die dem gleichen Schwerpunkt am nächsten sind, gehören zur selben Gruppe.

Der k-Means-Algorithmus wählt Schwerpunkte aus, um das kumulative Quadrat der Entfernungen von jedem Beispiel zum nächstgelegenen Schwerpunkt zu minimieren.

Betrachten Sie zum Beispiel das folgende Diagramm der Hundehöhe zur Hundebreite:

Bei k=3 bestimmt der k-Means-Algorithmus drei Schwerpunkte. Jedes Beispiel ist dem nächstgelegenen Schwerpunkt zugewiesen, was drei Gruppen ergibt:

Stellen Sie sich vor, ein Hersteller möchte die idealen Größen für Hundepullover in den Größen S, M und L ermitteln. Die drei Schwerpunkte geben die mittlere Höhe und Breite jedes Hundes in diesem Cluster an. Der Hersteller sollte also die Pullovergrößen wahrscheinlich auf diesen drei Schwerpunkten basieren. Der Schwerpunkt eines Clusters ist normalerweise kein Beispiel im Cluster.

Die vorherigen Abbildungen zeigen k-Means für Beispiele mit nur zwei Merkmalen (Höhe und Breite). Mit k-Means können Beispiele über viele Funktionen hinweg gruppiert werden.

k-Medianwert

Clustering-Algorithmus, der eng mit k-Means verwandt ist. Der praktische Unterschied zwischen den beiden ist folgende:

• In k-Means werden Schwerpunkte durch Minimieren der Summe der Quadrate der Entfernung zwischen einem Schwerpunktkandidaten und jedem seiner Beispiele bestimmt.
• Beim k-Median werden Schwerpunkte durch Minimieren der Summe der Entfernung zwischen einem Schwerpunktkandidaten und jedem seiner Beispiele bestimmt.

Beachten Sie, dass sich auch die Definitionen von Entfernung unterscheiden:

• k-Means basiert auf der euklidischen Entfernung vom Schwerpunkt zu einem Beispiel. (In zwei Dimensionen bedeutet die euklidische Entfernung, dass zur Berechnung der Hypotenuse der Satz des Pythagoras verwendet wird.) Die k-Means-Distanz zwischen (2,2) und (5,-2) wäre beispielsweise:

• Der k-Medianwert basiert auf der Entfernung von Manhattan vom Schwerpunkt zu einem Beispiel. Diese Entfernung ist die Summe der absoluten Deltas in jeder Dimension. Der k-Medianabstand zwischen (2,2) und (5,-2) wäre beispielsweise:

L

L₀-Regularisierung

Ein Typ der Regularisierung, die die Gesamtzahl der Gewichtungen ungleich null in einem Modell benachteiligt. Beispielsweise würde ein Modell mit 11 Gewichtungen ungleich null stärker bestraft als ein ähnliches Modell mit 10 Gewichtungen ungleich null.

Die L₀-Regularisierung wird manchmal als L0-Norm-Regularisierung bezeichnet.

L₁-Verlust

Eine Verlustfunktion, die den absoluten Wert der Differenz zwischen tatsächlichen label-Werten und den Werten berechnet, die ein Modell vorhersagt. Hier sehen Sie als Beispiel die Berechnung des L₁-Verlusts für einen Batch aus fünf Beispielen:

Der L₁-Verlust ist weniger empfindlich auf Ausreißer als der L₂-Verlust.

Der mittlere absolute Fehler ist der durchschnittliche L₁-Verlust pro Beispiel.

L₁-Regularisierung

Art der Regularisierung, bei der Gewichtungen proportional zur Summe des absoluten Werts der Gewichtungen bestraft werden. Mit der L₁-Regularisierung können irrelevante oder kaum relevante Features genau 0 gewichtet werden. Ein Feature mit einer Gewichtung von 0 wird effektiv aus dem Modell entfernt.

Kontrast zur L₂-Regularisierung.

L₂-Verlust

Eine Verlustfunktion, die das Quadrat der Differenz zwischen tatsächlichen label-Werten und den Werten berechnet, die ein Modell vorhersagt. Hier sehen Sie als Beispiel die Berechnung des L₂-Verlusts für einen Batch aus fünf Beispielen:

Aufgrund der Quadrate verstärkt der L₂-Verlust den Einfluss von Ausreißern. Das heißt, der L₂-Verlust reagiert stärker auf schlechte Vorhersagen als der L₁-Verlust. Der L₁-Verlust für den vorherigen Batch wäre beispielsweise 8 statt 16. Beachten Sie, dass ein einzelner Ausreißer 9 von 16 ausmacht.

Regressionsmodelle verwenden in der Regel den L₂-Verlust als Verlustfunktion.

Der mittlere quadratische Fehler ist der durchschnittliche L₂-Verlust pro Beispiel. Quadratischer Verlust ist eine andere Bezeichnung für L₂-Verlust.

L₂-Regularisierung

Art der Regularisierung, bei der Gewichtungen proportional zur Summe der Quadrate der Gewichtungen bestraft werden. Die L₂-Regularisierung trägt dazu bei, Ausreißerwerte (mit hohen positiven oder niedrigen negativen Werten) näher an 0, aber nicht ganz bei 0 zu bewegen. Features mit Werten, die sehr nahe bei 0 liegen, verbleiben im Modell, haben aber keinen großen Einfluss auf die Vorhersage des Modells.

Die L₂-Regularisierung verbessert die Generalisierung in linearen Modellen immer.

Kontrast zur L₁-Regularisierung.

Label

Beim überwachten maschinellen Lernen der „Antwort“- oder „Ergebnis“ eines Beispiels.

Jedes Beispiel mit Label besteht aus einem oder mehreren Features und einem Label. Beispielsweise lautet das Label in einem Dataset zur Spamerkennung wahrscheinlich entweder „Spam“ oder „Kein Spam“. In einem Niederschlags-Dataset kann das Label die Regenmenge darstellen, die während eines bestimmten Zeitraums gefallen ist.

Beispiel mit Label

Ein Beispiel, das ein oder mehrere Features und ein Label enthält. Die folgende Tabelle zeigt beispielsweise drei Beispiele für ein Hausbewertungsmodell mit jeweils drei Merkmalen und einem Label:

Beim überwachten maschinellen Lernen werden Modelle anhand von Beispielen mit Labels trainiert und Vorhersagen zu Beispielen ohne Label getroffen.

Beispiel mit Labels gegenüber Beispielen ohne Label gegenüberstellen.

Labelleck

Eine Modelldesignfehler, bei der ein Feature ein Proxy für das Label ist. Stellen Sie sich beispielsweise ein binäres Klassifizierungsmodell vor, das vorhersagt, ob ein potenzieller Kunde ein bestimmtes Produkt kaufen wird. Angenommen, eines der Merkmale für das Modell ist ein boolescher Wert mit dem Namen SpokeToCustomerAgent. Nehmen wir weiter an, dass ein Kunden-Agent erst zugewiesen wird, nachdem der potenzielle Kunde das Produkt tatsächlich gekauft hat. Während des Trainings lernt das Modell schnell die Verknüpfung zwischen SpokeToCustomerAgent und dem Label.

Lambda

Synonym für Regularisierungsrate.

Lambda ist ein Begriff mit Überlastung. Hier konzentrieren wir uns auf die Definition des Begriffs innerhalb der Regularisierung.

LaMDA (Language Model for Dialogue Applications)

Ein Transformer-basiertes Large Language Model, das von Google entwickelt wurde und mit einem großen Dialog-Dataset trainiert wurde, das realistische dialogorientierte Antworten generieren kann.

LaMDA: Unsere bahnbrechende Unterhaltungstechnologie bietet einen Überblick.

landmarks

Synonym für keypoints.

Language Model

Ein model, das die Wahrscheinlichkeit eines model oder einer Abfolge von Tokens in einer längeren Tokensequenz schätzt.

Large Language Model

Ein informeller Begriff ohne strikte Definition, der normalerweise für ein Sprachmodell mit einer hohen Anzahl von Parametern steht. Einige Large Language Models enthalten über 100 Milliarden Parameter.

latenter Bereich

Synonym für embeddingspace.

Layer

Eine Reihe von Neuronen in einem neuronalen Netzwerk. Drei gängige Ebenentypen sind:

• Die Eingabeebene, die Werte für alle Elemente bereitstellt.
• Eine oder mehrere ausgeblendete Ebenen, die nicht lineare Beziehungen zwischen den Elementen und dem Label finden.
• Die Ausgabeschicht, die die Vorhersage bereitstellt.

Die folgende Abbildung zeigt beispielsweise ein neuronales Netzwerk mit einer Eingabeebene, zwei ausgeblendeten Ebenen und einer Ausgabeschicht:

In TensorFlow sind Layers auch Python-Funktionen, die Tensors und Konfigurationsoptionen als Eingabe verwenden und andere Tensoren als Ausgabe erzeugen.

Layers API (tf.layers)

Eine TensorFlow API zum Erstellen eines neuronalen Deep-Learning-Netzwerks als Zusammensetzung von Ebenen. Mit der Layers API können Sie verschiedene Arten von Ebenen erstellen, z. B.:

• tf.layers.Dense für eine vollständig verbundene Ebene.
• tf.layers.Conv2D für eine Convolutional Layer.

Die Layers API folgt den API-Konventionen für Ebenen von Keras. Das heißt, abgesehen von einem anderen Präfix haben alle Funktionen in der Layers API dieselben Namen und Signaturen wie ihre Gegenstücke in der Keras Layers API.

Blatt

Jeder Endpunkt in einem Entscheidungsbaum. Im Gegensatz zu einer Bedingung führt ein Blatt keinen Test durch. Vielmehr ist ein Blatt eine mögliche Vorhersage. Ein Blatt ist auch der Endknoten eines Inferenzpfads.

Der folgende Entscheidungsbaum enthält beispielsweise drei Blätter:

Learning Interpretability Tool (LIT)

Ein visuelles, interaktives Modellverständnis- und Datenvisualisierungstool.

Sie können Open-Source-LIT zum Interpretieren von Modellen verwenden oder zur Visualisierung von Text-, Bild- und Tabellendaten verwenden.

Lernrate

Eine Gleitkommazahl, die dem Gradientenabstiegsalgorithmus mitteilt, wie stark die Gewichtungen und Verzerrungen bei jeder Iteration angepasst werden sollen. Eine Lernrate von 0,3 würde beispielsweise Gewichtungen und Verzerrungen dreimal stärker anpassen als eine Lernrate von 0,1.

Die Lernrate ist ein wichtiger Hyperparameter. Wenn Sie die Lernrate zu niedrig ansetzen, dauert das Training zu lange. Wenn Sie die Lernrate zu hoch einstellen, hat der Gradientenabstieg häufig Probleme beim Erreichen der Konvergenz.

Regression der kleinsten Quadrate

Lineares Regressionsmodell, das durch die Minimierung des L₂-Verlusts trainiert wurde.

Linear

Beziehung zwischen zwei oder mehr Variablen, die nur durch Addition und Multiplikation dargestellt werden kann.

Das Diagramm einer linearen Beziehung ist eine Linie.

Kontrast mit nicht linear

lineares Modell

Ein model, das eine model pro model zuweist, um model zu treffen. Lineare Modelle enthalten auch eine Verzerrung. Im Gegensatz dazu ist die Beziehung zwischen Merkmalen und Vorhersagen in tiefen Modellen im Allgemeinen nicht linear.

Lineare Modelle sind in der Regel einfacher zu trainieren und interpretierbar als tiefe Modelle. Komplexe Modelle können jedoch komplexe Beziehungen zwischen Merkmalen erlernen.

Lineare Regression und logistische Regression sind zwei Arten von linearen Modellen.

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

lineare Regression

Modell für maschinelles Lernen, bei dem die beiden folgenden Bedingungen zutreffen:

• Das Modell ist ein lineares Modell.
• Die Vorhersage ist ein Gleitkommawert. Dies ist der Regressionsteil der linearen Regression.

Lineare Regression mit logistischer Regression gegenüberstellen Vergleichen Sie die Regression außerdem der Klassifizierung.

LIT (LIT)

Abkürzung für das Learning Interpretability Tool (LIT), das zuvor als Language Interpretability Tool bezeichnet wurde.

LLM

Abkürzung für Large Language Model.

logistische Regression

Eine Art von Regressionsmodell, das eine Wahrscheinlichkeit vorhersagt. Logistische Regressionsmodelle haben die folgenden Eigenschaften:

• Das Label ist kategorial. Der Begriff logistische Regression bezieht sich in der Regel auf eine binäre logistische Regression, d. h. auf ein Modell, das Wahrscheinlichkeiten für Labels mit zwei möglichen Werten berechnet. Eine weniger gebräuchliche Variante, die multinomiale logistische Regression, berechnet Wahrscheinlichkeiten für Labels mit mehr als zwei möglichen Werten.
• Die Verlustfunktion während des Trainings ist Logverlust. Bei Labels mit mehr als zwei möglichen Werten können mehrere Logverlusteinheiten parallel platziert werden.
• Das Modell hat eine lineare Architektur, kein neuronales Deep-Learning-Netzwerk. Der Rest dieser Definition gilt jedoch auch für tiefe Modelle, die Wahrscheinlichkeiten für kategoriale Labels vorhersagen.

Stellen Sie sich beispielsweise ein logistisches Regressionsmodell vor, das die Wahrscheinlichkeit berechnet, dass eine eingegebene E-Mail Spam oder kein Spam ist. Angenommen, das Modell sagt bei der Inferenz 0,72 vorher. Daher schätzt das Modell:

• Eine Wahrscheinlichkeit von 72 %, dass es sich bei der E-Mail um Spam handelt.
• Eine Wahrscheinlichkeit von 28 %, dass es sich bei der E-Mail nicht um Spam handelt.

Ein logistisches Regressionsmodell verwendet die folgende zweistufige Architektur:

1. Das Modell generiert eine Rohvorhersage (y') durch Anwenden einer linearen Funktion von Eingabemerkmalen.
2. Das Modell verwendet diese Rohvorhersage als Eingabe für eine Sigmoidfunktion, die die Rohvorhersage in einen Wert zwischen 0 und 1 (ausschließlich) umwandelt.

Wie jedes Regressionsmodell sagt auch ein logistisches Regressionsmodell eine Zahl vorher. Diese Zahl wird jedoch normalerweise wie folgt Teil eines binären Klassifizierungsmodells:

• Wenn die vorhergesagte Zahl größer ist als der Klassifizierungsschwellenwert, sagt das binäre Klassifizierungsmodell die positive Klasse vorher.
• Wenn die vorhergesagte Zahl kleiner als der Klassifizierungsschwellenwert ist, sagt das binäre Klassifizierungsmodell die negative Klasse vorher.

Logits

Der Vektor von unbearbeiteten (nicht normalisierten) Vorhersagen, die ein Klassifizierungsmodell generiert und der normalerweise dann an eine Normalisierungsfunktion übergeben wird. Wenn das Modell ein Klassifizierungsproblem mit mehreren Klassen löst, werden Logits normalerweise zu einer Eingabe für die Softmax-Funktion. Die Softmax-Funktion generiert dann einen Vektor von (normalisierten) Wahrscheinlichkeiten mit einem Wert für jede mögliche Klasse.

Logverlust

Die Verlustfunktion, die bei einer binären logistischen Regression verwendet wird.

Logwahrscheinlichkeiten

Logarithmus der Wahrscheinlichkeit eines Ereignisses

Langzeitspeicher (LSTM)

Eine Art von Zelle in einem rekurrenten neuronalen Netzwerk, die zur Verarbeitung von Datensequenzen in Anwendungen wie Handschrifterkennung, maschinelle Übersetzung und Bilduntertitel verwendet wird. LSTMs beheben das Problem des verschwindenden Gradienten, das beim Trainieren von RNNs aufgrund langer Datensequenzen auftritt. Sie speichern den Verlauf in einem internen Speicherstatus auf der Grundlage neuer Eingaben und neuer Kontexte aus vorherigen Zellen im RNN.

LoRA

Abkürzung für Anpassungsfähigkeit bei niedrigem Rang.

Niederlage

Messung während des Trainings eines überwachten Modells: Ein Messwert, der angibt, wie weit die Vorhersage eines Modells von seinem Label entfernt ist.

Eine Verlustfunktion berechnet den Verlust.

Verlust-Aggregator

Eine Art von Algorithmus für maschinelles Lernen, der die Leistung eines Modells verbessert, indem die Vorhersagen mehrerer Modelle kombiniert und diese Vorhersagen für eine einzige Vorhersage verwendet werden. Dadurch kann ein Verlust-Aggregator die Varianz der Vorhersagen reduzieren und die Genauigkeit der Vorhersagen verbessern.

Verlustkurve

Ein Diagramm des Verlusts in Abhängigkeit von der Anzahl der Trainingsdurchläufe. Das folgende Diagramm zeigt eine typische Verlustkurve:

Verlustkurven können Ihnen helfen festzustellen, wann Ihr Modell konvergent oder überanpassung ist.

Verlustkurven können alle der folgenden Verlusttypen darstellen:

• Trainingsverlust
• Verlust der Validierung
• Testverlust

Siehe auch Generalisierungskurve.

Verlustfunktion

Während des Trainings oder Tests eine mathematische Funktion, die den Verlust bei einem Batch von Beispielen berechnet. Eine Verlustfunktion gibt für Modelle, die gute Vorhersagen treffen, einen geringeren Verlust zurück als für Modelle, die schlechte Vorhersagen treffen.

Das Ziel des Trainings besteht in der Regel darin, den Verlust zu minimieren, den eine Verlustfunktion zurückgibt.

Es gibt viele verschiedene Arten von Verlustfunktionen. Wählen Sie die entsprechende Verlustfunktion für die Art von Modell aus, das Sie erstellen. Beispiel:

• Der L₂-Verlust (oder Mean Squared Error) ist die Verlustfunktion für die lineare Regression.
• Logverlust ist die Verlustfunktion für die logistische Regression.

Verlustoberfläche

Ein Diagramm mit Gewichtung(en) im Vergleich zu Verlust. Beim Gradientenverfahren wird das Gewicht bzw. die Gewichte ermittelt, bei denen die Verlustoberfläche ein lokales Minimum hat.

Anpassungsfähigkeit auf niedrigem Rang (LoRA)

Ein Algorithmus zur Durchführung einer parametereffizienten Feinabstimmung, mit der nur ein Teil der Parameter eines großen Sprachmodells abgestimmt wird. LoRA bietet die folgenden Vorteile:

• Abstimmungen sind schneller als bei Techniken, die eine Feinabstimmung aller Parameter eines Modells erfordern.
• Senkt die Rechenkosten für Inferenzen im fein abgestimmten Modell.

Ein auf LoRA abgestimmtes Modell erhält oder verbessert die Qualität seiner Vorhersagen.

LoRA ermöglicht mehrere spezialisierte Versionen eines Modells.

LSTM

Abkürzung für Long Short-Term Memory.

M

Machine Learning

Ein Programm oder System, das ein Modell aus Eingabedaten trainiert. Das trainierte Modell kann nützliche Vorhersagen anhand neuer (noch nie gesehener) Daten treffen, die aus derselben Verteilung stammen, die zum Trainieren des Modells verwendet wurde.

Maschinelles Lernen bezieht sich auch auf Fachgebiete für solche Programme oder Systeme.

Mehrheitsklasse

Das gebräuchlichere Label in einem von Klassen unausgeglichenen Dataset. Bei einem Dataset mit 99% negativen Labels und 1% positiven Labels sind die negativen Labels beispielsweise die Mehrheitsklasse.

Im Kontrast zur Minderheitsklasse stehen.

Markov-Entscheidungsprozess (MDP)

Diagramm, das das Entscheidungsmodell darstellt, in dem Entscheidungen (oder Aktionen) getroffen werden, um sich in einer Abfolge von Zuständen zu bewegen, und zwar unter der Annahme, dass die Markov-Eigenschaft zutrifft. Beim bestärkenden Lernen liefern diese Übergänge zwischen Status eine numerische Prämie.

Markov-Eigenschaft

Eine Eigenschaft bestimmter Umgebungen, in denen Zustandsübergänge vollständig durch Informationen bestimmt werden, die im aktuellen Status und der Aktion des Agents liegen.

maskiertes Sprachmodell

Ein Sprachmodell, das die Wahrscheinlichkeit vorhersagt, wie wahrscheinlich es ist, dass Kandidatentokens in einer Sequenz Lücken füllen. Ein maskiertes Sprachmodell kann beispielsweise Wahrscheinlichkeiten für Kandidatenwörter berechnen, um die Unterstreichung im folgenden Satz zu ersetzen:

Der ____ im Hut kam zurück.

In der Literatur wird normalerweise die Zeichenfolge „MASK“ anstelle einer Unterstreichung verwendet. Beispiel:

Die Maske im Hut kam zurück.

Die meisten modernen maskierten Sprachmodelle sind bidirektional.

matplotlib

Eine Open-Source-Python-2D-Plot-Bibliothek. Mit matplotlib können Sie verschiedene Aspekte des maschinellen Lernens visualisieren.

Matrixfaktorisierung

In der Mathematik ein Mechanismus zum Ermitteln der Matrizen, deren Punktprodukt sich einer Zielmatrix nähert.

In Empfehlungssystemen enthält die Zielmatrix häufig die Bewertungen der Nutzer zu Artikeln. Die Zielmatrix für ein Filmempfehlungssystem könnte beispielsweise wie folgt aussehen, wobei die positiven Ganzzahlen Nutzerbewertungen sind und 0 bedeutet, dass der Nutzer den Film nicht bewertet hat:

Das Filmempfehlungssystem zielt darauf ab, Nutzerbewertungen für Filme ohne Altersfreigabe vorherzusagen. Beispiel: Mag Nutzer 1 Black Panther?

Ein Ansatz für Empfehlungssysteme ist die Matrixfaktorisierung zum Generieren der folgenden beiden Matrizen:

• Eine Nutzermatrix, die durch die Anzahl der Nutzer × die Anzahl der Einbettungsdimensionen dargestellt wird.
• Eine Elementmatrix in Form der Anzahl der Einbettungsdimensionen × der Anzahl der Elemente

Die Verwendung der Matrixfaktorisierung für drei Nutzer und fünf Elemente könnte beispielsweise die folgende Nutzer- und Artikelmatrix ergeben:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

Das Skalarprodukt der Nutzer- und Artikelmatrix liefert eine Empfehlungsmatrix, die nicht nur die ursprünglichen Nutzerbewertungen, sondern auch Vorhersagen für die Filme enthält, die jeder Nutzer nicht gesehen hat. Nehmen wir zum Beispiel die Bewertung von Nutzer 1 von Casablanca, also 5, 0. Das Punktprodukt, das dieser Zelle in der Empfehlungsmatrix entspricht, sollte hoffentlich etwa bei 5,0 liegen.Es ist:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

Und was noch wichtiger ist: Wird Nutzer 1 Black Panther mögen? Wird das Punktprodukt der ersten Zeile und der dritten Spalte verwendet, erhalten Sie eine vorhergesagte Bewertung von 4,3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

Die Matrixfaktorisierung ergibt in der Regel eine Nutzer- und Artikelmatrix, die zusammen wesentlich kompakter als die Zielmatrix ist.

Mittlerer absoluter Fehler (MAE)

Der durchschnittliche Verlust pro Beispiel bei Verwendung des L₁-Verlusts. Berechnen Sie den mittleren absoluten Fehler wie folgt:

1. Berechnen Sie den L₁-Verlust für einen Batch.
2. Teilen Sie den L₁-Verlust durch die Anzahl der Beispiele im Batch.

Betrachten Sie zum Beispiel die Berechnung des L₁-Verlusts im folgenden Batch mit fünf Beispielen:

Der L₁-Verlust ist also 8 und die Anzahl der Beispiele ist 5. Daher lautet der mittlere absolute Fehler:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

Kontrast des mittleren absoluten Fehlers mit mittlerer quadratischer Fehler und wurzel der mittleren quadratischen Abweichung.

Mittlerer quadratischer Fehler (MSE)

Der durchschnittliche Verlust pro Beispiel bei Verwendung des L₂-Verlusts. Den mittleren quadratischen Fehler berechnen:

1. Berechnen Sie den L₂-Verlust für einen Batch.
2. Teilen Sie den L₂-Verlust durch die Anzahl der Beispiele im Batch.

Betrachten wir zum Beispiel den Verlust bei dem folgenden Batch mit fünf Beispielen:

Dementsprechend ist der mittlere quadratische Fehler:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

Der mittlere quadratische Fehler ist ein beliebtes Trainingsoptimierungstool, insbesondere für die lineare Regression.

Kontrast des mittleren quadratischen Fehlers mit mittlerer absoluter Fehler und wurzel der mittleren quadratischen Fehler.

TensorFlow Playground verwendet den mittleren quadratischen Fehler zur Berechnung von Verlustwerten.

Mesh-Netzwerk

Ein Begriff in der parallelen ML-Programmierung, der sich auf die Zuweisung der Daten und das Modell zu TPU-Chips und die Definition, wie diese Werte fragmentiert oder repliziert werden, bezieht.

„Mesh“ ist ein Begriff mit Überlastung, der Folgendes bedeuten kann:

• Physisches Layout von TPU-Chips
• Ein abstraktes logisches Konstrukt zur Zuordnung der Daten und des Modells zu den TPU-Chips.

In beiden Fällen wird ein Mesh-Netzwerk als Form angegeben.

Meta-Learning

Teilmenge des maschinellen Lernens, die einen Lernalgorithmus erkennt oder verbessert. Ein Meta-Lernsystem kann auch darauf abzielen, ein Modell so zu trainieren, dass es schnell eine neue Aufgabe aus einer kleinen Datenmenge oder aus Erfahrungen aus vorherigen Aufgaben lernt. Meta-Lernalgorithmen zielen in der Regel auf Folgendes ab:

• Verbessern oder erlernen Sie manuell entwickelte Funktionen (z. B. einen Initialisierer oder ein Optimierungstool).
• Daten- und recheneffizienter arbeiten
• Generalisierung verbessern

Meta-Lernen bezieht sich auf wenige Schritte.

Messwert

Eine Statistik, die für Sie von Interesse ist.

Ein Ziel ist ein Messwert, den ein ML-System zu optimieren versucht.

Metrics API (tf.metrics)

Eine TensorFlow API zum Bewerten von Modellen. Beispielsweise gibt tf.metrics.accuracy an, wie oft die Vorhersagen eines Modells mit den Labels übereinstimmen.

Mini-Batch

Eine kleine, zufällig ausgewählte Teilmenge eines Batch, der in einer Iteration verarbeitet wird. Die Batchgröße eines Minibatches liegt in der Regel zwischen 10 und 1.000 Beispielen.

Angenommen, das gesamte Trainings-Dataset (der vollständige Batch) besteht aus 1.000 Beispielen. Angenommen, Sie legen außerdem die Batchgröße jedes Minibatches auf 20 fest. Daher wird bei jeder Iteration der Verlust bei 20 zufälligen 1.000 Beispielen bestimmt und dann die Gewichtungen und die Verzerrungen entsprechend angepasst.

Es ist viel effizienter, den Verlust bei einem Mini-Batch zu berechnen als den Verlust bei allen Beispielen im vollständigen Batch.

stochastischer Mini-Batch-Gradientenabstieg

Einen Gradientenabstiegsalgorithmus, der Minibatches verwendet. Mit anderen Worten: Beim stochastischen Mini-Batch-Gradientenverfahren wird der Gradient anhand einer kleinen Teilmenge der Trainingsdaten geschätzt. Beim regulären stochastischen Gradientenabstieg wird ein Mini-Batch der Größe 1 verwendet.

Minimax-Verlust

Eine Verlustfunktion für generative kontradiktorische Netzwerke, die auf der Kreuzentropie zwischen der Verteilung der generierten Daten und echten Daten basiert.

Im ersten Artikel wird der minimale Verlust verwendet, um generative kontradiktorische Netzwerke zu beschreiben.

Minderheitenklasse

Das weniger gebräuchliche Label in einem von Klassen unausgeglichenen Dataset. Bei einem Dataset mit 99% negativen Labels und 1% positiven Labels sind die positiven Labels beispielsweise die Minderheitenklasse.

Im Kontrast zur Hauptklasse stehen.

ML

Abkürzung für Machine Learning.

MNIST

Ein von LeCun, Cortes und Burges kompiliertes öffentlich zugängliches Dataset mit 60.000 Bildern, wobei jedes Bild zeigt, wie ein Mensch manuell eine bestimmte Ziffer von 0 bis 9 geschrieben hat. Jedes Bild wird als 28x28-Array mit Ganzzahlen gespeichert, wobei jede Ganzzahl ein Graustufenwert zwischen 0 und 255 ist.

MNIST ist ein kanonisches Dataset für maschinelles Lernen, das häufig zum Testen neuer Ansätze für maschinelles Lernen verwendet wird. Weitere Informationen finden Sie in der MNIST-Datenbank für handschriftliche Ziffern.

Modalität

Eine allgemeine Datenkategorie. Zahlen, Text, Bilder, Video und Audio sind beispielsweise fünf verschiedene Modalitäten.

model

Im Allgemeinen jedes mathematische Konstrukt, das Eingabedaten verarbeitet und Ausgabe zurückgibt. Anders ausgedrückt ist ein Modell der Satz von Parametern und die Struktur, die ein System benötigt, um Vorhersagen zu treffen. Beim überwachten maschinellen Lernen verwendet ein Modell ein Beispiel als Eingabe und leitet eine Vorhersage als Ausgabe ab. Beim überwachten maschinellen Lernen unterscheiden sich die Modelle etwas. Beispiel:

• Ein lineares Regressionsmodell besteht aus einer Reihe von Gewichtungen und einer Verzerrung.
• Ein neuronales Netzwerkmodell besteht aus:
  • Eine Reihe ausgeblendeter Layer, die jeweils ein oder mehrere Neuronen enthalten.
  • Die mit jedem Neuron verbundenen Gewichtungen und Verzerrungen.
• Ein Entscheidungsbaummodell besteht aus:
  • Die Form des Baums, also das Muster, in dem die Bedingungen und Blätter verbunden sind.
  • Die Bedingungen und Blätter.

Sie können ein Modell speichern, wiederherstellen oder Kopien davon erstellen.

Beim unüberwachten maschinellen Lernen werden ebenfalls Modelle generiert. Dies ist in der Regel eine Funktion, mit der ein Eingabebeispiel dem am besten geeigneten Cluster zugeordnet werden kann.

  f(x, y) = 3x -5xy + y2 + 17

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

Modellkapazität

Komplexität der Probleme, die ein Modell erkennen kann. Je komplexer die Probleme, die ein Modell lernen kann, desto höher ist die Kapazität des Modells. Die Kapazität eines Modells erhöht sich in der Regel mit der Anzahl der Modellparameter. Eine formelle Definition der Klassifikatorkapazität finden Sie unter VC-Dimension.

Modellkaskadierung

Ein System, das das ideale model für eine bestimmte Inferenzabfrage auswählt.

Stellen Sie sich eine Gruppe von Modellen vor, die von sehr groß (viele Parameter) bis deutlich kleiner (viel weniger Parameter) reichen. Sehr große Modelle verbrauchen mehr Rechenressourcen zum Zeitpunkt der Inferenz als kleinere Modelle. Sehr große Modelle können jedoch in der Regel komplexere Anfragen ableiten als kleinere Modelle. Bei der Modellkaskadierung wird die Komplexität der Inferenzabfrage bestimmt und dann das geeignete Modell für die Inferenz ausgeführt. Die Hauptmotivation für die Modellkaskadierung besteht darin, die Inferenzkosten zu reduzieren. Dazu werden in der Regel kleinere Modelle und für komplexere Abfragen nur ein größeres Modell ausgewählt.

Stellen Sie sich vor, ein kleines Modell wird auf einem Smartphone und eine größere Version dieses Modells auf einem Remoteserver ausgeführt. Eine gute Modellkaskadierung reduziert Kosten und Latenz, da das kleinere Modell einfache Anfragen verarbeiten kann und nur das Remotemodell für die Verarbeitung komplexer Anfragen aufgerufen wird.

Siehe auch Routermodell.

Modellparallelität

Methode zum Skalieren von Training oder Inferenz, bei der verschiedene Teile eines model auf verschiedenen model platziert werden. Modellparallelität ermöglicht Modelle, die zu groß für ein einzelnes Gerät sind.

Zur Implementierung der Modellparallelität führt ein System in der Regel folgende Schritte aus:

1. Teilt das Modell in kleinere Teile auf.
2. Verteilt das Training dieser kleineren Teile auf mehrere Prozessoren. Jeder Prozessor trainiert seinen eigenen Teil des Modells.
3. Kombiniert die Ergebnisse, um ein einzelnes Modell zu erstellen.

Die Modellparallelität verlangsamt das Training.

Siehe auch Datenparallelität.

Modellrouter

Der Algorithmus, der das ideale model für model bei der model bestimmt. Ein Modellrouter ist in der Regel ein Modell für maschinelles Lernen, das schrittweise lernt, das beste Modell für eine bestimmte Eingabe auszuwählen. Ein Modellrouter kann jedoch manchmal ein einfacherer Algorithmus ohne maschinelles Lernen sein.

Modelltraining

Prozess zur Bestimmung des besten model.

Erfolge

Ein ausgefeilter Algorithmus für den Gradientenabstieg, bei dem ein Lernschritt nicht nur von der Ableitung im aktuellen Schritt, sondern auch von den Ableitungen der unmittelbar vorhergehenden Schritte abhängt. Im Moment wird ein exponentiell gewichteter gleitender Durchschnitt der Gradienten im Zeitverlauf berechnet, ähnlich wie im Impuls in der Physik. Eine Dynamik verhindert manchmal, dass das Lernen im lokalen Minima hängen bleibt.

Klassifizierung mit mehreren Klassen

Beim überwachten Lernen ein Klassifizierungsproblem, bei dem das Dataset mehr als zwei Klassen von Labels enthält. Die Labels im Iris-Dataset müssen beispielsweise eine der folgenden drei Klassen sein:

• Iris Setosa
• Iris virginica
• Iris Vericolor

Ein mit dem Iris-Dataset trainiertes Modell, das den Iris-Typ für neue Beispiele vorhersagt, führt eine Klassifizierung mit mehreren Klassen durch.

Klassifizierungsprobleme, die zwischen genau zwei Klassen unterscheiden, sind hingegen binäre Klassifizierungsmodelle. Ein E-Mail-Modell, das entweder Spam oder kein Spam vorhersagt, ist beispielsweise ein binäres Klassifizierungsmodell.

Bei Clustering-Problemen bezieht sich die mehrklassige Klassifizierung auf mehr als zwei Cluster.

logistische Regression mit mehreren Klassen

Verwendung der logistischen Regression bei Klassifizierungsproblemen mit mehreren Klassen.

mehrköpfige Selbstaufmerksamkeit

Eine Erweiterung der Selbstaufmerksamkeit, die den Selbstaufmerkungsmechanismus mehrmals auf jede Position in der Eingabesequenz anwendet.

Transformers führte die mehrköpfige Selbstaufmerksamkeit ein.

multimodales Modell

Ein Modell, dessen Eingaben und/oder Ausgaben mehr als eine Modalität enthalten. Angenommen, ein Modell verwendet ein Bild und eine Textuntertitelung (zwei Modalitäten) als Merkmale und gibt eine Punktzahl aus, die angibt, wie angemessen die Textuntertitel für das Bild ist. Die Eingaben dieses Modells sind multimodal und die Ausgabe unimodal.

multinomische Klassifizierung

Synonym für mehrklassige Klassifizierung.

multinomiale Regression

Synonym für logistische Regression mit mehreren Klassen.

Multitasking

Verfahren des maschinellen Lernens, bei dem ein einzelnes model für die Ausführung mehrerer model trainiert wird.

Multitaskingmodelle werden durch das Training mit Daten erstellt, die für die verschiedenen Aufgaben geeignet sind. So kann das Modell lernen, Informationen über die Aufgaben hinweg zu teilen, und das Modell kann so effektiver lernen.

Ein für mehrere Aufgaben trainiertes Modell hat häufig verbesserte Generalisierungsfähigkeiten und ist bei der Verarbeitung verschiedener Datentypen robuster.

N

NaN-Trap

Wenn eine Zahl in Ihrem Modell während des Trainings zu einer NaN wird, was dazu führt, dass viele oder alle anderen Zahlen in Ihrem Modell irgendwann zu einer NaN werden.

NaN ist eine Abkürzung für Not a Namber.

Natural Language Understanding

Ermittlung der Absichten eines Nutzers anhand dessen, was er eingegeben oder gesagt hat. Beispielsweise verwendet eine Suchmaschine Natural Language Understanding, um anhand dessen, was der Nutzer eingegeben oder gesagt hat, zu bestimmen, wonach er sucht.

negative Klasse

Bei der binären Klassifizierung wird eine Klasse als positiv und die andere als negativ bezeichnet. Die positive Klasse ist das Objekt oder Ereignis, das das Modell testet, und die negative Klasse die andere Möglichkeit. Beispiel:

• Die negative Klasse bei einem medizinischen Test könnte „kein Tumor“ sein.
• Die negative Klasse in einem E-Mail-Klassifikator ist möglicherweise „Kein Spam“.

Im Kontrast zur positiven Klasse stehen.

negative Stichprobenerhebung

Synonym für Stichprobenerhebung.

Neural Architecture Search (NAS)

Eine Technik zum automatischen Entwerfen der Architektur eines neuronalen Netzwerks. NAS-Algorithmen können den für das Training eines neuronalen Netzwerks erforderlichen Zeit- und Ressourcenaufwand reduzieren.

NAS verwendet in der Regel:

• Ein Suchbereich, d. h. eine Reihe möglicher Architekturen.
• Eine Fitnessfunktion, die ein Maß dafür ist, wie gut eine bestimmte Architektur bei einer bestimmten Aufgabe funktioniert.

NAS-Algorithmen beginnen oft mit einer kleinen Gruppe möglicher Architekturen und erweitern schrittweise den Suchbereich, wenn der Algorithmus lernt, welche Architekturen effektiv sind. Die Fitnessfunktion basiert in der Regel auf der Leistung der Architektur in einem Trainings-Dataset. Der Algorithmus wird normalerweise mit einer Technik des bestärkenden Lernens trainiert.

NAS-Algorithmen haben sich bei der Suche nach leistungsfähigen Architekturen für eine Vielzahl von Aufgaben wie Bildklassifizierung, Textklassifizierung und maschinelle Übersetzung erwiesen.

neuronales Netzwerk

Ein model mit mindestens einer model. Ein neuronales Deep-Learning-Netzwerk ist eine Art neuronales Netz, das mehr als eine verborgene Schicht enthält. Das folgende Diagramm zeigt beispielsweise ein neuronales Deep-Learning-Netzwerk mit zwei verborgenen Schichten.

Jedes Neuron in einem neuronalen Netzwerk ist mit allen Knoten der nächsten Schicht verbunden. Beachten Sie beispielsweise im obigen Diagramm, dass jedes der drei Neuronen der ersten verborgenen Schicht separat mit beiden Neuronen in der zweiten versteckten Schicht verbunden ist.

Auf Computern implementierte neuronale Netzwerke werden manchmal als künstliche neuronale Netzwerke bezeichnet, um sie von neuronalen Netzwerken im Gehirn und anderen Nervensystemen zu unterscheiden.

Einige neuronale Netzwerke können extrem komplexe nicht lineare Beziehungen zwischen verschiedenen Merkmalen und dem Label nachahmen.

Siehe auch Convolutional Neural Network und Recurrent Neural Network.

Neuron

Beim maschinellen Lernen eine eindeutige Einheit innerhalb einer verborgenen Schicht eines neuronalen Netzwerks. Jedes Neuron führt die folgenden zwei Schritte aus:

1. Berechnet die gewichtete Summe von Eingabewerten, multipliziert mit den entsprechenden Gewichtungen.
2. Übergibt die gewichtete Summe als Eingabe an eine Aktivierungsfunktion.

Ein Neuron in der ersten ausgeblendeten Schicht akzeptiert Eingaben von den Featurewerten in der Eingabeebene. Ein Neuron in einer verborgenen Schicht, die über die erste hinausgeht, akzeptiert Eingaben von den Neuronen der vorherigen verborgenen Schicht. Ein Neuron in der zweiten verborgenen Schicht akzeptiert beispielsweise Eingaben von den Neuronen in der ersten verborgenen Schicht.

In der folgenden Abbildung werden zwei Neuronen und ihre Eingaben dargestellt.

Ein Neuron in einem neuronalen Netzwerk ahmt das Verhalten von Neuronen in Gehirnen und anderen Teilen von Nervensystemen nach.

N-Gramm

Eine geordnete Folge von N-Wörtern. Zum Beispiel ist wirklich madly ein Gewicht von 2 Gramm. Da die Reihenfolge wichtig ist, unterscheidet sich madly wirklich von 2 Gramm von wirklich verrückt.

Viele Natural Language Understanding-Modelle verwenden N-Gramme, um das nächste Wort vorherzusagen, das der Nutzer eingeben oder sagen wird. Beispiel: Ein Nutzer hat drei Blinde eingegeben. Ein auf Trigrammen basierendes NLU-Modell würde wahrscheinlich vorhersehen, dass der Nutzer das nächste Mal Mäuse tippt.

Vergleichen Sie N-Gramme mit Bag of Words, bei denen es sich um ungeordnete Wortreihen handelt.

NLU

Abkürzung für Natural Language Understanding.

Knoten (Entscheidungsbaum)

In einem Entscheidungsbaum eine beliebige Bedingung oder jedes Blatt.

Knoten (neuronales Netzwerk)

Ein Neuron in einer verborgenen Schicht.

Knoten (TensorFlow-Grafik)

Einen Vorgang in einem TensorFlow-Graphen.

Rauschen

Im Großen und Ganzen ist das alles, was das Signal in einem Dataset verdeckt. Rauschen kann auf verschiedene Weise in Daten eingebracht werden. Beispiel:

• Manuelle Bewerter machen bei der Beschriftung Fehler.
• Menschen und Instrumente nehmen Featurewerte falsch auf oder lassen sie aus.

nicht binäre Bedingung

Eine Bedingung, die mehr als zwei mögliche Ergebnisse enthält. Die folgende nicht binäre Bedingung enthält beispielsweise drei mögliche Ergebnisse:

nicht linear

Beziehung zwischen zwei oder mehr Variablen, die nicht ausschließlich durch Addition und Multiplikation dargestellt werden kann. Eine lineare Beziehung kann als Linie dargestellt werden. Eine nicht lineare Beziehung kann nicht als Linie dargestellt werden. Betrachten Sie beispielsweise zwei Modelle, die jeweils ein einzelnes Merkmal mit einem einzigen Label in Verbindung bringen. Das Modell auf der linken Seite ist linear und das Modell rechts nicht linear:

Schweigeverzerrung

Siehe Auswahlverzerrung.

Nichtstationarität

Eine Funktion, deren Werte sich in einer oder mehreren Dimensionen ändern, in der Regel zeitlich. Betrachten Sie beispielsweise die folgenden Beispiele für Nichtstationarität:

• Die Anzahl der in einem bestimmten Geschäft verkauften Badeanzüge variiert je nach Saison.
• Die Menge einer bestimmten Frucht, die in einer bestimmten Region geerntet wird, ist für die meiste Zeit des Jahres null, aber für kurze Zeit sehr groß.
• Aufgrund des Klimawandels ändern sich die jährlichen Durchschnittstemperaturen.

Kontrast mit Stationarität.

Normalisierung

Im Großen und Ganzen der Prozess zum Umwandeln des tatsächlichen Wertebereichs einer Variablen in einen Standardwertbereich, z. B.:

• -1 bis +1
• 0 bis 1
• Normalverteilung

Angenommen, der tatsächliche Wertebereich eines bestimmten Merkmals beträgt 800 bis 2.400. Im Rahmen des Feature Engineering haben Sie die Möglichkeit, die tatsächlichen Werte auf einen Standardbereich wie -1 bis +1 zu normalisieren.

Die Normalisierung ist eine häufige Aufgabe beim Feature Engineering. Modelle werden in der Regel schneller trainiert (und liefern bessere Vorhersagen), wenn jedes numerische Merkmal im Featurevektor ungefähr den gleichen Bereich hat.

Neuheitserkennung

Der Prozess, bei dem festgestellt wird, ob ein neues (neues) Beispiel aus derselben Verteilung wie das Trainings-Dataset stammt. Mit anderen Worten: Nach dem Training mit dem Trainings-Dataset bestimmt die Neuheitserkennung, ob ein neues Beispiel (während der Inferenz oder während des zusätzlichen Trainings) ein Ausreißer ist.

Kontrast zur Ausreißererkennung

numerische Daten

Elemente, die als Ganzzahlen oder reellwertige Zahlen dargestellt werden Ein Hausbewertungsmodell würde beispielsweise die Größe eines Hauses (in Quadratfuß oder Quadratmetern) als numerische Daten darstellen. Wenn ein Element als numerische Daten dargestellt wird, haben die Werte des Elements eine mathematische Beziehung zum Label. Das heißt, die Anzahl der Quadratmeter in einem Haus steht wahrscheinlich in irgendeiner mathematischen Beziehung zum Wert des Hauses.

Nicht alle Ganzzahldaten sollten als numerische Daten dargestellt werden. Beispielsweise sind Postleitzahlen in einigen Teilen der Welt Ganzzahlen. Ganzzahlige Postleitzahlen sollten jedoch in Modellen nicht als numerische Daten dargestellt werden. Das liegt daran, dass die Postleitzahl 20000 nicht doppelt (oder halb so stark) wie eine Postleitzahl von 10.000 ist. Obwohl verschiedene Postleitzahlen mit unterschiedlichen Immobilienwerten korrelieren können wir nicht davon ausgehen, dass die Immobilienwerte bei der Postleitzahl 20000 doppelt so wertvoll sind wie die Immobilienwerte bei der Postleitzahl 10000. Postleitzahlen sollten stattdessen als kategorische Daten dargestellt werden.

Numerische Merkmale werden manchmal als kontinuierliche Features bezeichnet.

NumPy

Eine Open-Source-Bibliothek für Mathematik, die effiziente Arrayvorgänge in Python ermöglicht. pandas basiert auf NumPy.

O

Ziel

Ein Messwert, den der Algorithmus zu optimieren versucht.

Zielfunktion

Die mathematische Formel oder der Messwert, den ein Modell optimieren soll. Die Zielfunktion für eine lineare Regression ist beispielsweise in der Regel Mean Squared Loss. Beim Training eines linearen Regressionsmodells wird daher versucht, den mittleren quadratischen Verlust zu minimieren.

In einigen Fällen besteht das Ziel darin, die Zielfunktion zu maximieren. Wenn die Zielfunktion beispielsweise die Genauigkeit ist, besteht das Ziel darin, die Genauigkeit zu maximieren.

Siehe auch Verlust.

schräge Bedingung

In einem Entscheidungsbaum eine Bedingung, die mehr als ein Feature umfasst. Wenn beispielsweise Höhe und Breite beide Elemente sind, gilt Folgendes als schräge Bedingung:

  height > width

Kontrast zur Bedingung Achsenausrichtung.

Offlinegerät

Synonym für static.

Offline-Inferenz

Der Prozess eines Modells, das einen Batch von Vorhersagen generiert und diese Vorhersagen dann im Cache speichert (speichert). Anwendungen können dann auf die abgeleitete Vorhersage aus dem Cache zugreifen, anstatt das Modell noch einmal auszuführen.

Stellen Sie sich beispielsweise ein Modell vor, das alle vier Stunden lokale Wettervorhersagen (Vorhersagen) generiert. Nach jeder Modellausführung speichert das System alle lokalen Wettervorhersagen im Cache. Wetter-Apps rufen die Vorhersagen aus dem Cache ab.

Offline-Inferenz wird auch als statische Inferenz bezeichnet.

Im Kontrast zu Online-Inferenz stehen.

One-Hot-Codierung

Darstellung kategorialer Daten als Vektor mit:

• Ein Element ist auf „1“ festgelegt.
• Alle anderen Elemente sind auf 0 gesetzt.

Die One-Hot-Codierung wird in der Regel zur Darstellung von Strings oder Kennungen verwendet, die eine endliche Menge möglicher Werte haben. Angenommen, ein bestimmtes kategoriales Feature namens Scandinavia hat fünf mögliche Werte:

• „Dänemark“
• „Schweden“
• „Norwegen“
• „Finnland“
• „Island“

Die One-Hot-Codierung könnte jeden der fünf Werte wie folgt darstellen:

Dank der One-Hot-Codierung kann ein Modell basierend auf jedem der fünf Länder unterschiedliche Verbindungen lernen.

Die Darstellung eines Features als numerische Daten ist eine Alternative zur One-Hot-Codierung. Leider ist die numerische Darstellung skandinavischer Länder keine gute Wahl. Betrachten Sie beispielsweise die folgende numerische Darstellung:

• „Dänemark“ ist 0
• „Schweden“ ist 1
• „Norwegen“ ist 2
• „Finnland“ ist 3
• „Island“ wird 4

Bei numerischer Codierung würde ein Modell die Rohzahlen mathematisch interpretieren und versuchen, mit diesen Zahlen zu trainieren. Allerdings ist Island nicht doppelt so viel (oder halb so viel) wie Norwegen, daher würde das Modell einige seltsame Schlussfolgerungen ziehen.

One-Shot Learning

Ein Ansatz für maschinelles Lernen, der häufig für die Objektklassifizierung verwendet wird und mit dem anhand eines einzigen Trainingsbeispiels effektive Klassifikatoren erlernt werden sollen.

Siehe auch wenige Änderungen und Zero-Shot-Lernen.

One-Shot-Prompting

Prompt mit einem Beispiel, das zeigt, wie das Large Language Model reagieren soll. Der folgende Prompt enthält beispielsweise ein Beispiel für ein Large Language Model, wie es eine Abfrage beantworten sollte.

Vergleichen Sie One-Shot-Prompts mit den folgenden Begriffen:

• Zero-Shot-Prompting
• Prompting mit wenigen Aufnahmen

Eins gegen alle

Bei einem Klassifizierungsproblem mit n Klassen eine Lösung, die aus n separaten binären Klassifikatoren besteht – einem binären Klassifikator für jedes mögliche Ergebnis. Bei einem Modell, das Beispiele als tierisch, pflanzlich oder Mineral klassifiziert, würde eine Ein-gegen-alle-Lösung die folgenden drei separaten binären Klassifikatoren bereitstellen:

• Tier oder kein Tier
• Gemüse gegen Gemüse
• Mineral im Vergleich zu nicht Mineral

online

Synonym für dynamic.

Online-Inferenz

Vorhersagen bei Bedarf generieren. Angenommen, eine Anwendung übergibt eine Eingabe an ein Modell und gibt eine Anfrage für eine Vorhersage aus. Ein System, das Onlineinferenzen verwendet, reagiert auf die Anfrage, indem es das Modell ausführt und die Vorhersage an die Anwendung zurückgibt.

Im Kontrast zu Offline-Inferenz.

Vorgang (Vorgang)

Jede Prozedur in TensorFlow, die einen Tensor erstellt, manipuliert oder zerstört. Eine Matrixmultiplikation ist beispielsweise ein Vorgang, der zwei Tensoren als Eingabe verwendet und einen Tensor als Ausgabe generiert.

Optax

Eine Bibliothek zur Gradientenverarbeitung und Optimierung für JAX. Optax erleichtert die Forschung durch die Bereitstellung von Bausteinen, die auf kundenspezifische Weise neu kombiniert werden können, um parametrische Modelle wie neuronale Deep-Learning-Netzwerke zu optimieren. Weitere Ziele:

• Eine lesbare, gut getestete und effiziente Implementierung von Kernkomponenten.
• Steigern Sie die Produktivität, indem Sie Low-Level-Elemente zu benutzerdefinierten Optimierern (oder anderen Komponenten zur Gradientenverarbeitung) kombinieren können.
• Beschleunigen Sie die Akzeptanz neuer Ideen, indem Sie es allen einfach machen, einen Beitrag zu leisten.

Optimierungstool

Eine spezifische Implementierung des Gradientenabstiegsalgorithmus. Gängige Optimierer sind:

• AdaGrad steht für „ADAptive GRADient Abstammung“.
• Adam, was für ADAptive with Momentum steht.

Out-Group-Homogenitätsverzerrung

Die Tendenz, Mitglieder der externen Gruppe beim Vergleichen von Einstellungen, Werten, Persönlichkeitsmerkmalen und anderen Eigenschaften ähnlich zu betrachten. In-Group bezieht sich auf Personen, mit denen Sie regelmäßig interagieren, und out-group auf Personen, mit denen Sie nicht regelmäßig interagieren. Wenn Sie ein Dataset erstellen, indem Sie Personen bitten, Attribute zu externen Gruppen anzugeben, sind diese Attribute möglicherweise weniger differenziert und stereotypisiert als Attribute, die die Teilnehmer für Personen in ihrer Gruppe auflisten.

Die Lilliputianer könnten beispielsweise die Häuser anderer Lilliputianer sehr detailliert beschreiben und kleine Unterschiede in Architekturstilen, Fenstern, Türen und Größen nennen. Dieselben Lilliputianer könnten jedoch einfach erklären, dass die Bruderdingen alle in identischen Häusern leben.

Die Out-Group-Homogenitätsverzerrung ist eine Form der Gruppenattributionsverzerrung.

Siehe auch In-Group-Verzerrung.

Ausreißererkennung

Der Prozess zum Identifizieren von Ausreißern in einem Trainings-Dataset.

Im Kontrast zur Neuheitserkennung stehen.

erkennen

Werte, die von den meisten anderen Werten abweichen. Beim maschinellen Lernen sind die folgenden Ausreißer:

• Eingabedaten, deren Werte um etwa 3 Standardabweichungen vom Mittelwert abweichen.
• Gewichtungen mit hohen absoluten Werten
• Vorhergesagte Werte, die relativ weit von den tatsächlichen Werten entfernt sind.

Beispiel: widget-price ist ein Merkmal eines bestimmten Modells. Es wird angenommen, dass der Mittelwert widget-price 7 € mit einer Standardabweichung von 1 € ist. Beispiele mit einem widget-price von 12 € oder 2 € würden daher als Ausreißer betrachtet, da jeder dieser Preise fünf Standardabweichungen vom Mittelwert ist.

Ausreißer werden oft durch Tipp- oder andere Eingabefehler verursacht. In anderen Fällen sind Ausreißer keine Fehler. Schließlich sind Werte, die fünf Standardabweichungen vom Mittelwert entfernt sind, selten, aber kaum unmöglich.

Ausreißer verursachen häufig Probleme beim Modelltraining. Das Zuschneiden ist eine Möglichkeit, Ausreißer zu verwalten.

Out-of-Bag-Bewertung (OOB-Bewertung)

Ein Mechanismus zur Bewertung der Qualität eines Entscheidungsbaums, indem jeder Entscheidungsbaum mit den Beispielen verglichen wird, die nicht während des Trainings dieses Entscheidungsbaums verwendet wurden. Beachten Sie beispielsweise im folgenden Diagramm, dass das System jeden Entscheidungsbaum in etwa zwei Dritteln der Beispiele trainiert und dann anhand des verbleibenden ein Drittel der Beispiele evaluiert.

Die Out-of-Bag-Bewertung ist eine recheneffiziente und konservative Annäherung an den Kreuzvalidierungsmechanismus. Bei der Kreuzvalidierung wird für jede Kreuzvalidierungsrunde ein Modell trainiert (z. B. werden zehn Modelle in einer zehnfachen Kreuzvalidierung). Bei der OOB-Bewertung wird ein einzelnes Modell trainiert. Da beim Baging einige Daten von jedem Baum während des Trainings zurückgehalten werden, kann die OOB-Auswertung diese Daten zur ungefähren Kreuzvalidierung verwenden.

Ausgabeebene

Die „letzte“ Schicht eines neuronalen Netzwerks. Die Ausgabeebene enthält die Vorhersage.

Die folgende Abbildung zeigt ein kleines neuronales Deep-Learning-Netzwerk mit einer Eingabeschicht, zwei ausgeblendeten Ebenen und einer Ausgabeebene:

Überanpassung

Ein model erstellen, das so genau mit den model übereinstimmt, dass das Modell bei neuen Daten keine korrekten Vorhersagen treffen kann

Die Regularisierung kann eine Überanpassung reduzieren. Wenn du mit einem großen und vielfältigen Trainings-Dataset trainierst, kannst du eine Überanpassung ebenfalls reduzieren.

Oversampling

Verwenden Sie die Beispiele einer Minderheitsklasse in einem von einer Klasse unausgeglichenen Dataset, um ein ausgewogenes Trainings-Dataset zu erstellen.

Betrachten Sie beispielsweise ein binäres Klassifizierungsproblem, bei dem das Verhältnis der Mehrheitsklasse zur Minderheitsklasse 5.000:1 beträgt. Wenn das Dataset eine Million Beispiele enthält, enthält es nur etwa 200 Beispiele der Minderheitenklasse. Dies sind möglicherweise zu wenige Beispiele für ein effektives Training. Um diesen Mangel zu beheben, können Sie diese 200 Beispiele mehrmals übersampeln (wiederverwenden), sodass Sie möglicherweise genügend Beispiele für ein nützliches Training erhalten.

Achten Sie beim Übersampeln auf eine übermäßige Überanpassung.

einen Kontrast mit Untersampling bilden.

P

Gepackte Daten

Ein Ansatz zum effizienteren Speichern von Daten.

In gepackten Daten werden Daten entweder in einem komprimierten Format oder auf eine andere Weise gespeichert, die einen effizienteren Zugriff ermöglicht. Verpackte Daten minimieren den für den Zugriff erforderlichen Arbeitsspeicher und die für den Zugriff erforderlichen Rechenressourcen, was zu einem schnelleren Training und einer effizienteren Modellinferenz führt.

Gepackte Daten werden häufig mit anderen Techniken wie Datenerweiterung und Regularisierung verwendet, um die Leistung von Modellen weiter zu verbessern.

pandas

Eine spaltenorientierte Datenanalyse API, die auf numpy basiert. Viele Frameworks für maschinelles Lernen, einschließlich TensorFlow, unterstützen Pandas-Datenstrukturen als Eingaben. Weitere Informationen finden Sie in der pandas-Dokumentation.

Parameter

Die Gewichtungen und Verzerrungen, die ein Modell während des Trainings lernt. In einem linearen Regressionsmodell bestehen die Parameter beispielsweise aus der Verzerrung (b) und allen Gewichtungen (w₁, w₂ usw.) in der folgenden Formel:

Im Gegensatz dazu sind Hyperparameter die Werte, die Sie (oder ein Hyperparameter-Abstimmungsdienst) dem Modell zur Verfügung stellen. Beispielsweise ist die Lernrate ein Hyperparameter.

Parameter-effiziente Abstimmung

Eine Reihe von Techniken zur effizienteren Feinabstimmung eines großen vortrainierten Sprachmodells (PLM) als vollständige Feinabstimmung. Bei der Parameter-effizienten Abstimmung werden in der Regel weit weniger Parameter als eine vollständige Feinabstimmung optimiert. Im Allgemeinen wird jedoch ein Large Language Model erzeugt, das genauso (oder fast so gut) wie ein Large Language Model, das mit vollständiger Feinabstimmung erstellt wurde, funktioniert.

Parametereffiziente Abstimmung vergleichen und gegenüberstellen mit:

• Abstimmung der Anweisungen
• Abstimmung von Eingabeaufforderungen

Parametereffiziente Abstimmung wird auch als parametereffiziente Feinabstimmung bezeichnet.

Parameterserver (PS)

Ein Job, der die Parameter eines Modells in einer verteilten Einstellung verfolgt.

Parameteraktualisierung

Die Anpassung der Parameter eines Modells während des Trainings, in der Regel innerhalb einer einzelnen Iteration des Gradientenabstiegs.

partielle Ableitung

Ableitung, bei der alle Variablen bis auf eine als Konstante angesehen werden. Beispielsweise ist die partielle Ableitung von f(x, y) nach x die Ableitung von f, die nur als Funktion von x betrachtet wird (d. h., y bleibt konstant). Die partielle Ableitung von f nach x konzentriert sich nur darauf, wie sich x ändert, und ignoriert alle anderen Variablen in der Gleichung.

Beteiligungsverzerrung

Synonym für Nichtantwortverzerrung. Siehe Auswahlverzerrung.

Partitionierungsstrategie

Der Algorithmus, nach dem Variablen auf Parameterserver aufgeteilt werden.

Pax

Ein Programmier-Framework, das zum Trainieren umfangreicher neuronaler Netzwerkmodelle entwickelt ist, die so groß sind, dass sie mehrere TPU-Beschleuniger-Chips Slices oder Pods abdecken.

Pax basiert auf Flax, das auf JAX basiert.

Perceptron

Ein System (entweder Hardware oder Software), das einen oder mehrere Eingabewerte annimmt, eine Funktion für die gewichtete Summe der Eingaben ausführt und einen einzelnen Ausgabewert berechnet. Beim maschinellen Lernen ist die Funktion in der Regel nicht linear, z. B. ReLU, sigmoid oder tanh. Das folgende Perceptron benötigt beispielsweise die Sigmoidfunktion, um drei Eingabewerte zu verarbeiten:

In der folgenden Abbildung nimmt das Perceptron drei Eingaben vor, von denen jede vor dem Eintritt in das Perceptron durch eine Gewichtung modifiziert wird:

Perceptronen sind die Neuronen in neuronalen Netzwerken.

Leistung

Überladener Begriff mit folgenden Bedeutungen:

• Standardbedeutung in der Softwareentwicklung. Insbesondere: Wie schnell (oder effizient) wird diese Software ausgeführt?
• Die Bedeutung des maschinellen Lernens Hier beantwortet die Leistung die folgende Frage: Wie korrekt ist dieses model? Wie gut sind die Vorhersagen des Modells?

Wichtigkeit von Permutationsvariablen

Art von variabler Wichtigkeit, die die Zunahme des Vorhersagefehlers eines Modells bewertet, nachdem die Werte des Features geändert wurden. Die Wichtigkeit der Permutationsvariablen ist ein modellunabhängiger Messwert.

Verwirrung

Ein Maß dafür, wie gut ein model seine Aufgabe erfüllt. Angenommen, Ihre Aufgabe besteht darin, die ersten Buchstaben eines Wortes zu lesen, das ein Nutzer auf der Tastatur eines Smartphones eingibt, und eine Liste möglicher Vervollständigungswörter anzubieten. Die Perplexität P (P) ist in etwa die Anzahl der Vermutungen, die Sie angeben müssen, damit Ihre Liste das tatsächliche Wort enthält, das der Nutzer zu tippen versucht.

Die Perplexität hängt mit der Kreuzentropie zusammen:

Pipeline

Die Infrastruktur eines Algorithmus für maschinelles Lernen. Eine Pipeline umfasst das Erfassen der Daten, das Einfügen der Daten in Dateien mit Trainingsdaten, das Trainieren eines oder mehrerer Modelle und das Exportieren der Modelle in die Produktion.

Pipelines

Eine Form der Modellparallelität, bei der die Verarbeitung eines Modells in aufeinanderfolgende Phasen aufgeteilt ist und jede Phase auf einem anderen Gerät ausgeführt wird. Während eine Phase einen Batch verarbeitet, kann die vorherige Phase mit dem nächsten Batch arbeiten.

Weitere Informationen finden Sie unter Gestaffelte Schulung.

Pjit

Eine JAX-Funktion, die Code zur Ausführung auf mehrere Beschleuniger-Chips aufteilt. Der Nutzer übergibt eine Funktion an pjit, die eine Funktion mit der entsprechenden Semantik zurückgibt, aber in eine XLA-Berechnung kompiliert wird, die auf mehreren Geräten (z. B. GPUs oder TPU-Kernen) ausgeführt wird.

Mit pjit können Nutzer Berechnungen mit dem Partitioner SPMD fragmentieren, ohne sie umzuschreiben.

Im März 2023 wurde pjit mit jit zusammengeführt. Weitere Informationen finden Sie unter Verteilte Arrays und automatische Parallelisierung.

PLM

Abkürzung für vortrainiertes Sprachmodell.

PMap

Eine JAX-Funktion, die Kopien einer Eingabefunktion auf mehreren zugrunde liegenden Hardwaregeräten (CPUs, GPUs oder TPUs) mit unterschiedlichen Eingabewerten ausführt. Pmap basiert auf SPMD.

policy

Beim Reinforcement Learning die probabilistische Zuordnung eines Agents von Bundesstaaten zu Aktionen.

Pooling

Reduktion einer oder mehrerer Matrizen, die mit einer früheren Convolutional-Schicht erstellt wurden, zu einer kleineren Matrix Beim Pooling wird normalerweise entweder der Maximal- oder Durchschnittswert im Pool-Bereich ermittelt. Angenommen, wir haben die folgende 3x3-Matrix:

Ein Pooling-Vorgang teilt diese Matrix wie ein Faltungsvorgang in Segmente auf und verschiebt diesen Faltungsvorgang dann in Schritten. Angenommen, die Pooling-Operation unterteilt die Faltungsmatrix in 2 × 2-Segmente mit einem 1 × 1-Schritt. Wie das folgende Diagramm zeigt, finden vier Pooling-Vorgänge statt. Stellen Sie sich vor, dass jeder Pooling-Vorgang den Maximalwert der Vier in diesem Slice auswählt:

Mit Pooling können Sie eine Übersetzungsinvarianz in der Eingabematrix erzwingen.

Das Pooling für Vision-Anwendungen wird förmlicher als räumliches Pooling bezeichnet. Bei Zeitachsenanwendungen wird Pooling in der Regel als zeitliches Pooling bezeichnet. Weniger offiziell wird das Pooling oft als Subsampling oder Downsampling bezeichnet.

Positionscodierung

Verfahren zum Hinzufügen von Informationen zur Position eines Tokens in einer Sequenz zur Einbettung des Tokens. Transformer-Modelle verwenden die Positionscodierung, um die Beziehung zwischen verschiedenen Teilen der Sequenz besser zu verstehen.

Eine gängige Implementierung der Positionscodierung verwendet eine Sinusoidfunktion. Insbesondere werden die Frequenz und Amplitude der Sinusoidfunktion durch die Position des Tokens in der Sequenz bestimmt. Mit dieser Technik kann ein Transformer-Modell lernen, verschiedene Teile der Sequenz basierend auf ihrer Position zu berücksichtigen.

positive Klasse

Die Klasse, für die Sie den Test durchführen.

Die positive Klasse in einem Krebsmodell könnte beispielsweise „Tumor“ sein. Die positive Klasse in einem E-Mail-Klassifikator kann beispielsweise „Spam“ sein.

Kontrast mit negativer Klasse.

Nachbearbeitung

Ausgabe eines Modells anpassen, nachdem das Modell ausgeführt wurde. Die Nachverarbeitung kann verwendet werden, um Fairness-Einschränkungen durchzusetzen, ohne die Modelle selbst zu ändern.

Sie können beispielsweise die Nachverarbeitung auf einen binären Klassifikator anwenden, indem Sie einen Klassifizierungsgrenzwert so festlegen, dass die Chancengleichheit für ein bestimmtes Attribut aufrechterhalten wird. Dazu wird geprüft, ob die Rate für richtig positive Ergebnisse für alle Werte dieses Attributs gleich ist.

PR AUC (Bereich unter der PR-Kurve)

Fläche unter der interpolierten Precision-/Recall-Kurve, die durch Darstellung von (Recall, Precision) Punkten für verschiedene Werte des Klassifizierungsschwellenwerts erhalten wird. Je nach Berechnungsmethode kann PR AUC der durchschnittlichen Genauigkeit des Modells entsprechen.

Praxis

Eine leistungsstarke ML-Hauptbibliothek von Pax wird oft als „Layer Library“ bezeichnet.

Die Praxis enthält nicht nur die Definitionen für die Layer-Klasse, sondern auch die meisten ihrer unterstützenden Komponenten, darunter:

• Dateneingaben
• Konfigurationsbibliotheken (HParam und Fiddle)
• Optimierungstools

Praxis enthält die Definitionen für die Modellklasse.

Precision

Ein Messwert für Klassifizierungsmodelle, der die folgende Frage beantwortet:

Welcher Prozentsatz der Vorhersagen war richtig, als das Modell die positive Klasse vorhergesagt hat?

Die Formel lautet:

Dabei gilt:

• Richtig positiv bedeutet, dass das Modell die positive Klasse richtig vorhergesagt hat.
• Falsch positiv bedeutet, dass das Modell die positive Klasse fälschlicherweise vorhergesagt hat.

Angenommen, ein Modell hat 200 positive Vorhersagen getroffen. Von diesen 200 positiven Vorhersagen:

• 150 echt positive Ergebnisse.
• 50 waren falsch positive Ergebnisse.

In diesem Fall gilt:

Im Kontrast zu Genauigkeit und Trefferquote stehen.

Precision-/Recall-Kurve

Eine Kurve mit der Genauigkeit im Vergleich zur Trefferquote bei unterschiedlichen Klassifizierungsschwellenwerten.

prognostizierter Wert

Die Ausgabe eines Modells. Beispiel:

• Die Vorhersage eines binären Klassifizierungsmodells ist entweder die positive oder die negative Klasse.
• Die Vorhersage eines mehrklassigen Klassifizierungsmodells ist eine Klasse.
• Die Vorhersage eines linearen Regressionsmodells ist eine Zahl.

Vorhersageverzerrung

Ein Wert, der angibt, wie weit der Durchschnitt der Vorhersagen vom Durchschnitt der Labels im Dataset entfernt ist.

Nicht zu verwechseln mit dem Begriff der Voreingenommenheit in ML-Modellen oder mit Voreingenommenheit in Bezug auf Ethik und Fairness.

prädiktives ML

Jedes standardmäßige („klassische“) System für maschinelles Lernen.

Für den Begriff prognostisches ML gibt es keine formale Definition. Vielmehr wird mit dem Begriff eine Kategorie von ML-Systemen unterschieden, die nicht auf generativer KI basieren.

Vorhersageparität

Fairnessmesswert, der prüft, ob für einen bestimmten Klassifikator die Precision-Raten für die in Betracht gezogenen Untergruppen übereinstimmen.

Beispiel: Ein Modell, das die Akzeptanz von Hochschulen vorhersagt, würde die vorhergesagte Parität der Nationalität erfüllen, wenn die Genauigkeitsrate für Lilliputians und Brobdingnagians gleich ist.

Die prädiktive Parität wird manchmal auch als prognostische Ratenparität bezeichnet.

Eine ausführlichere Erläuterung der prädiktiven Parität finden Sie unter Erläuterung der Fairness-Definitionen (Abschnitt 3.2.1).

Vorhersageratenparität

Eine andere Bezeichnung für prognostische Parität.

Vorverarbeitung

vortrainiertes Modell

Modelle oder Modellkomponenten (z. B. ein Einbettungsvektor), die bereits trainiert wurden. Manchmal speisen Sie vortrainierte Einbettungsvektoren in ein neuronales Netzwerk ein. In anderen Fällen trainiert Ihr Modell die Einbettungsvektoren selbst, anstatt die vortrainierten Einbettungen zu verwenden.

Der Begriff vortrainiertes Sprachmodell bezieht sich auf ein Large Language Model, das ein Vortraining durchlaufen hat.

Vorabtraining

Das erste Training eines Modells mit einem großen Dataset. Einige vortrainierte Modelle sind ungeschickte Giganten und müssen in der Regel durch zusätzliches Training optimiert werden. Beispielsweise können ML-Experten ein Large Language Model mit einem umfangreichen Text-Dataset vorab trainieren, z. B. allen englischsprachigen Seiten in Wikipedia. Nach dem Vorabtraining kann das resultierende Modell mit einer der folgenden Techniken weiter verfeinert werden:

• Destillation
• Feinabstimmung
• Abstimmung der Anweisungen
• parametereffiziente Abstimmung
• Abstimmung per Eingabe

vorherige Überzeugung

Was Sie von den Daten glauben, bevor Sie mit dem Training beginnen. Die L₂-Regularisierung basiert beispielsweise auf der bisherigen Annahme, dass Gewichtungen klein sein und normalerweise um null herum verteilt sein sollten.

probabilistisches Regressionsmodell

Ein Regressionsmodell, das nicht nur die Gewichtungen für jedes Feature, sondern auch die Unsicherheit dieser Gewichtungen verwendet. Ein probabilistisches Regressionsmodell generiert eine Vorhersage und die Unsicherheit dieser Vorhersage. Ein probabilistisches Regressionsmodell kann beispielsweise eine Vorhersage von 325 mit einer Standardabweichung von 12 liefern. Weitere Informationen zu probabilistischen Regressionsmodellen finden Sie in diesem Colab auf Tensorflow.org.

Wahrscheinlichkeitsdichtefunktion

Eine Funktion, die die Häufigkeit von Stichproben mit genau einem bestimmten Wert ermittelt. Wenn die Werte eines Datasets kontinuierliche Gleitkommazahlen sind, treten selten exakte Übereinstimmungen auf. Das integrating einer Wahrscheinlichkeitsdichtefunktion vom Wert x bis zum Wert y liefert jedoch die erwartete Häufigkeit von Stichproben zwischen x und y.

Angenommen, Sie haben eine Normalverteilung mit einem Mittelwert von 200 und einer Standardabweichung von 30. Um die erwartete Häufigkeit von Stichproben zu ermitteln, die in den Bereich von 211,4 bis 218,7 fallen, können Sie die Wahrscheinlichkeitsdichtefunktion für eine Normalverteilung von 211,4 bis 218,7 integrieren.

Prompt

Jeder Text, der als Eingabe in ein Large Language Model eingegeben wird, um das Modell für ein bestimmtes Verhalten zu konditionieren. Aufforderungen können so kurz wie eine Phrase oder beliebig lang sein (z. B. der gesamte Text eines Romans). Prompts lassen sich in mehrere Kategorien unterteilen, einschließlich der in der folgenden Tabelle gezeigten:

Ein generatives KI-Modell kann auf einen Prompt mit Text, Code, Bildern, Einbettungen, Videos usw. reagieren.

Prompt-basiertes Lernen

Fähigkeit bestimmter Modelle, ihr Verhalten als Reaktion auf beliebige Texteingaben anzupassen (Aufforderungen). In einem typischen auf Prompts basierenden Lernparadigma reagiert ein Large Language Model auf einen Prompt, indem es Text generiert. Angenommen, ein Nutzer gibt den folgenden Prompt ein:

Fasse das dritte Newtonsche Gesetz der Bewegung zusammen.

Ein Modell, das Prompt-basiertes Lernen ermöglicht, ist nicht speziell dafür trainiert, den vorherigen Prompt zu beantworten. Vielmehr „kennt“ das Modell viele Fakten über die Physik, viel über die allgemeinen Sprachregeln und eine Menge darüber, was allgemein nützliche Antworten ausmacht. Dieses Wissen reicht aus, um eine (hoffentlich) nützliche Antwort zu geben. Durch zusätzliches menschliches Feedback („Diese Antwort war zu kompliziert“ oder „Was ist eine Reaktion?“) können einige auf Prompts basierende Lernsysteme den Nutzen ihrer Antworten nach und nach verbessern.

Prompt-Entwurf

Synonym für prompt Engineering.

Prompt Engineering

Die Kunst des Erstellens von Prompts, die die gewünschten Antworten von einem Large Language Model auslösen. Menschen führen Prompt Engineering durch. Gut strukturierte Prompts sind wichtig, um nützliche Antworten aus einem Large Language Model zu erhalten. Das Prompt Engineering hängt von vielen Faktoren ab, darunter:

• Das Dataset, mit dem das Large Language Model vorab trainiert und möglicherweise optimiert wird.
• Die temperature und andere Decodierungsparameter, die das Modell zum Generieren von Antworten verwendet.

Weitere Informationen zum Schreiben hilfreicher Prompts finden Sie unter Einführung in den Prompt-Entwurf.

Prompt-Design ist ein Synonym für Prompt Engineering.

Prompt-Feinabstimmung

Ein Mechanismus für die parametereffiziente Feinabstimmung, der ein "Präfix" erlernt, das das System der eigentlichen Eingabeaufforderung voranstellt.

Eine Variante der Abstimmung von Aufforderungen, die auch als Präfixabstimmung bezeichnet wird, besteht darin, das Präfix jeder Ebene voranzustellen. Im Gegensatz dazu wird bei der meisten Abstimmung von Prompts nur der Eingabeebene ein Präfix hinzugefügt.

Proxy-Labels

Daten zur Schätzung von Labels, die nicht direkt in einem Dataset verfügbar sind.

Angenommen, Sie müssen ein Modell trainieren, um den Stresspegel der Mitarbeiter vorherzusagen. Ihr Dataset enthält viele Vorhersagefunktionen, aber kein Label namens Stress level. Unerwünscht gibst du „Unfälle am Arbeitsplatz“ als Proxy-Label für den Stresslevel aus. Schließlich geraten Mitarbeitende unter hohem Stress häufiger zu Unfällen als beruhigende Mitarbeitende. Oder? Vielleicht nehmen Arbeitsunfälle aus verschiedenen Gründen zu und ab.

Angenommen, Sie möchten Ist es regnet? ein boolesches Label für Ihr Dataset sein, aber das Dataset enthält keine Regendaten. Wenn Fotos verfügbar sind, könnten Sie als Ersatzlabel für Regnet? Bilder von Personen mit Regenschirmen verwenden. Ist das ein gutes Proxy-Label? Möglicherweise tragen Menschen in einigen Kulturen eher Sonnenschirme bei sich als Regen.

Proxy-Labels sind oft nicht perfekt. Wählen Sie nach Möglichkeit tatsächliche Labels gegenüber Proxy-Labels aus. Wenn jedoch kein tatsächliches Label vorhanden ist, wählen Sie das Proxy-Label sehr sorgfältig aus und wählen Sie den am wenigsten schlechten Proxy-Label-Kandidaten.

Proxy (vertrauliche Attribute)

reine Funktion

Eine Funktion, deren Ausgaben nur auf ihren Eingaben basieren und die keine Nebeneffekte hat. Insbesondere verwendet oder ändert eine reine Funktion keinen globalen Status, wie z. B. den Inhalt einer Datei oder den Wert einer Variablen außerhalb der Funktion.

Reine Funktionen können zum Erstellen von threadsicherem Code verwendet werden. Dies ist vorteilhaft, wenn model auf mehrere model fragmentiert wird.

Die Transformationsmethoden von JAX-Funktionen erfordern, dass die Eingabefunktionen reine Funktionen sind.

F

Q-Funktion

Beim bestärkenden Lernen die Funktion, die die erwartete Rückgabe vorhersagt, wenn eine Aktion in einem Status ausgeführt wird und dann einer bestimmten Richtlinie folgt.

Die Q-Funktion wird auch als Wertfunktion für Statusaktionen bezeichnet.

Q-Learning

Ein Algorithmus beim bestärkenden Lernen, der es einem Agent ermöglicht, die optimale Q-Funktion eines Markov-Entscheidungsprozesses durch Anwendung der Bellman-Gleichung zu erlernen. Der Markov-Entscheidungsprozess modelliert eine Umgebung.

Quantil

Jeder Bucket im Quantil-Bucketing.

Quantil-Bucketing

Verteilen der Werte eines Features auf Buckets, sodass jeder Bucket die gleiche oder fast die gleiche Anzahl von Beispielen enthält. In der folgenden Abbildung werden beispielsweise 44 Punkte in 4 Buckets unterteilt, von denen jeder 11 Punkte enthält. Damit jeder Bucket in der Abbildung die gleiche Anzahl von Punkten enthält, erstrecken sich einige Buckets über unterschiedliche Breiten von x-Werten.

Quantisierung

Überladener Begriff, der wie folgt verwendet werden kann:

• Quanten-Bucketing für ein bestimmtes Feature implementieren
• Umwandlung von Daten in Nullen und Einsen zum schnelleren Speichern, Trainieren und Ableiten von Daten Da boolesche Daten verrauschter und fehlerhafter sind als andere Formate, kann die Quantisierung die Modellrichtigkeit verbessern. Quantisierungstechniken umfassen Runden, Abschneiden und Binning.

• Reduzieren der Anzahl der Bits, die zum Speichern der Parameter eines Modells verwendet werden. Angenommen, die Parameter eines Modells werden als 32-Bit-Gleitkommazahlen gespeichert. Quantisierung wandelt diese Parameter von 32 Bit in 4, 8 oder 16 Bit um. Quantisierung reduziert Folgendes:

  • Computing-, Arbeitsspeicher-, Laufwerks- und Netzwerknutzung
  • Zeit zum Ableiten einer Prädikation
  • Stromstärke

  Die Quantisierung verringert jedoch manchmal die Richtigkeit der Vorhersagen eines Modells.

kuh

Einen Vorgang von TensorFlow, der eine Warteschlangendatenstruktur implementiert. Wird normalerweise für die E/A verwendet.

R

RAG

Abkürzung für Retrieval-augmented Generation.

Random Forest

Ein Ensemble von Entscheidungsbäumen, in denen jeder Entscheidungsbaum mit einem bestimmten zufälligen Rauschen trainiert wird, z. B. Baging.

Random Forests sind eine Art von Entscheidungsstruktur.

Zufällige Richtlinie

Bei bestärkendem Lernen eine Richtlinie, die eine Aktion nach dem Zufallsprinzip auswählt.

Ranking

Eine Art des überwachten Lernens, dessen Ziel darin besteht, eine Liste von Elementen anzuordnen.

Rang (Ordinalität)

Die ordinale Position einer Klasse bei einem ML-Problem, das Klassen von der höchsten zur niedrigsten Position kategorisiert. Ein Ranking-System für das Verhalten könnte beispielsweise die Belohnungen eines Hundes vom höchsten (ein Steak) bis zum niedrigsten (verwelkter Grünkohl) einstufen.

Rang (Tensor)

Die Anzahl der Dimensionen in einem Tensor. Zum Beispiel hat ein Skalar den Rang 0, ein Vektor den Rang 1 und eine Matrix den Rang 2.

Nicht zu verwechseln mit Rang (Ordinalität).

Bewerter

Ein Mensch, der Labels für Beispiele bereitstellt. „Annotator“ ist eine andere Bezeichnung für Bewerter.

Rückruf

Ein Messwert für Klassifizierungsmodelle, der die folgende Frage beantwortet:

Wenn Ground Truth die positive Klasse war, wie viel Prozent der Vorhersagen hat das Modell korrekt als positive Klasse identifiziert?

Die Formel lautet:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

Dabei gilt:

• Richtig positiv bedeutet, dass das Modell die positive Klasse richtig vorhergesagt hat.
• Falsch negativ bedeutet, dass das Modell die negative Klasse fälschlicherweise vorhergesagt hat.

Angenommen, Ihr Modell hat 200 Vorhersagen für Beispiele getroffen, bei denen Ground Truth die positive Klasse ist. Von diesen 200 Vorhersagen:

• 180 echt positive Ergebnisse.
• 20 waren falsch negative Ergebnisse.

In diesem Fall gilt:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

Empfehlungssystem

Ein System, das für jeden Nutzer eine relativ kleine Gruppe gewünschter Elemente aus einem großen Korpus auswählt. Ein Videoempfehlungssystem könnte beispielsweise zwei Videos aus einem Korpus von 100.000 Videos empfehlen und für einen Nutzer Casablanca und The Philadelphia Story und für einen anderen Wonder Woman und Black Panther auswählen. Ein Videoempfehlungssystem kann seine Empfehlungen auf Faktoren wie den folgenden basieren:

• Filme, die von ähnlichen Nutzern bewertet oder angesehen wurden.
• Genre, Regisseure, Schauspieler, demografische Zielgruppe...

Rektifizierte Lineareinheit (ReLU)

Eine Aktivierungsfunktion mit folgendem Verhalten:

• Wenn die Eingabe negativ oder null ist, ist die Ausgabe 0.
• Wenn die Eingabe positiv ist, ist die Ausgabe gleich der Eingabe.

Beispiel:

• Wenn die Eingabe -3 ist, ist die Ausgabe 0.
• Wenn die Eingabe +3 ist, ist die Ausgabe 3,0.

Hier ist ein ReLU-Diagramm:

ReLU ist eine sehr beliebte Aktivierungsfunktion. Trotz ihres einfachen Verhaltens ermöglicht ReLU einem neuronalen Netzwerk weiterhin, nicht lineare Beziehungen zwischen Features und dem Label zu erlernen.

Recurrent Neural Network

Ein neuronales Netzwerk, das absichtlich mehrmals ausgeführt wird, wobei Teile jedes Laufs den nächsten Durchlauf durchlaufen. Insbesondere stellen ausgeblendete Layer aus der vorherigen Ausführung einen Teil der Eingabe für dieselbe verborgene Ebene bei der nächsten Ausführung bereit. Wiederkehrende neuronale Netzwerke sind besonders nützlich für die Auswertung von Sequenzen, sodass die verborgenen Schichten aus vorherigen Durchläufen des neuronalen Netzwerks in früheren Teilen der Sequenz lernen können.

Die folgende Abbildung zeigt beispielsweise ein wiederkehrendes neuronales Netzwerk, das viermal ausgeführt wird. Beachten Sie, dass die Werte, die in den ausgeblendeten Layern aus dem ersten Durchlauf erlernt wurden, im zweiten Durchlauf Teil der Eingabe für dieselben verborgenen Layers werden. In ähnlicher Weise werden die beim zweiten Durchlauf in der verborgenen Schicht gelernten Werte beim dritten Durchlauf Teil der Eingabe in dieselbe versteckte Schicht. Auf diese Weise wird das wiederkehrende neuronale Netzwerk nach und nach die Bedeutung der gesamten Abfolge und nicht nur die Bedeutung einzelner Wörter trainiert und prognostiziert.

Regressionsmodell

Informell ein Modell, das eine numerische Vorhersage generiert. (Im Gegensatz dazu generiert ein Klassifizierungsmodell eine Klassenvorhersage.) Im Folgenden sehen Sie beispielsweise alle Regressionsmodelle:

• Ein Modell, das den Wert eines bestimmten Hauses vorhersagt,z. B. 423.000 €.
• Modell, das die Lebenserwartung eines bestimmten Baums vorhersagt, z. B. 23,2 Jahre.
• Ein Modell, das die Regenmenge vorhersagt, die in einer bestimmten Stadt in den nächsten sechs Stunden fallen wird, z. B. 0,18 Zoll.

Zwei gängige Arten von Regressionsmodellen sind:

• Lineare Regression: Damit wird die Linie ermittelt, die Labelwerte am besten an Elemente anpasst.
• Logistische Regression: generiert eine Wahrscheinlichkeit zwischen 0,0 und 1,0, die ein System dann normalerweise einer Klassenvorhersage zuordnet.

Nicht jedes Modell, das numerische Vorhersagen ausgibt, ist ein Regressionsmodell. In einigen Fällen ist eine numerische Vorhersage eigentlich nur ein Klassifizierungsmodell mit numerischen Klassennamen. Beispielsweise ist ein Modell, das eine numerische Postleitzahl vorhersagt, ein Klassifizierungsmodell, kein Regressionsmodell.

Regularisierung

Jeder Mechanismus, der eine Überanpassung reduziert. Zu den beliebten Regularisierungstypen gehören:

• L₁-Regularisierung
• L₂-Regularisierung
• Dropout-Regularisierung
• Vorzeitiges Beenden (Dies ist keine formale Regularisierungsmethode, kann aber die Überanpassung effektiv begrenzen)

Regularisierung kann auch als Strafe für die Komplexität eines Modells definiert werden.