Glossário de machine learning

Neste glossário, são definidos termos gerais de machine learning, além de específicos do TensorFlow.

A

ablação

Uma técnica para avaliar a importância de um recurso ou componente removendo-o temporariamente de um modelo. Em seguida, retreinar o modelo sem esse atributo ou componente e, se o modelo retreinado desempenho significativamente pior, então o recurso ou componente removido foi provavelmente é importante.

Por exemplo, suponha que você treine um modelo de classificação em 10 recursos e alcançar 88% de precisão no conjunto de teste. Para verificar a importância do primeiro atributo, é possível treinar novamente o modelo usando apenas atributos de machine learning. Se o desempenho do modelo recondicionado for significativamente pior (por exemplo, 55% de precisão), o recurso removido provavelmente era importante. Por outro lado, se o modelo retreinado tiver o mesmo desempenho, esse atributo provavelmente foi não é tão importante.

A ablação também pode ajudar a determinar a importância de:

• Componentes maiores, como um subsistema inteiro de um sistema de ML maior
• Processos ou técnicas, como uma etapa de pré-processamento de dados.

Em ambos os casos, você vai observar como o desempenho do sistema muda (ou não muda) depois que você remove o componente.

Teste A/B

Uma forma estatística de comparar duas (ou mais) técnicas. O modelo A e B. Normalmente, A é uma técnica existente, e a B é uma técnica nova. O teste A/B não só determina qual técnica tem melhor performance mas também se a diferença é estatisticamente significativa.

O teste A/B geralmente compara uma única métrica em duas técnicas. Por exemplo, como a precisão do modelo se compara a dois técnicas? No entanto, os testes A/B também podem comparar qualquer número finito de métricas.

chip do acelerador

Uma categoria de componentes de hardware especializados projetados para realizar cálculos principais necessários para algoritmos de aprendizado profundo.

Os chips de aceleração (ou simplesmente aceleradores) podem aumentar significativamente a velocidade e a eficiência das tarefas de treinamento e inferência em comparação com uma CPU de uso geral. São ideais para treinamento redes neurais e tarefas semelhantes com uso intensivo de computação.

Exemplos de chips de aceleração incluem:

• Unidades de Processamento de Tensor do Google (TPUs) com hardware dedicado para o aprendizado profundo.
• GPUs da NVIDIA que, embora inicialmente projetadas para processamento gráfico, foram criadas para permitir o processamento em paralelo, que pode aumentar a velocidade de processamento.

precisão

O número de previsões de classificação corretas dividido pelo número total de previsões. Ou seja:

Por exemplo, um modelo que fez 40 previsões corretas e 10 incorretas previsões teriam uma acurácia de:

A classificação binária fornece nomes específicos para as diferentes categorias de previsões corretas e previsões incorretas. Portanto, a fórmula de acurácia para classificação binária é o seguinte:

em que:

• VP é o número de verdadeiros positivos (previsões corretas).
• TN é o número de verdadeiros negativos (previsões corretas).
• FP é o número de falsos positivos (previsões incorretas).
• FN é o número de falsos negativos (previsões incorretas).

Comparar e contrastar a acurácia com precisão e recall.

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

Consulte Classificação: precisão, recall, precisão e métricas relacionadas no Curso intensivo de machine learning para mais informações.

ação

No aprendizado por reforço, o mecanismo pelo qual o agente transições entre estados da ambiente. O agente escolhe a ação usando uma política.

função de ativação

Uma função que permite que as redes neurais aprendam Relações nonlinear (complexas) entre atributos e o rótulo.

Funções de ativação conhecidas incluem:

• ReLU
• Sigmoide

Os gráficos das funções de ativação nunca são linhas retas. Por exemplo, o gráfico da função de ativação ReLU consiste em duas linhas retas:

Um gráfico da função de ativação sigmoid tem esta aparência:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Consulte Redes neurais: funções de ativação no Curso intensivo de machine learning para mais informações.

aprendizagem ativa

Uma abordagem de treinamento em que o algoritmo escolhe alguns dos dados que ele aprende. Aprendizado ativo é particularmente valioso quando exemplos rotulados são escassas ou caras para conseguir. Em vez de buscar cegamente uma variedade de exemplos rotulados, um algoritmo de aprendizado ativo busca seletivamente a faixa específica de exemplos necessários para a aprendizagem.

AdaGrad

Um algoritmo de descida do gradiente sofisticado que redimensiona os gradientes de cada parâmetro, dando a cada parâmetro uma taxa de aprendizado independente. Para uma explicação completa, consulte este artigo sobre o AdaGrad (em inglês).

agente

No aprendizado por reforço, a entidade que usa uma política para maximizar o retorno esperado da transição entre estados do ambiente.

De modo mais geral, um agente é um software que planeja e executa, de forma autônoma, série de ações em busca de um objetivo, com capacidade de se adaptar às mudanças em seu ambiente. Por exemplo, um agente baseado em LLM pode usar um LLM para gerar um plano, em vez de aplicar uma política de aprendizado por reforço.

agrupamento aglomerativo

Consulte clustering hierárquico.

detecção de anomalias

Processo de identificação de outliers. Por exemplo, se a média para um determinado atributo é 100 com um desvio padrão de 10, a detecção de anomalias sinalizará o valor 200 como suspeito.

AR

Abreviação de realidade aumentada.

área sob a curva PR

Consulte AUC PR (área sob a curva PR).

área sob a curva ROC

Consulte AUC (área sob a curva ROC).

inteligência artificial geral

Um mecanismo não humano que demonstra uma ampla gama de resolução de problemas, criatividade e adaptabilidade. Por exemplo, um programa que demonstre inteligência geral poderia traduzir textos, compor sinfonias e se destacar em ou jogos que ainda não foram inventados.

inteligência artificial

Um programa ou modelo não humano que pode resolver tarefas sofisticadas. Por exemplo, programas ou modelos que traduzem texto ou que identificam doenças usando imagens radiológicas usam inteligência artificial.

Formalmente, o aprendizado de máquina é um subcampo da inteligência artificial. No entanto, nos últimos anos, algumas organizações começaram a usar os termos inteligência artificial e aprendizado de máquina como sinônimos.

atenção

Um mecanismo usado em uma rede neural que indica a importância de uma palavra ou parte de uma palavra específica. A atenção compacta a quantidade de informações que um modelo precisa para prever o próximo token/palavra. Um mecanismo de atenção típico pode consistir soma ponderada sobre um conjunto de entradas, em que o weight para cada entrada é calculado por outra parte do rede neural profunda.

Consulte também a autoatenção e autoatenção de várias cabeças, que são elementos básicos dos Transformers.

Consulte LLMs: What's a large language model? no Curso intensivo de machine learning para mais informações sobre a auto-atenção.

atributo

Sinônimo de feature.

Na imparcialidade do machine learning, os atributos geralmente se referem que pertencem aos indivíduos.

amostragem de atributos

Uma tática para treinar uma floresta de decisão em que cada A árvore de decisão considera apenas um subconjunto aleatório de possíveis recursos ao descobrir a condição. Geralmente, um subconjunto diferente de recursos é amostrado para cada nó. Por outro lado, ao treinar uma árvore de decisão, sem amostragem de atributos, todos os atributos possíveis serão considerados para cada nó.

AUC (área sob a curva ROC)

Um número entre 0,0 e 1,0 que representa a capacidade de um modelo de classificação binária de separar classes positivas de classes negativas. Quanto mais próxima a AUC estiver de 1, melhor será a capacidade do modelo de separar as classes umas das outras.

Por exemplo, a ilustração a seguir mostra um modelo de classificador que separa perfeitamente as classes positivas (ovais verdes) das negativas (retângulos roxos). Esse modelo perfeito tem uma AUC de 1,0:

Por outro lado, a ilustração a seguir mostra os resultados de um modelo de classificador que gerou resultados aleatórios. Esse modelo tem uma AUC de 0,5:

Sim, o modelo anterior tem um AUC de 0,5, não 0,0.

A maioria dos modelos fica entre os dois extremos. Por exemplo, o modelo a seguir separa um pouco positivos dos negativos e, portanto, tem uma AUC entre 0,5 e 1,0:

O AUC ignora qualquer valor definido para o limite de classificação. Em vez disso, a AUC considera todos os limiares de classificação possíveis.

Consulte Classificação: ROC e AUC no curso intensivo de machine learning para mais informações.

realidade aumentada

Uma tecnologia que sobrepõe uma imagem gerada por computador à visão do mundo real de um usuário, fornecendo uma visualização composta.

codificador automático

Um sistema que aprende a extrair as informações mais importantes das entrada. Codificadores automáticos são uma combinação de um codificador e decodificador. Os codificadores automáticos usam o seguinte processo de duas etapas:

1. O codificador mapeia a entrada para uma dimensão inferior com perdas (normalmente) (intermediário).
2. O decodificador cria uma versão com perda da entrada original mapeando do formato de dimensão inferior para a dimensão superior original o formato de entrada.

Codificadores automáticos são treinados de ponta a ponta fazendo com que o decodificador reconstruem a entrada original usando o formato intermediário do codificador o mais próximo possível. Como o formato intermediário é menor (de menor dimensionalidade) do que o original, o autoencoder é forçado a aprender quais informações na entrada são essenciais, e a saída não será perfeitamente idêntica à entrada.

Exemplo:

• Se os dados de entrada forem um gráfico, a cópia não exata será semelhante a o gráfico original, mas ligeiramente modificado. Talvez o a cópia não exata remove o ruído do gráfico original ou o preenche que alguns pixels estão faltando.
• Se os dados de entrada forem de texto, um autoencoder vai gerar um novo texto que imita (mas não é idêntico) ao texto original.

Consulte também codificadores automáticos variáveis.

viés de automação

Quando um tomador de decisões humanos favorece as recomendações feitas por um sistema de tomada de decisão sobre informações tomadas sem automação, mesmo quando o sistema automatizado de tomada de decisão comete erros.

Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.

AutoML

Qualquer processo automatizado para criar modelos de machine learning . O AutoML pode realizar automaticamente tarefas como as seguintes:

• Pesquise o modelo mais adequado.
• Ajuste os hiperparâmetros.
• Preparar dados (incluindo a execução engenharia de atributos).
• Implante o modelo resultante.

O AutoML é útil para cientistas de dados porque pode economizar tempo e esforço no desenvolvimento de pipelines de aprendizado de máquina e melhorar a precisão da previsão. Ele também é útil para pessoas que não são especialistas, tornando as tarefas complicadas de aprendizado de máquina mais acessíveis.

Consulte Máquina automatizada Aprendizado (AutoML) no curso intensivo de machine learning para mais informações.

modelo autoregressivo

Um modelo que infere uma previsão com base na própria previsões. Por exemplo, os modelos de linguagem auto-regressivos preveem o próximo token com base nos tokens previstos anteriormente. Todos os modelos de linguagem grandes baseados no Transformer são autoregressivos.

Por outro lado, os modelos de imagem baseados em GAN geralmente não são autorregressivos, porque geram uma imagem em uma única passagem para frente e não iterativamente em etapas. No entanto, alguns modelos de geração de imagens são autorregressivos porque geram uma imagem em etapas.

perda auxiliar

Uma função de perda, usada em conjunto com uma rede neural do modelo, que ajuda a acelerar o treinamento durante as primeiras iterações, quando os pesos são inicializados aleatoriamente.

As funções de perda auxiliares enviam gradientes eficazes para as camadas anteriores. Isso facilita convergência durante o treinamento combatendo o problema de desaparecimento do gradiente.

precisão média

Uma métrica para resumir a performance de uma sequência classificada de resultados. A precisão média é calculada pela média dos valores de precisão para cada resultado relevante (cada resultado na lista classificada em que a recuperação aumenta em relação ao resultado anterior).

Consulte também Área sob a curva de PR.

condição alinhada ao eixo

Em uma árvore de decisão, uma condição envolve apenas um recurso. Por exemplo, se a área for um elemento, a condição alinhada ao eixo será a seguinte:

area > 200

Contraste com a condição oblíqua.

B

retropropagação

O algoritmo que implementa gradiente descendente na redes neurais.

O treinamento de uma rede neural envolve muitas iterações do seguinte ciclo de duas etapas:

1. Durante o passo para frente, o sistema processa um lote de exemplos para gerar previsões. O sistema compara cada previsão com cada valor de rótulo. A diferença entre a previsão e o valor do rótulo é a perda para esse exemplo. O sistema agrega as perdas de todos os exemplos para calcular o total perda de dados do lote atual.
2. Durante o passe para trás (backpropagação), o sistema reduz a perda em ajustando os pesos de todos os neurônios em todas as camadas escondidas.

As redes neurais geralmente contêm muitos neurônios em muitas camadas ocultas. Cada um desses neurônios contribui para a perda geral de maneiras diferentes. A retropropagação determina se é preciso aumentar ou diminuir os pesos aplicadas a determinados neurônios.

A taxa de aprendizado é um multiplicador que controla o grau em que cada passagem reversa aumenta ou diminui cada peso. Uma taxa de aprendizado grande aumenta ou diminui cada peso mais do que uma taxa de aprendizado pequena.

Em termos de cálculo, a retropropagação implementa a regra de cadeia. do cálculo. Ou seja, a retropropagação calcula a derivada parcial do erro com em relação a cada parâmetro.

Anos atrás, profissionais de ML precisavam escrever código para implementar a retropropagação. APIs modernas de ML, como o Keras, agora implementam a propagação de retorno para você. Ufa.

Consulte Redes neurais no Curso intensivo de machine learning para mais informações.

ensabo

Um método para treinar um ensemble em que cada O modelo integrante é treinado em um subconjunto aleatório de exemplos amostrados com substituição. Por exemplo, uma floresta aleatória é um conjunto de árvores de decisão treinadas com agrupamento.

O termo bagging é uma abreviação de botstrap aggregating.

Consulte Florestas aleatórias no curso de florestas de decisão para mais informações.

pacote de palavras

Uma representação das palavras em uma frase ou passagem, independentemente da ordem. Por exemplo, o bag of words representa as seguintes três frases de forma idêntica:

• O cachorro pula
• pula o cachorro
• cachorro pula o

Cada palavra é mapeada para um índice em um vetor esparsa, em que o vetor tem um índice para cada palavra no vocabulário. Por exemplo: a frase o cachorro pula é mapeada em um vetor de atributo com valor diferente de zero nos três índices correspondentes às palavras the, dog e saltos. O valor diferente de zero pode ser qualquer um destes:

• Um 1 para indicar a presença de uma palavra.
• Contagem do número de vezes que uma palavra aparece na bolsa. Por exemplo, se a frase fosse o cachorro marrom é um cachorro com pelo marrom, então marrom e cachorro seriam representados como 2, enquanto as outras palavras seriam representadas como 1.
• Outro valor, como o logaritmo da contagem do número de vezes que uma palavra aparece no conjunto.

baseline

Um modelo usado como um ponto de referência para comparar o desempenho de outro (normalmente, um mais complexo) está tendo. Por exemplo, um modelo de regressão logística pode servir como uma boa referência para um modelo profundo.

Para um problema específico, o valor de referência ajuda os desenvolvedores de modelos a quantificar o desempenho mínimo esperado que um novo modelo deve alcançar para o novo para que o modelo seja útil.

lote

O conjunto de exemplos usado em um treinamento iteration. O tamanho do lote determina o número de exemplos em um lote.

Consulte época para uma explicação de como um lote se relaciona um período.

Consulte Regressão linear: hiperparâmetros no Curso intensivo de machine learning para mais informações.

inferência em lote

O processo de inferir previsões em vários exemplos não rotulados divididos em subconjuntos menores ("lotes").

A inferência em lote pode aproveitar os recursos de paralelização de chips de aceleração. Ou seja, vários aceleradores podem inferir previsões simultaneamente em diferentes lotes de exemplos não rotulados, aumentando drasticamente o número de inferências por segundo.

Consulte Sistemas de ML de produção: estático versus dinâmico inferência no curso intensivo de machine learning para mais informações.

normalização em lote

Normalizar a entrada ou saída das funções de ativação em uma camada oculta. A normalização em lote pode oferecer os seguintes benefícios:

• Torne as redes neurais mais estáveis protegendo em relação a pesos outlier.
• Ative taxas de aprendizado mais altas, que podem acelerar o treinamento.
• Reduza o overfitting.

tamanho do lote

O número de exemplos em um lote. Por exemplo, se o tamanho do lote for 100, o modelo processará 100 exemplos por iteração.

Confira a seguir estratégias conhecidas de tamanho de lote:

• Gradiente descendente estocástico (SGD, na sigla em inglês), em que o tamanho do lote é 1.
• Lote completo, em que o tamanho do lote é o número de exemplos em todo o conjunto de treinamento. Por exemplo, se o conjunto de treinamento contiver um milhão de exemplos, o tamanho do lote será de um milhão exemplos. Em geral, o lote completo é uma estratégia ineficiente.
• minilote em que o tamanho do lote geralmente fica entre 10 e 1.000. Em geral, o minilote é a estratégia mais eficiente.

Para saber mais, consulte os seguintes artigos:

• Sistemas de ML de produção: estático versus dinâmico inferência no curso intensivo de machine learning.
• Manual de ajuste de aprendizado profundo.

Rede neural bayesiana

Uma rede neural probabilística que considera a incerteza em pesos e saídas. Um modelo de regressão de rede neural padrão normalmente prevê um valor escalar. Por exemplo, um modelo padrão prevê um preço de casa de 853.000. Por outro lado, uma rede neural bayesiana prevê uma distribuição de valores. Por exemplo, um modelo bayesiano prevê um preço de casa de 853.000 com um desvio padrão de 67.200.

Uma rede neural bayesiana depende Bayes Theorem para calcular incertezas em pesos e previsões. Uma rede neural bayesiana rede pode ser útil quando é importante quantificar a incerteza, como no modelos relacionados à indústria farmacêutica. Redes neurais bayesianas também podem ajudar evitar o overfitting.

Otimização bayesiana

Uma técnica de modelo de regressão probabilística para otimizar funções objetivas computacionalmente caras, otimizando um substituto que quantifica a incerteza usando uma técnica de aprendizado bayesiano. Como a otimização bayesiana é muito cara, ela geralmente é usada para otimizar tarefas caras de avaliar que têm um pequeno número de parâmetros, como selecionar hiperparâmetros.

Equação de Bellman

No aprendizado por reforço, a seguinte identidade é satisfeita pelo Função Q:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

Os algoritmos de aprendizagem por reforço aplicam essa identidade para criar aprendizagem Q usando a seguinte regra de atualização:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

Além do aprendizado por reforço, a equação de Bellman tem aplicações para programação dinâmica. Consulte a Entrada da Wikipédia para a equação de Bellman (link em inglês).

BERT (representações de codificador bidirecional de transformadores)

Um modelo de arquitetura para representação de textos. Um modelo BERT treinado pode atuar como parte de um modelo maior para classificação de texto ou outras tarefas de ML.

O BERT tem as seguintes características:

• Usa a arquitetura do Transformer e, portanto, depende da autoatenção.
• Usa a parte codificador do transformador. A função do codificador é produzir boas representações textuais, em vez de realizar uma para uma tarefa específica, como classificação.
• É bidirecional.
• Usa mascaramento para treinamento não supervisionado.

As variantes do BERT incluem:

• ALBERT, que é um acrônimo para A Light BERT.
• LaBSE (em inglês).

Consulte Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing para ter uma visão geral do BERT.

viés (ética/justiça)

1. Estereótipos, preconceito ou favoritismo em relação a algumas coisas, pessoas ou grupos em detrimento de outras. Esses vieses podem afetar a coleta e a interpretação de dados, o design de um sistema e a forma como os usuários interagem com ele. Formas desse tipo de viés incluem:

• viés de automação
• viés de confirmação
• Viés do experimentador
• Viés de atribuição a grupos
• Viés implícito
• viés de grupo
• viés de homogeneidade externa ao grupo

2. Erro sistemático causado por um procedimento de amostragem ou relatório. Formas desse tipo de viés incluem:

• viés de convergência
• Viés de não-resposta
• Viés de participação
• viés de informação
• Viés de amostragem
• viés de seleção

Não confundir com o termo viés em modelos de aprendizado de máquina ou viés de previsão.

Consulte Imparcialidade: tipos de viés no "Machine Learning Crash Course" para mais informações.

viés (matemática) ou termo de viés

Uma interseção ou compensação de uma origem. O viés é um parâmetro em modelos de aprendizado de máquina, simbolizado por um dos seguintes:

• b
• w₀

Por exemplo, a viés é b na seguinte fórmula:

Em uma linha bidimensional simples, a viés significa apenas "intercepto em y". Por exemplo, a tendência da linha na ilustração a seguir é 2.

O viés existe porque nem todos os modelos começam na origem (0,0). Por exemplo, suponha que um parque de diversões custa 2 euros para entrar e mais 0,5 euro por hora que um cliente fica. Portanto, um modelo que mapeia o custo total tem uma viés de 2 porque o custo mais baixo é de 2 euros.

Viés não deve ser confundido com viés na ética e imparcialidade. ou viés de previsão.

Consulte Regressão linear no Curso intensivo de machine learning para mais informações.

bidirecional

Termo usado para descrever um sistema que avalia o texto que antecede e segue uma seção de texto de destino. Por outro lado, um sistema unidirecional avalia apenas o texto que antecede uma seção de texto de destino.

Por exemplo, considere um modelo de linguagem mascarado que precisa determinar as probabilidades da palavra ou das palavras que representam o sublinhado na seguinte pergunta:

Como você está?

Um modelo de linguagem unidirecional precisaria basear as probabilidades apenas no contexto fornecido pelas palavras "What", "is" e "the". Por outro lado, um modelo de linguagem bidirecional também pode obter contexto de "com" e "você", o que pode ajudar o modelo a gerar previsões melhores.

modelo de linguagem bidirecional

Um modelo de linguagem que determina a probabilidade de um determinado token estar presente em um determinado local em um trecho de texto com base no texto anterior e seguinte.

bigrama

Um n-grama em que N=2.

classificação binária

Um tipo de tarefa de classificação que prevê uma de duas classes mutuamente exclusivas:

• a classe positiva
• a classe negativa

Por exemplo, os dois modelos de aprendizado de máquina a seguir realizam a classificação binária:

• um modelo que determina se as mensagens de e-mail são spam (a classe positiva) ou não é spam (a classe negativa).
• um modelo que avalia sintomas médicos para determinar se uma pessoa tem uma doença específica (a classe positiva) ou não tem doenças (a classe negativa).

Compare com a classificação multiclasse.

Consulte também regressão logística e limite de classificação.

Consulte Classificação no curso intensivo de machine learning para mais informações.

condição binária

Em uma árvore de decisão, uma condição que tem apenas dois resultados possíveis, normalmente sim ou não. Por exemplo, a seguir está uma condição binária:

temperature >= 100

Contraste com a condição não binária.

Consulte Tipos de condições no curso de florestas de decisão para mais informações.

agrupamento por classes

Sinônimo de bucketing.

BLEU (Subestudo de avaliação bilíngue)

Uma pontuação entre 0,0 e 1,0, indicando a qualidade de uma tradução. entre dois idiomas humanos (por exemplo, inglês e russo). BLEU o score de 1,0 indica uma tradução perfeita; uma pontuação BLEU de 0,0 indica péssima.

impulsionando

Uma técnica de aprendizado de máquina que combina de forma iterativa um conjunto de classificadores simples e não muito precisos (chamados de "fracos") em um classificador com alta precisão (um "forte") ao aumentar o peso dos exemplos que o modelo está classificando incorretamente.

Consulte Árvores de decisão com escalonamento gradual? no curso de florestas de decisão para mais informações.

caixa delimitadora

Em uma imagem, as coordenadas (x, y) de um retângulo ao redor de uma área de interesse, como o cachorro na imagem abaixo.

fazer o broadcast

Expandir a forma de um operando em uma operação matemática de matriz para dimensions compatíveis para essa operação. Por exemplo: a álgebra linear exige que os dois operandos em uma operação de adição de matriz devem ter as mesmas dimensões. Consequentemente, não é possível adicionar uma matriz de forma (m, n) a um vetor de comprimento n. A transmissão permite essa operação ao expandir virtualmente o vetor de comprimento n para uma matriz de forma (m, n) replicando os mesmos valores em cada coluna.

Por exemplo, considerando as seguintes definições, a álgebra linear proíbe A+B porque A e B têm dimensões diferentes:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

No entanto, a transmissão permite a operação A+B expandindo virtualmente B para:

 [[2, 2, 2],
  [2, 2, 2]]

Assim, A+B agora é uma operação válida:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

Consulte a seguinte descrição transmitindo em NumPy para saber mais.

agrupamento por classes

Converter um único atributo em vários atributos binários chamados buckets ou bins, normalmente com base em um intervalo de valores. A característica cortada normalmente é uma atributo contínuo.

Por exemplo, em vez de representar a temperatura como um único atributo de ponto flutuante contínuo, você pode dividir intervalos de temperatura em intervalos discretos, como:

• <= 10 graus Celsius seria o balde "frio".
• 11 a 24 graus Celsius seria o intervalo "temperate".
• >= 25 graus Celsius seria o valor "morno" do Google Cloud.

O modelo vai tratar todos os valores no mesmo bucket de forma idêntica. Por exemplo, os valores 13 e 22 estão no bucket "temperate", então o modelo trata os dois valores de maneira idêntica.

Consulte Dados numéricos: binarização no Curso intensivo de machine learning para mais informações.

C

camada de calibração

Um ajuste pós-previsão, normalmente para considerar a tendência de previsão. As previsões e probabilidades ajustadas precisam corresponder à distribuição de um conjunto de rótulos observados.

geração de candidatos

O conjunto inicial de recomendações escolhido por um sistema de recomendação. Por exemplo, considere um com 100 mil títulos. A fase de geração de candidatos cria uma lista muito menor de livros adequados para um usuário específico, digamos 500. Mas mesmo 500 livros são muitos para recomendar a um usuário. Fases subsequentes e mais caras de um sistema de recomendação (como pontuação e reclassificação) reduzem essas 500 para um conjunto de recomendações muito menor e mais útil.

Consulte Geração de candidatos visão geral no curso "Sistemas de recomendação".

amostragem de candidatos

Uma otimização do tempo de treinamento que calcula a probabilidade de todas as rótulos positivos, usando, por exemplo, softmax, mas apenas para um amostra de rótulos negativos. Por exemplo, dado um exemplo rotulado beagle e dog, a amostragem de candidatos calcula as probabilidades previstas e os termos de perda correspondentes para:

• beagle
• cachorro
• um subconjunto aleatório das classes negativas restantes (por exemplo, cat, lollipop, fence).

A ideia é que as classes negativas possam aprender com a reforço negativo menos frequente, desde que as classes positivas sempre recebam o reforço positivo adequado, e isso é observado empiricamente.

A amostragem de candidatos é mais eficiente em termos computacionais do que os algoritmos de treinamento que calculam previsões para todas as classes negativas, principalmente quando o número de classes negativas é muito grande.

dados categóricos

Atributos com um conjunto específico de valores possíveis. Por exemplo: use um atributo categórico chamado traffic-light-state, que só pode ter um dos três valores possíveis a seguir:

• red
• yellow
• green

Ao representar traffic-light-state como um atributo categórico, um modelo pode aprender os impactos diferentes de red, green e yellow no comportamento do motorista.

Às vezes, os recursos categóricos são chamados de recursos discretos.

Compare com dados numéricos.

Consulte Como trabalhar com atributos dados no curso intensivo de machine learning para mais informações.

modelo de linguagem causal

Sinônimo de modelo de linguagem unidirecional.

Consulte o modelo de linguagem bidirecional para contrastar as diferentes abordagens direcionais na modelagem de linguagem.

centroid

O centro de um cluster determinado por um algoritmo k-means ou k-mediana. Por exemplo, se k for 3, então o algoritmo k-means ou k-median encontrará 3 centroides.

Consulte Algoritmos de clustering no curso sobre clustering para mais informações.

cluster baseado em centroide

Uma categoria de algoritmos de agrupamento que organiza dados em clusters não hierárquicos. O k-means é o algoritmo de agrupamento baseado em centroide mais usado.

Compare com os algoritmos de agrupamento hierárquico.

Consulte Algoritmos de agrupamento no curso de agrupamento para mais informações.

comandos de fluxo de consciência

Uma técnica de engenharia de comandos que incentiva um modelo de linguagem grande (LLM) a explicar o raciocínio, passo a passo. Por exemplo, considere o seguinte comando, prestando atenção especial à segunda frase:

Quantas forças g um motorista experimentaria em um carro que varia de 0 a 60 milhas por hora em 7 segundos? Na resposta, mostre todos os cálculos relevantes.

A resposta do LLM provavelmente:

• Mostre uma sequência de fórmulas de física, inserindo os valores 0, 60 e 7 nos lugares apropriados.
• Explique por que ele escolheu essas fórmulas e o que as diversas variáveis significam.

Os comandos de cadeia de pensamento forçam o LLM a realizar todos os cálculos, o que pode levar a uma resposta mais correta. Além disso, a solicitação de cadeia de pensamento permite que o usuário examine as etapas do LLM para determinar se a resposta faz sentido ou não.

chat

O conteúdo de um diálogo com um sistema de ML, normalmente um modelo de linguagem grande. A interação anterior em um chat (o que você digitou e como o modelo de linguagem grande respondeu) se torna o contexto para as partes subsequentes do chat.

Um chatbot é uma aplicação de um modelo de linguagem grande.

checkpoint

Dados que capturam o estado dos parâmetros de um modelo, seja durante o treinamento ou após a conclusão dele. Por exemplo, durante o treinamento, você pode:

1. Interromper o treinamento, talvez intencionalmente ou como resultado de alguns erros.
2. Capture o checkpoint.
3. Mais tarde, recarregue o ponto de verificação, possivelmente em outro hardware.
4. Reinicie o treinamento.

classe

Uma categoria à qual um rótulo pode pertencer. Exemplo:

• Em um modelo de classificação binária que detecta spam, as duas classes podem ser spam e não spam.
• Em um modelo de classificação multiclasse que identifica raças de cães, as classes podem ser poodle, beagle, pug, e assim por diante.

Um modelo de classificação prevê uma classe. Por outro lado, um modelo de regressão prevê um número em vez de uma classe.

Consulte Classificação no Curso intensivo de machine learning para mais informações.

modelo de classificação

Um modelo cuja previsão é uma classe. Por exemplo, estes são todos os modelos de classificação:

• Um modelo que prevê o idioma de uma frase de entrada (francês? Espanhol? Italiano?).
• Um modelo que prevê espécies de árvores (maple? Carvalho? Baobá?).
• Um modelo que prevê a classe positiva ou negativa para uma condição médica específica.

Por outro lado, os modelos de regressão preveem números em vez de classes.

Dois tipos comuns de modelos de classificação são:

• Classificação binária
• classificação multiclasse

limiar de classificação

Em uma classificação binária, uma número entre 0 e 1 que converte a saída bruta de um Modelo de regressão logística em uma previsão da classe positiva ou a classe negativa. O limiar de classificação é um valor escolhido por um usuário, e não um valor escolhido pelo treinamento de modelo.

Um modelo de regressão logística gera um valor bruto entre 0 e 1. Em seguida:

• Se esse valor bruto for maior que o limite de classificação, a classe positiva será prevista.
• Se esse valor bruto for menor que o limiar de classificação, a classe negativa é prevista.

Por exemplo, suponha que o limiar de classificação seja 0,8. Se o valor bruto for 0,9, o modelo vai prever a classe positiva. Se o valor bruto for 0,7, o modelo prevê a classe negativa.

A escolha do limite de classificação influencia muito o número de falsos positivos e falsos negativos.

Consulte Limites e a matriz de confusão no Curso intensivo de machine learning para mais informações.

conjunto de dados com desequilíbrio de classes

Conjunto de dados para um problema de classificação em que o número total de rótulos de cada classe é significativamente diferente. Por exemplo, considere um conjunto de dados de classificação binária com dois rótulos são divididos da seguinte forma:

• 1.000.000 de rótulos negativos
• 10 rótulos positivos

A proporção entre rótulos negativos e positivos é de 100.000 para 1. Portanto, é um conjunto de dados sem equilíbrio de classes.

Em contraste, o conjunto de dados a seguir não tem equilíbrio de classes porque o a proporção entre rótulos negativos e positivos é relativamente próxima de 1:

• 517 rótulos negativos
• 483 rótulos positivos

Os conjuntos de dados com várias classes também podem ser não balanceados. Por exemplo, o seguinte o conjunto de dados de classificação multiclasse também apresenta desequilíbrio entre as classes porque um rótulo tem muito mais exemplos do que os outros dois:

• 1.000.000 de rótulos com a classe "green"
• 200 marcadores com a classe "roxo"
• 350 marcadores com a classe "laranja"

Consulte também entropia, classe principal, e classe minoritária.

recorte

Uma técnica para lidar com outliers fazendo de uma ou ambas as opções a seguir:

• Reduzir os valores de feature que são maiores que um limite máximo até esse limite máximo.
• Aumentar valores de atributos menores que o limite mínimo até esse um limite mínimo.

Por exemplo, suponha que <0,5% dos valores de um atributo específico estejam fora do intervalo de 40 a 60. Nesse caso, faça o seguinte:

• Recorte todos os valores acima de 60 (o limite máximo) para que fiquem exatamente 60.
• Recorte todos os valores abaixo de 40 (o limite mínimo) para que fiquem exatamente 40.

Outliers podem danificar os modelos, às vezes causando pesos transbordar durante o treinamento. Alguns pontos fora da curva também prejudicam muito métricas como acurácia. O recorte é uma técnica comum para limitar os danos.

Forças de corte de gradiente Valores de gradiente em um intervalo designado durante o treinamento.

Consulte Dados numéricos: normalização no Curso intensivo de machine learning para mais informações.

Cloud TPU

Um acelerador de hardware especializado projetado para acelerar de machine learning no Google Cloud.

clustering

Agrupar exemplos relacionados, especialmente durante aprendizado não supervisionado. Depois que todas são agrupados, uma pessoa pode, opcionalmente, dar significado a cada cluster.

Existem muitos algoritmos de agrupamento. Por exemplo, k-means exemplos de clusters de algoritmo com base na proximidade centroide, como no diagrama a seguir:

Um pesquisador humano pode analisar os clusters e, por exemplo, rotular o cluster 1 como "árvores anãs" e o cluster 2 como "árvores de tamanho normal".

Como outro exemplo, considere um algoritmo de agrupamento baseado na distância de um exemplo de um ponto central, ilustrado da seguinte maneira:

Consulte o curso sobre agrupamento para mais informações.

adaptação colaborativa

Quando os neurônios preveem padrões nos dados de treinamento contando quase exclusivamente em saídas de outros neurônios específicos, em vez de depender o comportamento da rede como um todo. Quando os padrões que causam a coadaptação não estão presentes nos dados de validação, a coadaptação causa overfitting. A regularização de dropout reduz a coadaptação. porque o dropout garante que os neurônios não possam depender apenas de outros neurônios específicos.

filtragem colaborativa

Fazer previsões sobre os interesses de um usuário com base nos interesses de muitos outros usuários. A filtragem colaborativa é usada com frequência em sistemas de recomendação.

Consulte Colaborativo filtragem no curso "Sistemas de recomendação".

Desvio de conceito

Uma mudança na relação entre os recursos e o rótulo. Com o tempo, o deslocamento de conceito reduz a qualidade de um modelo.

Durante o treinamento, o modelo aprende a relação entre os atributos e os rótulos no conjunto de treinamento. Se os rótulos no conjunto de treinamento bons proxies para o mundo real, o modelo deve fazer uma boa previsões do mundo real. No entanto, devido ao deslocamento de conceito, as previsões se degradam com o tempo.

Por exemplo, considere um modelo de classificação binária que prevê se um determinado modelo de carro é "eficiente em termos de combustível" ou não. Ou seja, os recursos podem ser:

• peso do carro
• compactação do mecanismo
• tipo de transmissão

enquanto o rótulo é:

• eficiência de combustível
• não é econômica

No entanto, o conceito de "carro econômico" mantém mudando. Um modelo de carro rotulado como econômico em 1994 provavelmente ser rotulados como não econômicos em combustível em 2024. Um modelo sofrendo deslocamento de conceito tende a fazer previsões cada vez menos úteis ao longo do tempo.

Compare e diferencie da não estacionário.

transição

Em uma árvore de decisão, qualquer nó que avalia uma expressão. Por exemplo, a parte a seguir de uma árvore de decisão contém duas condições:

Uma condição também é chamada de divisão ou teste.

Contraste a condição com folha.

Consulte também:

• condição binária
• condição não binária.
• eixo-alinhado-condição
• oblique-condition

Consulte Tipos de condições no curso sobre florestas de decisão para mais informações.

confabulação

Sinônimo de alucinação artificial.

A confabulação é provavelmente um termo mais preciso do que a alucinação. No entanto, a alucinação se tornou popular primeiro.

configuração

o processo de atribuição dos valores de propriedade iniciais usados para treinar um modelo. incluindo:

• as camadas de composição do modelo
• o local dos dados
• hiperparâmetros, como:
  • taxa de aprendizado
  • iterações
  • otimizador
  • função de perda

Em projetos de machine learning, a configuração pode ser feita por meio de um método de configuração do Terraform ou usando bibliotecas de configuração, como as seguintes:

• HParam
• Gin
• Fiddle

viés de confirmação

a tendência de buscar, interpretar, favorecer e lembrar informações de uma de forma que confirme crenças ou hipóteses pré-existentes de alguém. Os desenvolvedores de machine learning podem coletar ou rotular dados inadvertentemente de maneiras que influenciam um resultado que apoia as crenças existentes. O viés de confirmação é uma forma de viés implícito.

O viés do experimentador é uma forma de viés de confirmação em que um experimentador continua treinando os modelos até que um que uma hipótese seja confirmada.

matriz de confusão

Tabela NxN que resume o número de previsões corretas e incorretas. feita por um modelo de classificação. Por exemplo, considere a matriz de confusão a seguir para um modelo de classificação binária:

A matriz de confusão anterior mostra o seguinte:

• Das 19 previsões em que as informações empíricas foram Tumor, o modelo classificou corretamente 18 e incorretamente 1.
• Das 458 previsões em que as informações empíricas não eram Tumor, o modelo classificado corretamente como 452 e classificado incorretamente 6.

A matriz de confusão para um problema de classificação multiclasse pode ajudar a identificar padrões de erros. Por exemplo, considere a matriz de confusão a seguir para um modelo de classificação de três classes que categoriza três tipos diferentes de íris (Virginica, Versicolor e Setosa). Quando as informações empíricas eram a Virgínia, matriz de confusão mostra que o modelo tem muito mais probabilidade de prever Versicolor do que Setosa:

Como outro exemplo, uma matriz de confusão pode revelar que um modelo treinado para reconhecer dígitos escritos à mão tende a prever 9 em vez de 4 ou 1 em vez de 7.

As matrizes de confusão contêm informações suficientes para calcular uma Várias métricas de performance, incluindo precisão e recall.

análise de distrito eleitoral

Dividir uma sentença em estruturas gramaticais menores ("constituintes"). Uma parte posterior do sistema de ML, como modelo de compreensão de linguagem natural, pode analisar os constituintes mais facilmente do que a frase original. Por exemplo, considere a seguinte frase:

Meu amigo adotou dois gatos.

Um analisador de constituintes pode dividir esta frase nos seguintes elementos:

• Myfriend é um sintagma nominal.
• adotou dois gatos é uma frase verbal.

Esses elementos podem ser subdivididos em elementos menores. Por exemplo, a frase verbal

adotou dois gatos

pode ser subdividido em:

• adopted é um verbo.
• two cats é outro sintagma nominal.

embedding de linguagem contextualizada

Uma incorporação que chega perto de "compreensão". palavras e frases de maneiras que os falantes humanos nativos conseguem. Linguagem contextualizada os embeddings entendem sintaxe, semântica e contexto complexos.

Por exemplo, considere embeddings da palavra em inglês cow. Incorporações mais antigas, como word2vec, podem representar palavras em inglês de modo que a distância no espaço de incorporação de cow a bull seja semelhante à distância de ewe (ovelha) a ram (bode) ou de female a male. As representações de linguagem contextualizadas podem ir além, reconhecendo que os falantes de inglês às vezes usam casualmente a palavra cow para significar vaca ou touro.

janela de contexto

O número de tokens que um modelo pode processar em um determinado comando. Quanto maior a janela de contexto, mais informações o modelo pode usar para fornecer respostas coerentes e consistentes ao comando.

atributo contínuo

Um recurso de ponto flutuante com um intervalo infinito de valores possíveis, como temperatura ou peso.

Não use recursos discretos.

amostragem por conveniência

Usar um conjunto de dados não reunido cientificamente para execução rápida experimentos. Mais tarde, é essencial mudar para um conjunto de dados coletado de forma científica.

convergência

Um estado alcançado quando os valores de perda mudam muito pouco ou de forma alguma em cada iteração. Por exemplo, a curva de perda a seguir sugere convergência em cerca de 700 iterações:

Um modelo convergente quando o treinamento adicional não para melhorar o modelo.

No aprendizado profundo, os valores de perda às vezes permanecem constantes ou quase isso em muitas iterações antes de finalmente descer. Durante um longo período de valores de perda constantes, talvez você tenha temporariamente uma falsa sensação de convergência.

Consulte também parada antecipada.

Consulte Convergência e perda de modelos curvas no curso intensivo de machine learning para mais informações.

função convexa

Uma função em que a região acima do gráfico é uma conjunto convexo. A função convexa prototípica tem a forma da letra U. Por exemplo, as seguintes são todas funções convexas:

Em contraste, a função a seguir não é convexa. Observe como a região acima do gráfico não é um conjunto convexo:

Uma função estritamente convexa tem exatamente um ponto mínimo local, que também é o ponto mínimo global. As funções clássicas em forma de U são estritamente convexas. No entanto, algumas funções convexas (por exemplo, linhas retas) não têm formato de U.

Consulte Convergência e convexo funções no curso intensivo de machine learning para mais informações.

otimização convexa

O processo de usar técnicas matemáticas como gradiente descendente para encontrar o mínimo de uma função convexa. Muitas pesquisas em aprendizado de máquina se concentram em formular vários problemas como problemas de otimização convexa e resolvê-los de maneira mais eficiente.

Para detalhes completos, consulte Boyd e Vandenberghe, Convex otimização.

conjunto convexo

Um subconjunto do espaço euclidiano, de modo que uma linha traçada entre dois pontos no subconjunto permaneça completamente dentro dele. Por exemplo, as duas formas a seguir são conjuntos convexos:

Em contraste, as duas formas a seguir não são conjuntos convexos:

convolução

Em matemática, casualmente, uma combinação de duas funções. Na máquina machine learning, uma convolução mistura a técnica convolucional filtro e a matriz de entrada para treinar pesos.

O termo "convolução" no aprendizado de máquina geralmente é uma forma abreviada de se referir a operação de convolução ou camada de convolução.

Sem as convoluções, um algoritmo de machine learning teria que aprender um peso separado para cada célula em um tensor grande. Por exemplo, um treinamento de algoritmo de aprendizado de máquina em imagens 2K x 2K seria forçado a encontrar 4 milhões de pesos separados. Graças às convoluções, um algoritmo de aprendizado de máquina precisa encontrar pesos para cada célula no filtro convolucional, reduzindo drasticamente a memória necessária para treinar o modelo. Quando o filtro convolucional é aplicado, ele é simplesmente replicado em células, de modo que cada uma seja multiplicada pelo filtro.

Consulte Introdução às redes neurais convolucionais no curso de classificação de imagens para mais informações.

filtro convolucional

Um dos dois atores operação convolucional. (O outro ator é uma fração de uma matriz de entrada. Um filtro convolucional é uma matriz que tem a mesma classificação da matriz de entrada, mas com uma forma menor. Por exemplo, considerando uma matriz de entrada de 28x28, o filtro pode ser qualquer matriz 2D. menor que 28 x 28.

Na manipulação fotográfica, todas as células em um filtro convolucional são normalmente definidas como um padrão constante de uns e zeros. No machine learning, os filtros convolucionais costumam conter números aleatórios e, depois, a rede treina os valores ideais.

Consulte Convolução no curso de classificação de imagens para mais informações.

camada convolucional

Uma camada de uma rede neural profunda em que um filtro convolucional transmite uma matriz de entrada. Por exemplo, considere o seguinte modelo 3x3 filtro convolucional:

A animação a seguir mostra uma camada convolucional composta de nove operações convolucionais envolvendo a matriz de entrada 5x5. Observe que cada operação de convolução funciona em uma fatia 3x3 diferente da matriz de entrada. A matriz 3x3 resultante (à direita) consiste nos resultados das nove operações de convolução:

Consulte Camadas totalmente conectadas no curso de classificação de imagens para mais informações.

rede neural convolucional

Uma rede neural em que pelo menos uma camada é camada convolucional. Uma estrutura convolucional típica rede neural consiste em alguma combinação das seguintes camadas:

• Camadas convolucionais
• camadas de agregação
• camadas densas

As redes neurais convolucionais tiveram muito sucesso em determinados tipos de problemas, como reconhecimento de imagem.

operação convolucional

A seguinte operação matemática de duas etapas:

1. Multiplicação elemento a elemento do filtro convolucional e uma fatia de uma matriz de entrada. (A fração da matriz de entrada tem a mesma classificação, tamanho como filtro convolucional.)
2. Soma de todos os valores na matriz de produtos resultante.

Por exemplo, considere a matriz de entrada 5x5 a seguir:

Agora imagine o seguinte filtro convolucional 2x2:

Cada operação de convolução envolve uma única fração de 2x2 matriz de entrada. Por exemplo, suponha que usemos a fatia 2x2 no canto superior esquerdo da matriz de entrada. A operação de convolução nesta fatia é a seguinte:

Uma camada convolucional consiste em uma série de operações convolucionais, cada uma agindo em uma fração diferente da matriz de entrada.

custo

Sinônimo de loss.

treinamento colaborativo

Uma abordagem de aprendizagem semisupervisionada é particularmente útil quando todas as condições a seguir são verdadeiras:

• A proporção de exemplos não rotulados para exemplos rotulados no conjunto de dados é alta.
• Isso é um problema de classificação (binário ou multiclasse).
• O dataset contém dois conjuntos diferentes de atributos preditivos que são independentes uns dos outros e complementares.

O treinamento em conjunto amplia os indicadores independentes e as transforma em um indicador mais forte. Por exemplo, considere um modelo de classificação que categoriza carros usados individuais como Bom ou Ruim. Um conjunto de os atributos preditivos podem focar em características agregadas, como ano, marca e modelo do carro; outro conjunto de recursos preditivos pode se concentrar o histórico de condução do proprietário anterior e o histórico de manutenção do carro.

O artigo fundamental sobre treinamento conjunto é Combinar dados rotulados e não rotulados com Treinamento conjunto por Blum e Mitchell.

imparcialidade contrafactual

Uma métrica de justiça que verifica se um classificador produz o mesmo resultado para um indivíduo que para outro indivíduo idêntico ao primeiro, exceto em relação a um ou mais atributos sensíveis. Avaliar um classificador para a imparcialidade contrafactual é um método para descobrir possíveis fontes de em um modelo.

Consulte uma das seguintes opções para mais informações:

• Equidade: equidade contrafactual no curso intensivo de machine learning.
• Quando os mundos colidem: como integrar diferentes suposições contrafactual com imparcialidade

viés de cobertura

Consulte viés de seleção.

crash blossom

Uma sentença com um significado ambíguo. As flores típicas representam um problema significativo nas áreas naturais compreensão da linguagem. Por exemplo, o título A fita vermelha segura o arranha-céu é uma porque um modelo PLN poderia interpretar o título literalmente ou figurativamente.

crítico

Sinônimo de rede Q profunda.

entropia cruzada

Uma generalização da perda de registro para problemas de classificação multiclasse. Entropia cruzada quantifica a diferença entre duas distribuições de probabilidade. Consulte também perplexidade.

validação cruzada

Um mecanismo para estimar o quanto um modelo seria generalizado para novos dados, testando o modelo em relação a um ou mais subconjuntos de dados não sobrepostos retidos do conjunto de treinamento.

função de distribuição cumulativa (CDF, na sigla em inglês)

Função que define a frequência das amostras menor ou igual a um o valor da meta. Por exemplo, considere uma distribuição normal de valores contínuos. Uma CDF diz que aproximadamente 50% das amostras devem ser menores ou iguais à média e que aproximadamente 84% das amostras devem ser menores ou iguais para um desvio padrão acima da média.

D

análise de dados

Entender os dados considerando amostras, medições e visualização. A análise de dados pode ser particularmente útil quando o conjunto de dados é recebido antes de criar o primeiro modelo. Também é crucial para entender os experimentos e depurar problemas com no sistema.

aumento de dados

Aumentando artificialmente o intervalo e o número de Exemplos de treinamento transformando examples para criar outros exemplos. Por exemplo, suponha que as imagens sejam um dos seus recursos, mas que o conjunto de dados não tenha exemplos de imagens suficientes para que o modelo aprenda associações úteis. O ideal é adicionar imagens rotuladas suficientes ao conjunto de dados para permitir que o modelo seja treinado corretamente. Se isso não for possível, o aumento de dados poderá girar, esticar e refletir cada imagem para produzir muitas variantes da imagem original, possivelmente gerando dados rotulados suficientes para permitir um excelente treinamento.

DataFrame

Um tipo de dados pandas conhecido para representar conjuntos de dados na memória.

Um DataFrame é análogo a uma tabela ou planilha. Cada coluna de um DataFrame tem um nome (um cabeçalho), e cada linha é identificada por um um número exclusivo.

Cada coluna em um DataFrame é estruturada como uma matriz 2D, exceto que cada coluna pode receber o próprio tipo de dados.

Consulte também a versão oficial Referência do pandas.DataFrame página.

paralelismo de dados

Uma maneira de dimensionar o treinamento ou a inferência, que replica um modelo inteiro para vários dispositivos e transmite um subconjunto dos dados de entrada para cada dispositivo. O paralelismo de dados pode permitir o treinamento e a inferência em tamanhos de lote muito grandes. No entanto, o paralelismo de dados exige que o modelo seja pequeno o suficiente para caber em todos os dispositivos.

O paralelismo de dados normalmente acelera o treinamento e a inferência.

Consulte também paralelismo de modelos.

conjunto de dados

Coleção de dados brutos, geralmente (mas não exclusivamente) organizados em um um dos seguintes formatos:

• uma planilha
• um arquivo em formato CSV (valores separados por vírgula)

API Dataset (tf.data)

Uma API de alto nível do TensorFlow para ler dados e e transformá-los da forma que um algoritmo de machine learning exige. Um objeto tf.data.Dataset representa uma sequência de elementos, em que cada elemento contém um ou mais Tensors. Um objeto tf.data.Iterator oferece acesso aos elementos de um Dataset.

fronteira de decisão

O separador entre classes aprendidas por um modelo em uma classe binária ou problemas de classificação multiclasse. Por exemplo: na imagem a seguir, que representa um problema de classificação binária, a fronteira de decisão é a fronteira entre a classe laranja e a classe azul:

floresta de decisão

Um modelo criado a partir de várias árvores de decisão. Uma floresta de decisão faz uma previsão agrupando as previsões das árvores de decisão. Os tipos mais conhecidos de florestas de decisão incluem florestas aleatórias e árvores impulsionadas por gradiente.

Consulte a seção Florestas de decisão no curso de Florestas de decisão para mais informações.

limite de decisão

Sinônimo de limiar de classificação.

árvore de decisão

Um modelo de aprendizado supervisionado composto por um conjunto de condições e saias organizadas hierarquicamente. Por exemplo, confira esta árvore de decisões:

decodificador

Em geral, qualquer sistema de ML que converta de uma representação processada, densa ou interna para uma representação mais bruta, esparsa ou externa.

Os decodificadores geralmente são um componente de um modelo maior, em que são frequentemente associados a um codificador.

Em tarefas de sequência para sequência, um decodificador começa com o estado interno gerado pelo codificador para prever a próxima sequência.

Consulte Transformer para a definição de um decodificador em a arquitetura de transformador.

Consulte Modelos de linguagem grandes no Curso intensivo de machine learning para mais informações.

modelo profundo

Uma rede neural que contém mais de uma camada escondida.

Um modelo profunda também é chamado de rede neural profunda.

Compare com o modelo amplo.

de rede neural profunda, amplamente utilizado

Sinônimo de modelo profundo.

Rede Q profunda (DQN, na sigla em inglês)

No Q-learning, uma rede neural profunda que prevê funções Q.

Critic é um sinônimo de rede Q profunda.

paridade demográfica

Uma métrica de imparcialidade que é satisfeita se os resultados da classificação de um modelo não dependem determinado atributo sensível.

Por exemplo, se tanto liliputianos quanto brobdingnagians se aplicam a Universidade Glubbdubdrib, a paridade demográfica é alcançada se a porcentagem de liliputianos admitidos é igual à porcentagem de Brobdingnagians aceito, independentemente de um grupo ser, em média, mais qualificado diferente do outro.

Contraste com probabilidades equalizadas e igualdade de oportunidade, que permite os resultados da classificação dependem de atributos sensíveis, mas não permitem resultados de classificação para determinados Rótulos de informações empíricas dependem de atributos sensíveis. Consulte "Como combater a discriminação com um aprendizado de máquina mais inteligente" para conferir uma visualização que mostra as compensações ao otimizar para paridade demográfica.

Consulte Imparcialidade: paridade demográfica no Curso intensivo de machine learning para mais informações.

redução de ruído

Uma abordagem comum de aprendizado autossupervisionado em que:

1. Ruído é adicionado artificialmente ao conjunto de dados.
2. O modelo tenta remover o ruído.

A remoção de ruído permite aprender com exemplos não rotulados. O dataset original serve como destino ou rótulo, e os dados com ruído como entrada.

Alguns modelos de linguagem mascarados usam a redução de ruído da seguinte maneira:

1. O ruído é adicionado artificialmente a uma frase não rotulada mascarando algumas os tokens.
2. O modelo tenta prever os tokens originais.

atributo denso

Um atributo em que a maioria ou todos os valores são diferentes de zero, normalmente um Tensor de valores de ponto flutuante. Por exemplo, o Tensor de 10 elementos a seguir é denso porque nove dos valores são diferentes de zero:

Diferente do recurso esparso.

camada densa

Sinônimo de camada totalmente conectada.

profundidade

A soma dos seguintes elementos em uma rede neural:

• o número de camadas ocultas
• o número de camadas de saída, que normalmente é 1
• o número de camadas de incorporação

Por exemplo, uma rede neural com cinco camadas escondidas e uma camada final tem uma profundidade de 6.

Observe que a camada de entrada não profundidade de influência.

rede neural convolucional separável em profundidade (sepCNN)

Uma rede neural convolucional arquitetura baseada em Origem, mas os módulos Inception são substituídos por módulos separáveis em profundidade convoluções Também conhecido como Xception.

Uma convolução separável por profundidade (também abreviada como convolução separável) divide uma convolução 3D padrão em duas operações de convolução separadas que são mais eficientes computacionalmente: primeiro, uma convolução por profundidade, com uma profundidade de 1 (n ✕ n ✕ 1), e depois uma convolução pontual, com comprimento e largura de 1 (1 ✕ 1 ✕ n).

Para saber mais, consulte Xception: aprendizado profundo com Depthwise Separable. convoluções.

rótulo derivado

Sinônimo de marcador de proxy.

dispositivo

Um termo sobrecarregado com as duas definições possíveis a seguir:

1. Uma categoria de hardware que pode executar uma sessão do TensorFlow, incluindo CPUs, GPUs e TPUs.
2. Ao treinar um modelo de ML em chips de aceleração (GPUs ou TPUs), a parte do sistema que manipula tensores e embeddings. O dispositivo funciona com chips de aceleração. Por outro lado, o host normalmente é executado em uma CPU.

privacidade diferencial

No aprendizado de máquina, uma abordagem de anonimização para proteger dados sensíveis (por exemplo, informações pessoais de um indivíduo) incluídos no conjunto de treinamento de um modelo para que não sejam expostos. Essa abordagem garante que o modelo não aprende ou se lembra muito de uma determinada indivíduo. Isso é feito com a amostragem e a adição de ruído durante o treinamento do modelo para ocultar pontos de dados individuais, reduzindo o risco de expor dados de treinamento confidenciais.

A privacidade diferencial também é usada fora do machine learning. Por exemplo, os cientistas de dados às vezes usam a privacidade diferencial para proteger a privacidade individual ao calcular estatísticas de uso do produto para diferentes dados demográficos.

redução de dimensão

Como diminuir o número de dimensões usadas para representar um recurso específico em um vetor de recurso, normalmente convertendo em um vetor de embedding.

dimensões

Termo sobrecarregado com qualquer uma das seguintes definições:

• O número de níveis de coordenadas em um Tensor. Por exemplo:

  • Um escalar tem dimensões zero, por exemplo, ["Hello"].
  • Um vetor tem uma dimensão, por exemplo, [3, 5, 7, 11].
  • Uma matriz tem duas dimensões: por exemplo, [[2, 4, 18], [5, 7, 14]]. É possível especificar uma célula específica em um vetor unidimensional com uma coordenada. Você precisa de duas coordenadas para especificar uma célula específica em uma matriz bidimensional.

• O número de entradas em um vetor de recursos.

• O número de elementos em uma camada de incorporação.

comandos diretos

Sinônimo de comando zero-shot.

atributo discreto

Um recurso com um conjunto finito de valores possíveis. Por exemplo: um atributo com valores que só podem ser animal, vegetable ou mineral é um atributos discretos (ou categóricos).

Compare com o atributo contínuo.

modelo discriminativo

Um modelo que prevê rótulos de um conjunto de um ou mais recursos. Mais formalmente, os modelos discriminativos definem a probabilidade condicional de uma saída, considerando os recursos e pesos, ou seja:

p(output | features, weights)

Por exemplo, um modelo que prevê se um e-mail é spam a partir de atributos e pesos é um modelo discriminativo.

A grande maioria dos modelos de aprendizado supervisionado, incluindo e regressão, são modelos discriminativos.

Contraste com o modelo generativo.

discriminador

Um sistema que determina se os exemplos são reais ou falsos.

Alternativamente, o subsistema dentro de um sistema adversário generativo rede que determina se os exemplos criados pelo gerador são reais ou fictícios.

Consulte O discriminador no curso da GAN para mais informações.

impacto diferente

Tomada de decisões sobre pessoas que afetam uma população diferente subgrupos de maneira desproporcional. Isso geralmente se refere a situações em que um processo de tomada de decisão algorítmica prejudica ou beneficia alguns subgrupos mais do que outros.

Por exemplo, suponha que um algoritmo que determine o valor de um Lilliputian a qualificação para empréstimos imobiliários em miniatura tem mais chances de classificar como "não qualificadas" caso seu endereço de correspondência contenha uma determinada CEP/código postal. Se os Liliputianos de Big-Endian têm mais probabilidade de endereços de correspondência com esse código postal do que Little-Endian Lilliputians, o algoritmo pode causar impactos diferentes.

Contraste com o tratamento de desigualdade, que se concentra em disparidades que ocorrem quando as características do subgrupo são entradas explícitas para um processo de tomada de decisão algorítmico.

tratamento desigual

Como fatorar os assuntos atributos sensíveis em um processo de tomada de decisão algorítmico, de modo que diferentes subgrupos das pessoas são tratadas de forma diferente.

Por exemplo, considere um algoritmo que determina os Liliputians a qualificação para um empréstimo imobiliário em miniatura com base no e dados fornecidos no pedido de empréstimo. Se o algoritmo usa uma afinidade de liliputianos como Big-Endian ou Little-Endian como uma entrada, ele está executando um tratamento diferente nessa dimensão.

Compare com o impacto desigual, que se concentra nas disparidades nos impactos sociais das decisões algorítmicas sobre subgrupos independentemente de esses subgrupos serem entradas do modelo.

destilação

O processo de reduzir o tamanho de um modelo (conhecido como o professor) para um modelo menor (conhecido como estudante) que emula as previsões do modelo original da maneira mais fiel possível. A destilação é útil porque o modelo menor tem dois benefícios importantes em relação ao modelo maior (o professor):

• Tempo de inferência mais rápido
• Uso reduzido de memória e energia

No entanto, as previsões dos estudantes geralmente não são tão boas quanto as previsões do professor.

A destilação treina o modelo estudante para minimizar função de perda com base na diferença entre as saídas das previsões dos modelos estudantes e professores.

Compare e compare a destilação com os seguintes termos:

• ajustes
• aprendizado baseado em comandos

Consulte LLMs: Fine-tuning, distillation, and prompt engineering no Curso intensivo de machine learning para mais informações.

Distribuição

A frequência e o intervalo de valores diferentes para um determinado atributo ou rótulo. Uma distribuição captura a probabilidade de um valor específico.

A imagem a seguir mostra histogramas de duas distribuições diferentes:

• À esquerda, uma distribuição de lei de potência da riqueza em relação ao número de pessoas que a possuem.
• À direita, uma distribuição normal da altura versus o número de pessoas possuem essa altura.

Entender a distribuição de cada recurso e rótulo pode ajudar você a determinar como normalizar valores e detectar valores discrepantes.

A frase fora da distribuição se refere a um valor que não aparece no conjunto de dados ou é muito raro. Por exemplo, uma imagem do planeta Saturno seria considerada fora da distribuição de um conjunto de dados composto por imagens de gatos.

clustering divisivo

Consulte clustering hierárquico.

redução de amostragem

Termo sobrecarregado que pode significar uma das seguintes opções:

• Reduzir a quantidade de informações em um atributo em para treinar um modelo com mais eficiência. Por exemplo, antes de treinar um modelo de reconhecimento de imagem, reduza a amostragem de imagens de alta resolução para um formato de resolução mais baixa.
• Treinamento em uma porcentagem desproporcionalmente baixa de super-representados classe exemplos para melhorar o treinamento de modelos em turmas sub-representadas. Por exemplo, em um caso de balanceamento de classe conjunto de dados, os modelos tendem a aprender muito sobre os classe principal e não o suficiente sobre a classe minoritária. A subamostragem ajuda a equilibrar a quantidade de treinamento nas classes majoritárias e minoritárias.

Consulte Conjuntos de dados: desequilibrado conjuntos de dados no curso intensivo de machine learning para mais informações.

DQN

Abreviação de Deep Q-Network.

regularização de dropout

Uma forma de regularização útil no treinamento de redes neurais. Regularização de dropout remove a seleção aleatória de um número fixo de unidades em uma rede camada para uma única etapa de gradiente. Quanto mais unidades forem eliminadas, mais forte será a regularização. Isso é análogo ao treinamento da rede para emular um ensemble exponencialmente grande de redes menores. Para mais detalhes, consulte Dropout: uma maneira simples de evitar que as redes neurais se ajustem demais.

dinâmico

Algo feito com frequência ou continuamente. Os termos dinâmico e on-line são sinônimos em machine learning. Confira a seguir usos comuns de dinâmico e on-line no aprendizado de máquina:

• Um modelo dinâmico (ou modelo on-line) é um modelo que é treinado com frequência ou continuamente.
• O treinamento dinâmico (ou treinamento on-line) é o processo de treinamento com frequência ou continuamente.
• A inferência dinâmica (ou inferência on-line) é o processo de e a geração de previsões sob demanda.

modelo dinâmico

Um modelo que é frequente (talvez até continuamente) retreinado. Um modelo dinâmico é um "aprendizado para toda a vida" que se adapta constantemente à evolução dos dados. Um modelo dinâmico também é conhecido como um modelo on-line.

Contraste com o modelo estático.

E

execução rápida

Um ambiente de programação do TensorFlow em que as operações são executadas imediatamente. Em contraste, as operações chamadas em a execução de gráfico não são executadas até que sejam explicitamente avaliado. A execução imediata é uma interface imperativa, assim como o código na maioria das linguagens de programação. Programas de execução áspera são geralmente muito mais fáceis de depurar do que programas de execução de gráficos.

parada antecipada

Um método de regularização que envolve o encerramento treinamento antes do término da perda do treinamento diminuindo. Na parada antecipada, você para intencionalmente o treinamento do modelo. quando a perda em um conjunto de dados de validação começa increase; ou seja, quando O desempenho da generalização piora.

distância da movimentação da Terra (EMD)

Uma medida da semelhança relativa de duas distribuições. Quanto menor a distância da movimentação da Terra, mais semelhantes são as distribuições.

editar distância

Uma medida de quão semelhantes duas strings de texto são uma à outra. No machine learning, editar distância é útil porque é simples e uma forma eficaz de comparar duas strings conhecidas por semelhantes ou para encontrar strings semelhantes a uma determinada string.

Há várias definições para edição da distância, cada uma usando strings diferentes. as operações. Por exemplo, o Distância de Levenshtein considera o menor número de operações de exclusão, inserção e substituição.

Por exemplo, a distância de Levenshtein entre as palavras "heart" e "darts" é 3 porque as três edições a seguir são as mudanças mínimas para transformar uma palavra em outra:

1. coração → deart (substitua "h" por "d")
2. deart → dart (delete "e")
3. dardo → dardos (insira "s")

Notação Einsum

Uma notação eficiente para descrever como dois tensores são combinados. Os tensores são combinados multiplicando os elementos de um tensor pelos elementos do outro tensor e somando os produtos. A notação Einsum usa símbolos para identificar os eixos de cada tensor, e aqueles Os mesmos símbolos são reorganizados para especificar o formato do novo tensor resultante.

O NumPy fornece uma implementação comum de Einsum.

camada de embedding

Uma camada oculta especial que é treinada com um recurso categórico de alta dimensão para aprender gradualmente um vetor de incorporação de dimensão inferior. Uma camada de incorporação permite que uma rede neural seja treinada de maneira muito mais eficiente do que apenas no recurso categórico de alta dimensão.

Por exemplo, a Terra atualmente suporta cerca de 73.000 espécies de árvores. Suponha que a espécie de árvore seja um atributo no modelo. Assim, a camada de entrada do modelo inclui um vetor único de 73.000 elementos. Por exemplo, talvez baobab fosse representado algo assim:

Uma matriz de 73.000 elementos é muito longa. Se você não adicionar uma camada de embedding ao modelo, o treinamento vai levar muito tempo, porque multiplicando 72.999 zeros. Talvez você escolha a camada de embedding para consistir de 12 dimensões. Consequentemente, a camada de embedding aprenderá gradualmente um novo vetor de embedding para cada espécie de árvore.

Em determinadas situações, gerar hash é uma alternativa razoável para uma camada de embedding.

Consulte Incorporações no Curso intensivo de machine learning para mais informações.

espaço de embedding

O espaço vetorial d-dimensional que pertence a uma dimensão superior espaço de vetor são mapeados. O ideal é que o espaço de embedding contenha uma estrutura que gere resultados matemáticos significativos. Por exemplo, em um espaço de embedding ideal, a adição e a subtração de embeddings podem resolver tarefas de analogia de palavras.

O produto de pontos de dois embeddings é uma medida da semelhança deles.

embedding de vetor

De modo geral, uma matriz de números de ponto flutuante extraída de qualquer camada oculta que descreve as entradas para essa camada oculta. Muitas vezes, um vetor de embedding é a matriz de números de ponto flutuante treinada em uma camada de embedding. Por exemplo, suponha que uma camada de embedding precise aprender uma vetor de embedding para cada uma das 73 mil espécies de árvores na Terra. Talvez a matriz a seguir seja o vetor de embedding de uma árvore de baobá:

Um vetor de embedding não é um monte de números aleatórios. Uma camada de embedding determina esses valores pelo treinamento, semelhante à maneira a rede neural aprende outros pesos durante o treinamento. Cada elemento do matriz é uma classificação juntamente com alguma característica de uma espécie de árvore. Qual elemento representa a característica de qual espécie de árvore? Isso é muito difícil para que humanos possam determinar.

A parte matematicamente notável de um vetor de embedding é que itens semelhantes têm conjuntos semelhantes de números de ponto flutuante. Por exemplo, espécies de árvores semelhantes têm um conjunto de números de ponto flutuante mais semelhante do que espécies de árvores diferentes. Sequoias e sequoias são espécies de árvores relacionadas, então eles terão um conjunto mais semelhante de números de ponto flutuante do que sequoias e coqueiros. Os números no vetor de incorporação vão mudar sempre que você treinar o modelo novamente, mesmo que com uma entrada idêntica.

função de distribuição cumulativa empírica (eCDF ou EDF, na sigla em inglês)

Uma função de distribuição cumulativa com base em medições empíricas de um conjunto de dados real. O valor da função em qualquer ponto ao longo do eixo x é a fração de observações no conjunto de dados que é menor ou igual ao valor especificado.

minimização do risco empírico (ERM)

Escolher a função que minimiza a perda no conjunto de treinamento. Compare com a minimização de risco estrutural.

codificador

Em geral, qualquer sistema de ML que converte dados brutos, esparsos ou em uma representação mais processada, densa ou mais interna.

Codificadores são componentes de um modelo maior, em que são usados pareado com um decodificador. Alguns transformadores codificadores e decodificadores, embora outros transformadores usem apenas o ou só o decodificador.

Alguns sistemas usam a saída do codificador como entrada para uma classificação ou rede de regressão.

Nas tarefas sequência para sequência, um codificador toma uma sequência de entrada e retorna um estado interno (um vetor). Depois, decoder usa esse estado interno para prever a próxima sequência.

Consulte Transformer para ver a definição de um codificador na arquitetura do Transformer.

Consulte LLMs: o que é uma linguagem grande modelo no curso intensivo de machine learning para mais informações.

conjunto

Uma coleção de modelos treinados de forma independente, com previsões que são calculadas em média ou agregadas. Em muitos casos, um conjunto produz previsões melhores do que um único modelo. Por exemplo, uma floresta aleatória é um conjunto criado a partir de várias árvores de decisão. Nem todas as florestas de decisão são conjuntos.

Consulte Random Forest no Curso intensivo de machine learning para mais informações.

entropia

Na teoria da informação, uma descrição de como uma distribuição de probabilidade é imprevisível. Como alternativa, a entropia também é definida como a quantidade de informações que cada exemplo contém. Uma distribuição tem a maior entropia possível quando todos os valores de uma variável aleatória têm a mesma probabilidade.

A entropia de um conjunto com dois valores possíveis "0" e "1" (por exemplo, os rótulos em um problema de classificação binária) tem a seguinte fórmula:

H = -p log p - q log q = -p log p - (1-p) * log (1-p)

em que:

• H é a entropia.
• p é a fração dos exemplos "1".
• q é a fração de "0" exemplos. Observe que q = (1 - p)
• log geralmente é log₂. Nesse caso, a entropia unidade é um pouco.

Por exemplo, suponha que:

• 100 exemplos contêm o valor "1"
• 300 exemplos contêm o valor "0"

Portanto, o valor de entropia é:

• p = 0,25
• q = 0,75
• H = (-0,25)log₂(0,25) - (0,75)log₂(0,75) = 0,81 bits por exemplo

Um conjunto que é perfeitamente equilibrado (por exemplo, 200 "0" e 200 "1") teria uma entropia de 1,0 bit por exemplo. À medida que um conjunto fica mais desbalanceado, a entropia dele se move em direção a 0,0.

Nas árvores de decisão, a entropia ajuda a formular o ganho de informação para ajudar o divisor a selecionar as condições durante o crescimento de uma árvore de decisão de classificação.

Comparar a entropia com:

• impureza de gini
• Função de perda de entropia cruzada

A entropia é frequentemente chamada de entropia de Shannon.

Consulte Divisor exato para classificação binária com recursos numéricos no curso de florestas de decisão para mais informações.

ambiente

No aprendizado por reforço, o mundo que contém o agente e permite que o agente observe o estado desse mundo. Por exemplo: o mundo representado pode ser um jogo, como o xadrez, ou um mundo físico, como um labirinto. Quando o agente aplica uma ação ao ambiente, ele transita entre os estados.

episódio

No aprendizado por reforço, cada uma das tentativas repetidas dos agent para aprender um ambiente.

época

Um treinamento completo de todo o conjunto de treinamento, de modo que cada exemplo seja processado uma vez.

Um período representa N/tamanho do lote iterações de treinamento, em que N é o número total de exemplos.

Por exemplo, suponha que:

• O conjunto de dados é composto por 1.000 exemplos.
• O tamanho do lote é de 50 exemplos.

Portanto, uma única época requer 20 iterações:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

Consulte Regressão linear: Hiperparâmetros no curso intensivo de machine learning para mais informações.

política épsilon greedy

No aprendizado por reforço, uma política que siga uma política aleatória com probabilidade de épsilon ou caso contrário, uma política gananciosa. Por exemplo, se épsilon for 0.9, a política segue uma política aleatória 90% das vezes e uma política 10% das vezes.

Ao longo de episódios sucessivos, o algoritmo reduz o valor de épsilon para mudar de uma política aleatória para uma gananciosa. Ao mudar a política, o agente primeiro explora o ambiente aleatoriamente e, depois, explora avidamente os resultados da exploração aleatória.

igualdade de oportunidades

Uma métrica de imparcialidade para avaliar se um modelo é prever o resultado desejável igualmente bem para todos os valores de um atributo confidencial: Em outras palavras, se o resultado desejado para um modelo é a classe positiva, a meta seria que a taxa de verdadeiro positivo fosse a igual para todos os grupos.

A igualdade de oportunidade está relacionada a probabilidades igualitárias, o que exige que tanto as taxas de verdadeiros positivos quanto as As taxas de falsos positivos são as mesmas para todos os grupos.

Suponha que a Universidade Glubbdubdrib admita liliputianos e brobdingnagians a um rigoroso programa de matemática. As escolas secundárias dos liliputianos oferecem um currículo robusto de aulas de matemática, e a grande maioria dos estudantes está qualificada para o programa universitário. Os Brobdingnagians as escolas de ensino médio não oferecem aulas de matemática e, como resultado, muito menos de seus alunos estão qualificadas. A igualdade de oportunidade é atendida para o rótulo preferido de "admitido" em relação à nacionalidade (Liliputiano ou Brobdingnagiano) se estudantes qualificados têm a mesma chance de serem admitidos, independentemente de eles são liliputianos ou brobdingnagianos.

Por exemplo, suponha que 100 liliputianos e 100 brobdingnaginos se apliquem a Glubbdubdrib University, e as decisões de admissão são tomadas da seguinte maneira:

Tabela 1. Candidatos Lilliputianos (90% estão qualificados)

Tabela 2. Candidatos a Brobdingnagian (10% qualificados):

Os exemplos anteriores satisfazem a igualdade de oportunidade para aceitação alunos qualificados porque Liliputians e Brobdingnagians qualificados têm 50% de chance de serem aceitos.

Embora a igualdade de oportunidades seja atendida, as duas métricas de imparcialidade abaixo não são:

• Paridade demográfica: os estudantes de Lilliput e Brobdingnag são admitidos na universidade em taxas diferentes. 48% dos estudantes de Lilliput são admitidos, mas apenas 14% dos estudantes de Brobdingnag são admitidos.
• igualdades: enquanto Liliputiano qualificado e alunos de Brobdingnagian têm a mesma chance de serem admitidos, a restrição adicional que licenciantes e litígios não qualificados Os Brobdingnagians têm a mesma chance de serem rejeitados não é satisfeitos. Os liliputianos não qualificados têm uma taxa de rejeição de 70%, enquanto os brobdingnagianos não qualificados têm uma taxa de rejeição de 90%.

Consulte Imparcialidade: igualdade de oportunidade no curso intensivo de machine learning para mais informações.

probabilidades iguais

Uma métrica de justiça para avaliar se um modelo está prevendo resultados igualmente para todos os valores de um atributo sensível em relação à classe positiva e classe negativa, não apenas uma ou outra exclusivamente. Em outras palavras, a taxa de verdadeiro positivo e a taxa de falso negativo precisam ser as mesmas para todos os grupos.

As probabilidades equalizadas estão relacionadas igualdade de oportunidade, que se concentra apenas nas taxas de erro de uma única classe (positivas ou negativas).

Por exemplo, suponha que a Universidade Glubbdubdrib admita liliputianos e brobdingnagianos em um programa de matemática rigoroso. Liliputianos secundário as escolas oferecem um currículo avançado de matemática, e a grande maioria alunos qualificados para o programa universitário. As escolas secundárias de Brobdingnag não oferecem aulas de matemática. Como resultado, muito menos alunos estão qualificados. As probabilidades iguais são satisfeitas, desde que não não importa se um candidato é liliputiano ou brobdingnagian, se ele sejam qualificados, eles têm a mesma probabilidade de serem admitidos no programa, Se não estiverem qualificados, eles têm a mesma chance de serem rejeitados.

Suponha que 100 liliputianos e 100 brobdingnagianos se inscrevam na Universidade Glubbdubdrib e que as decisões de admissão sejam feitas da seguinte maneira:

Tabela 3. Candidatos Lilliputianos (90% estão qualificados)

Tabela 4. Candidatos de Brobdingnag (10% estão qualificados):

As chances iguais são satisfeitas porque os estudantes qualificados de Lilliput e Brobdingnag têm 50% de chance de serem admitidos, e os estudantes não qualificados de Lilliput e Brobdingnag têm 80% de chance de serem rejeitados.

As chances iguais são definidas formalmente em "Igualdade de oportunidades no aprendizado supervisionado" da seguinte maneira: "o preditor Ŷ satisfaz as chances iguais em relação ao atributo protegido A e ao resultado Y se Ŷ e A forem independentes, condicionados a Y".

Estimator

Uma API do TensorFlow descontinuada. Use tf.keras em vez de estimadores.

avaliações

É usado principalmente como uma abreviação para avaliações de LLM. De forma mais ampla, avaliações é uma abreviação para qualquer forma de avaliação.

Avaliação

O processo de medir a qualidade de um modelo ou comparar modelos diferentes.

Para avaliar um modelo de aprendizado de máquina supervisionado, normalmente você o compara com um conjunto de validação e um conjunto de teste. A avaliação de um LLM geralmente envolve avaliações mais amplas de qualidade e segurança.

exemplo

Os valores de uma linha de features e possivelmente um rótulo. Exemplos em O aprendizado supervisionado se divide em dois categorias gerais:

• Um exemplo rotulado consiste em um ou mais recursos e um rótulo. Os exemplos rotulados são usados durante o treinamento.
• Um exemplo não rotulado consiste em um ou mais atributos, mas sem rótulo. Exemplos não rotulados são usados durante a inferência.

Por exemplo, suponha que você esteja treinando um modelo para determinar a influência das condições climáticas nos resultados das avaliações dos alunos. Aqui estão três exemplos rotulados:

Confira três exemplos sem rótulos:

A linha de um conjunto de dados geralmente é a origem bruta de um exemplo. Isto é, um exemplo geralmente consiste em um subconjunto das colunas em conjunto de dados. Além disso, os exemplos também podem incluir recursos sintéticos, como cruzamentos de atributos.

Consulte Aprendizagem supervisionada no curso Introdução ao Machine Learning para mais informações.

Repetição da experiência

No aprendizado por reforço, uma técnica de DQN usada para reduzir correlações temporais nos dados de treinamento. O agente armazena transições de estado em um buffer de repetição e, em seguida, amostra transições do buffer de repetição para criar dados de treinamento.

viés do experimentador

Consulte o viés de confirmação.

problema de gradiente em explosão

A tendência de gradientes em redes neurais profundas (especialmente redes neurais recorrentes) se tornar surpreendentemente íngremes (altos). Gradientes íngremes geralmente causam atualizações muito grandes nos pesos de cada nó em uma rede neural profunda.

Os modelos que sofrem do problema do gradiente em explosão se tornam difíceis ou impossível de treinar. O clipping de gradiente pode reduzir esse problema.

Compare com o problema de gradiente de desaparecimento.

F

F₁

Uma métrica de classificação binária "resumida" que depende de precisão e recall. Esta é a fórmula:

Por exemplo, considerando o seguinte:

• precisão = 0,6
• recall = 0,4

Quando a precisão e o recall são bastante semelhantes (como no exemplo anterior), F₁ está perto da média. Quando a precisão e o recall diferem significativamente, o F₁ fica mais próximo do valor mais baixo. Exemplo:

• precisão = 0,9
• recall = 0,1

restrição de imparcialidade

• Pós-processamento da saída do modelo.
• Alterar a função de perda para incorporar uma penalidade por violar uma métrica de imparcialidade.
• Adicionar diretamente uma restrição matemática a um problema de otimização.

métrica de imparcialidade

Uma definição matemática de "imparcialidade" que seja mensurável. Confira algumas métricas de imparcialidade usadas com frequência:

• odds equalizadas
• paridade preditiva
• imparcialidade contrafactual
• paridade demográfica

Muitas métricas de imparcialidade são mutuamente exclusivas; ver incompatibilidade de métricas de imparcialidade.

falso negativo (FN)

Exemplo em que o modelo prevê por engano a classe negativa. Por exemplo, o modelo prevê que uma mensagem de e-mail específica não é spam (a classe negativa), mas a mensagem de e-mail na verdade é spam.

taxa de falsos negativos

A proporção de exemplos positivos reais para os quais o modelo errou previu a classe negativa. A fórmula a seguir calcula a taxa negativa falsa:

Consulte Limites e a matriz de confusão no Curso intensivo de machine learning para mais informações.

falso positivo (FP)

Exemplo em que o modelo prevê por engano a classe positiva. Por exemplo, o modelo prevê que uma mensagem de e-mail específica é spam (a classe positiva), mas essa mensagem de e-mail na verdade não é spam.

Consulte Limites e confusão matriz no curso intensivo de machine learning para mais informações.

taxa de falso positivo (FPR)

A proporção de exemplos negativos reais para os quais o modelo previu incorretamente a classe positiva. A fórmula a seguir calcula a taxa positiva falsa:

A taxa de falsos positivos é o eixo X em uma curva ROC.

Consulte Classificação: ROC e AUC no Curso intensivo de machine learning para mais informações.

recurso

Uma variável de entrada para um modelo de machine learning. Um exemplo consiste em um ou mais recursos. Por exemplo, suponha que você esteja treinando um modelo para determinar a influência das condições climáticas nas notas dos alunos. A tabela a seguir mostra três exemplos, cada um com três recursos e um rótulo:

Contraste com rótulo.

Consulte Aprendizado supervisionado. no curso "Introduction to Machine Learning" para mais informações.

cruzamento de atributos

Um atributo sintético formado pelo "cruzamento" de atributos categóricos ou agrupados por classes.

Por exemplo, considere um modelo de "previsão de humor" que represente a temperatura em um dos quatro buckets a seguir:

• freezing
• chilly
• temperate
• warm

E representa a velocidade do vento em um dos três buckets a seguir:

• still
• light
• windy

Sem cruzamentos de atributos, o modelo linear é treinado de forma independente em cada um dos sete diferentes buckets anteriores. Assim, o modelo é treinado em, por exemplo, freezing, independentemente do treinamento em, por exemplo, windy.

Como alternativa, é possível criar um cruzamento de atributos de temperatura e velocidade do vento. Esse atributo sintético teria os 12 possíveis valores:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Graças aos cruzamentos de atributos, o modelo pode aprender diferenças de humor entre freezing-windy e freezing-still dia.

Se você criar um atributo sintético a partir de dois atributos, cada um com muitos buckets diferentes, o cruzamento de atributos resultante terá um número enorme de combinações possíveis. Por exemplo, se um atributo tem 1.000 buckets e o outro atributo tem 2.000 buckets, o cruzamento de atributos tem 2.000.000 buckets de armazenamento.

Formalmente, uma cruz é uma Produto cartesiano.

Os cruzamentos de atributos são usados principalmente com modelos lineares e raramente são usados com redes neurais.

Consulte Dados categóricos: cruzamentos de características no Curso intensivo de machine learning para mais informações.

engenharia de atributos

Um processo que envolve as seguintes etapas:

1. Determinar quais recursos podem ser úteis no treinamento de um modelo.
2. Converter dados brutos do conjunto de dados em versões eficientes do esses recursos.

Por exemplo, você pode determinar que temperature pode ser . Em seguida, teste o agrupamento para otimizar o que o modelo pode aprender com diferentes intervalos de temperature.

Às vezes, a engenharia de atributos é chamada de extração de atributos ou featurização.

Consulte Dados numéricos: como um modelo ingere dados usando vetores de características no Curso intensivo de aprendizado de máquina para mais informações.

extração de atributos

Termo sobrecarregado com uma das seguintes definições:

• Recuperar representações de recursos intermediários calculadas por um modelo não supervisionado ou pré-treinado (por exemplo, valores de camada oculta em uma rede neural) para uso em outro modelo como entrada.
• Sinônimo de engenharia de atributos.

importâncias dos atributos

Sinônimo de importâncias de variáveis.

conjunto de recursos

O grupo de atributos que seu machine learning model é treinado. Por exemplo, o código postal, o tamanho e a condição do imóvel podem fazer parte de um conjunto de recursos simples para um modelo que prevê os preços dos imóveis.

especificação de atributos

Descreve as informações necessárias para extrair dados de features do buffer de protocolo tf.Example. Como o O buffer de protocolo tf.Example é apenas um contêiner de dados, é preciso especificar o seguinte:

• Os dados a serem extraídos (ou seja, as chaves dos atributos)
• O tipo de dados (por exemplo, float ou int)
• O tamanho (fixo ou variável)

vetor de recurso

A matriz de valores de feature que compreende um exemplo. O vetor de recursos é inserido durante o treinamento e a inferência. Por exemplo, o vetor de recursos de um modelo com dois recursos discretos pode ser:

[0.92, 0.56]

Cada exemplo fornece valores diferentes para o vetor do atributo, de modo que de atributo para o próximo exemplo pode ser algo como:

[0.73, 0.49]

A engenharia de atributos determina como representar atributos no vetor de atributos. Por exemplo, um atributo categórico binário com cinco valores possíveis pode ser representado com codificação one-hot. Nesse caso, a parte do vetor de características de um exemplo específico consistiria em quatro zeros e um único 1,0 na terceira posição, conforme mostrado abaixo:

[0.0, 0.0, 1.0, 0.0, 0.0]

Como outro exemplo, suponha que seu modelo tenha três atributos:

• um atributo categórico binário com cinco valores possíveis representados codificação one-hot; Por exemplo: [0.0, 1.0, 0.0, 0.0, 0.0]
• outro atributo categórico binário com três valores possíveis representados com codificação one-hot. Por exemplo: [0.0, 0.0, 1.0]
• um recurso de ponto flutuante; Por exemplo: 8.3.

Nesse caso, o vetor de recurso de cada exemplo seria representado por 9 valores. Considerando os valores de exemplo na lista anterior, os vetor de recurso seria:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

Consulte Dados numéricos: como um modelo ingere dados usando vetores de características no Curso intensivo de aprendizado de máquina para mais informações.

caracterização

O processo de extrair recursos de uma fonte de entrada, como um documento ou vídeo, e mapear esses recursos em um vetor de recursos.

Alguns especialistas em ML usam essa funcionalidade como sinônimo de engenharia de atributos ou extração de atributos.

federated learning

Uma abordagem de machine learning distribuído que treina modelos de machine learning usando modelos exemplos que residem em dispositivos como smartphones. No aprendizado federado, um subconjunto de dispositivos faz o download do modelo atual de um servidor central de coordenação. Os dispositivos usam os exemplos armazenados nos dispositivos para fazer melhorias no modelo. Em seguida, os dispositivos fazem upload das melhorias do modelo (mas não dos exemplos de treinamento) para o servidor de coordenação, onde elas são agregadas a outras atualizações para gerar um modelo global melhorado. Após a agregação, as atualizações do modelo computadas pelos dispositivos não são mais necessárias e podem ser descartadas.

Como os exemplos de treinamento não são enviados, o aprendizado federado segue as princípios de privacidade de coleta e minimização de dados focados.

Para mais informações sobre o aprendizado federado, consulte este tutorial.

ciclo de feedback

Em machine learning, uma situação em que as previsões de um modelo influenciam o dados de treinamento para o mesmo modelo ou outro modelo. Por exemplo, um modelo que recomenda filmes influenciará os filmes que as pessoas assistem, o que, influenciar os modelos subsequentes de recomendação de filmes.

Consulte Sistemas de ML de produção: perguntas a fazer no Curso intensivo de aprendizado de máquina para mais informações.

rede neural feedforward (FFN)

Uma rede neural sem conexões cíclicas ou recursivas. Por exemplo: redes neurais profundas tradicionais são redes neurais feedforward. Compare com as redes neurais recorrentes, que são cíclicas.

aprendizado de poucas imagens

Uma abordagem de machine learning, muitas vezes usada para classificação de objetos, projetada para treinar classificadores eficazes de apenas um pequeno número exemplos de treinamento.

Consulte também aprendizado one-shot e aprendizado zero-shot.

comandos few-shot

Um comando que contém mais de um (um "pouco") exemplo demonstrando como o modelo de linguagem grande precisa responder. Por exemplo, o comando longo a seguir contém dois exemplos que mostram a um modelo de linguagem grande como responder a uma consulta.

A ativação de poucos disparos geralmente produz resultados mais desejáveis do que sem ativação e de um disparo. No entanto, os comandos few-shot exige um comando mais longo.

Comandos de poucos disparos (few-shot) são uma forma de aprendizado de poucos disparos aplicada à aprendizagem baseada em comandos.

Consulte Engenharia de comandos no Curso intensivo de machine learning para mais informações.

Violino

Uma biblioteca de configuração que prioriza o Python e define valores de funções e classes sem código ou infraestrutura invasivos. No caso de Pax (e outras bases de código de ML), essas funções e As classes representam modelos e treinamento hiperparâmetros.

Violão presume que as bases de código de machine learning são normalmente divididas em:

• Código da biblioteca, que define as camadas e os otimizadores.
• Código de "cola" do conjunto de dados, que chama as bibliotecas e conecta tudo.

O Fiddle captura a estrutura de chamada do código de união em uma forma não avaliada e mutável.

ajuste

Um segundo passe de treinamento específico para uma tarefa modelo pré-treinado para refinar seus parâmetros para uma para um caso de uso específico. Por exemplo, a sequência de treinamento completa de alguns modelos de linguagem grandes são os seguintes:

1. Pré-treinamento:treine um modelo de linguagem grande em um conjunto de dados geral amplo. como todas as páginas da Wikipédia em inglês.
2. Ajuste:treine o modelo pré-treinado para executar uma tarefa específica. como ao responder consultas médicas. O ajuste fino normalmente envolve centenas ou milhares de exemplos focados na tarefa específica.

Como outro exemplo, a sequência de treinamento completa para um modelo de imagem grande é esta:

1. Pré-treinamento:treine um modelo de imagem grande em uma imagem geral ampla conjunto de dados, como todas as imagens na Wikimedia commons.
2. Ajuste:treine o modelo pré-treinado para executar uma tarefa específica. como a geração de imagens de orcas.

O ajuste fino pode envolver qualquer combinação das seguintes estratégias:

• Modificar todas as configurações atuais do modelo pré-treinado parameters. Às vezes, isso é chamado de ajuste total.
• Modificar apenas alguns dos parâmetros do modelo pré-treinado (normalmente, as camadas mais próximas da camada de saída), mantendo os outros parâmetros inalterados (normalmente, as camadas mais perto da camada de entrada). Consulte ajuste com eficiência de parâmetros.
• Adicionar mais camadas, normalmente sobre as camadas existentes mais próximas ao camada final.

O ajuste fino é uma forma de aprendizado por transferência. Assim, o ajuste fino pode usar uma função de perda ou um tipo de modelo diferente dos usados para treinar o modelo pré-treinado. Por exemplo, é possível ajustar um modelo de imagem grande pré-treinado para produzir um modelo de regressão que retorna o número de pássaros em uma imagem de entrada.

Compare e contraste o ajuste fino com os seguintes termos:

• destilação
• aprendizagem baseada em comandos

Consulte Ajuste no curso intensivo de machine learning para mais informações.

Linho

Uma biblioteca de código aberto de alto desempenho para aprendizado profundo criada com base no JAX. O Flax fornece funções para treinar redes neurais, além de métodos para avaliar a performance delas.

Formador de linho

Um Transformer de código aberto biblioteca, criado com base no Flax e desenvolvido principalmente para processamento de linguagem natural multimodal.

limitação de esquecimento

A parte de uma memória de curto prazo longa célula que regula o fluxo de informações através da célula. As portas de esquecimento mantêm o contexto decidindo quais informações descartar do estado da célula.

softmax completa

Sinônimo de softmax.

Compare com a amostragem de candidatos.

Consulte Redes neurais: classificação multiclasse no Curso intensivo de machine learning para mais informações.

camada totalmente conectada

Uma camada oculta em que cada nó é conectado a todos os nós na camada oculta subsequente.

Uma camada totalmente conectada também é conhecida como camada densa.

transformação de função

Uma função que recebe uma função como entrada e retorna uma função transformada como saída. O JAX usa transformações de função.

G

GAN

Abreviação de negativo generativo rede.

generalização

A capacidade de um modelo de fazer previsões corretas com dados novos e que não foram vistos anteriormente. Um modelo que pode generalizar é o oposto de um modelo com overfitting.

Consulte Generalização no Curso intensivo de machine learning para mais informações.

Gemini

O ecossistema que inclui a IA mais avançada do Google. Os elementos desse ecossistema incluem:

• Vários modelos Gemini.
• A interface de conversação interativa de um modelo Gemini. Os usuários digitam comandos, e o Gemini responde a eles.
• Várias APIs Gemini.
• Vários produtos empresariais com base nos modelos Gemini, por exemplo, Gemini para Google Cloud.

Modelos do Gemini

A tecnologia moderna do Google baseada em Transformer modelos multimodais. Os modelos do Gemini são especificamente projetada para se integrar aos agentes.

Os usuários podem interagir com os modelos do Gemini de várias maneiras, inclusive por meio de uma interface de caixa de diálogo interativa e SDKs.

curva de generalização

Um gráfico de perda do treinamento e perda de validação como uma função do número de iterations.

Uma curva de generalização pode ajudar a detectar possíveis overfitting: Por exemplo, o seguinte curva de generalização sugere overfitting porque a perda de validação em última instância, é muito maior do que a perda do treinamento.

Consulte Generalização no curso intensivo de machine learning para mais informações.

modelo linear generalizado

Uma generalização da regressão dos mínimos quadrados modelos, que são baseados em Gaussiano ruído, para outros de modelos com base em outros tipos de ruído, como Ruído de Poisson ou ruído categórico. Exemplos de modelos lineares generalizados incluem:

• Regressão logística
• regressão multiclasse
• Regressão de mínimos quadrados

Os parâmetros de um modelo linear generalizado podem ser encontrados por meio de otimização convexa.

Os modelos lineares generalizados apresentam as seguintes propriedades:

• A previsão média do modelo de regressão dos mínimos quadrados ideal é igual ao rótulo médio nos dados de treinamento.
• A probabilidade média prevista pelo modelo de regressão logística ideal é igual ao rótulo médio nos dados de treinamento.

A potência de um modelo linear generalizado é limitada pelos recursos dele. Ao contrário de um modelo profundo, um modelo linear generalizado não pode "aprender novos recursos".

rede adversária generativa (GAN, na sigla em inglês)

Um sistema para criar novos dados em que um gerador cria dados e um discriminador determina se esses dados criados são válidos ou inválidos.

Confira o curso "Generative Adversarial Networks". para mais informações.

IA generativa

Um campo transformador emergente sem definição formal. A maioria dos especialistas concorda que os modelos de IA generativa podem criar ("gerar") conteúdo que seja:

• complexo
• coerente
• original

Por exemplo, um modelo de IA generativa pode criar textos ou imagens sofisticados.

Algumas tecnologias anteriores, incluindo LSTMs e RNNs, também podem gerar conteúdo original e coerente. Alguns especialistas consideram essas tecnologias anteriores como IA generativa, enquanto outros acreditam que a verdadeira IA generativa exige uma saída mais complexa do que essas tecnologias anteriores podem produzir.

Compare com o ML preditivo.

modelo generativo

Na prática, um modelo que faz uma destas ações:

• Cria (gera) novos exemplos com base no conjunto de dados de treinamento. Por exemplo, um modelo generativo pode criar poesias após o treinamento em um conjunto de dados de poemas. A parte do gerador de uma rede adversária generativa se enquadram nessa categoria.
• Determina a probabilidade de um novo exemplo vir do conjunto de treinamento ou ter sido criado com o mesmo mecanismo que criou o conjunto de treinamento. Por exemplo, depois de treinar um conjunto de dados consistindo em frases em inglês, um modelo generativo poderia determinar a probabilidade de que a nova entrada seja uma frase válida em inglês.

Um modelo generativo pode, teoricamente, discernir a distribuição de exemplos ou recursos específicos em um conjunto de dados. Ou seja:

p(examples)

Os modelos de aprendizado não supervisionado são generativos.

Compare com os modelos discriminativos.

gerador

O subsistema em uma rede generativa adversária que cria novos exemplos.

Compare com o modelo discriminativo.

impureza de gini

Uma métrica semelhante à entropia. Os divisores usam valores derivados da impureza de Gini ou da entropia para compor condições para a classificação árvores de decisão. O ganho de informação é derivado da entropia. Não há um termo equivalente universalmente aceito para a métrica derivada da impureza de Gini. No entanto, essa métrica sem nome é tão importante quanto o ganho de informação.

A impureza de Gini também é chamada de índice de Gini ou simplesmente Gini.

conjunto de dados de ouro

Um conjunto de dados selecionados manualmente que captura informações empíricas. As equipes podem usar um ou mais conjuntos de dados de ouro para avaliar a qualidade de um modelo.

Alguns conjuntos de dados dourados capturam subdomínios diferentes de informações empíricas. Por exemplo: um conjunto de dados de ouro para classificação de imagens pode capturar as condições de iluminação e a resolução da imagem.

GPT (transformador generativo pré-treinado)

Uma família de modelos de linguagem grandes baseados em Transformer desenvolvidos pela OpenAI.

As variantes da GPT podem ser aplicadas a várias modalidades, incluindo:

• geração de imagens (por exemplo, ImageGPT)
• Geração de texto para imagem (por exemplo, DALL-E).

gradiente

O vetor de derivadas parciais em relação todas as variáveis independentes. No aprendizado de máquina, o gradiente é o vetor de derivadas parciais da função do modelo. O gradiente aponta na direção da subida mais íngreme.

acúmulo de gradiente

Uma técnica de retropropagação que atualiza os parâmetros apenas uma vez por época, em vez de uma vez por iteração. Após o processamento de cada minilote, o gradiente o acúmulo simplesmente atualiza um total contínuo de gradientes. Depois, processando o último minilote da época, o sistema finalmente atualiza os parâmetros com base no total de todas as mudanças do gradiente.

A acumulação de gradiente é útil quando o tamanho do lote é muito grande em comparação com a quantidade de memória disponível para treinamento. Quando a memória é um problema, a tendência natural é reduzir o tamanho do lote. No entanto, reduzir o tamanho do lote na retropropagação normal aumenta o número de atualizações de parâmetros. O acúmulo de gradiente permite que o modelo para evitar problemas de memória, mas treinar com eficiência.

árvores de decisão aprimoradas por gradiente (GBTs)

Um tipo de floresta de decisão em que:

• O treinamento depende do intensificação de gradiente.
• O modelo fraco é uma árvore de decisão.

Consulte Decisão otimizada com gradiente As árvores de Decision Forests para mais informações.

aumento do gradiente

Um algoritmo de treinamento em que modelos fracos são treinados para melhorar de forma iterativa a qualidade (reduzir a perda) de um modelo forte. Por exemplo: um modelo fraco pode ser linear ou de árvore de decisão pequena. O modelo forte se torna a soma de todos os modelos fracos treinados anteriormente.

Na forma mais simples de otimização por gradiente, em cada iteração, um modelo fraco é treinado para prever o gradiente de perda do modelo forte. Depois, a saída de um modelo forte é atualizada subtraindo o gradiente previsto, semelhante ao gradiente descendente.

em que:

• $F_{0}$ é o modelo forte inicial.
• $F_{i+1}$ é o próximo modelo forte.
• $F_{i}$ é o modelo forte atual.
• $\xi$ é um valor entre 0,0 e 1,0 chamado redução, que é análoga à taxa de aprendizado em gradiente descendente.
• $f_{i}$ é o modelo fraco treinado para prever o gradiente de perda de $F_{i}$.

Variações modernas de aprimoramento de gradiente também incluem a segunda derivada (hessiano) da perda do cálculo.

As árvores de decisão são usadas com frequência como modelos fracos no otimização por gradiente. Consulte árvores de decisão aprimoradas por gradiente.

truncamento de gradiente

Um mecanismo usado com frequência para atenuar o problema de gradiente explosivo limitando artificialmente o valor máximo de gradientes ao usar o gradiente descendente para treinar um modelo.

gradiente descendente

É uma técnica matemática para minimizar a perda. O gradiente descendente ajusta iterativamente pesos e viés, encontrando gradualmente a melhor combinação para minimizar a perda.

A regressão linear é mais antiga do que o machine learning.

Consulte Regressão linear: gradiente de descida no Curso intensivo de machine learning para mais informações.

gráfico

No TensorFlow, uma especificação de computação. Nós no gráfico representam operações. As bordas são direcionadas e representam a passagem do resultado de uma operação (um Tensor) como uma operando para outra operação. Use o TensorBoard para visualizar um gráfico.

execução de gráfico

um ambiente de programação do TensorFlow em que o programa constrói primeiro um graph e, em seguida, executa todo esse gráfico ou parte dele. A execução de gráficos é o modo de execução padrão no TensorFlow 1.x.

Já a execução antecipada é diferente.

política gananciosa

No aprendizado por reforço, uma política que sempre escolhe a ação com a maior retorno esperado.

informações empíricas

Realidade.

O que realmente aconteceu.

Por exemplo, considere uma classificação binária que prevê se um estudante está no primeiro ano de universidade se formará em seis anos. A verdade fundamental para esse modelo é se o estudante se formou ou não em seis anos.

viés de atribuição a grupos

Supõe que o que é verdadeiro para um indivíduo também é verdadeiro para todos no grupo. Os efeitos do viés de atribuição de grupo podem ser exacerbados se uma amostragem por conveniência for usada para coleta de dados. Em uma amostra não representativa, as atribuições podem ser feitas que não refletem a realidade.

Consulte também viés de homogeneidade externa ao grupo e viés de grupo. Além disso, consulte Imparcialidade: tipos de vieses no curso intensivo de machine learning para mais informações.

H

alucinação

A produção de uma saída aparentemente plausível, mas factualmente incorreta, por um modelo de IA generativa que pretende fazer uma declaração sobre o mundo real. Por exemplo, um modelo de IA generativa que afirma que Barack Obama morreu em 1865 é alucinante.

hash

Em machine learning, um mecanismo de agrupamento por classes dados categóricos, especialmente quando o número de categorias é grande, mas o número de categorias que realmente aparecem no conjunto de dados é comparativamente pequeno.

Por exemplo, a Terra é o lar de cerca de 73.000 espécies de árvores. Você pode representar cada uma das 73.000 espécies de árvores em 73.000 buckets de armazenamento. Como alternativa, se apenas 200 dessas espécies de árvores aparecerem em um conjunto de dados, use o hash para dividir as espécies em talvez 500 buckets.

Um único bucket pode conter várias espécies de árvores. Por exemplo, gerar hash colocar baobab e bordo vermelho, dois geneticamente diferentes espécie, para o mesmo bucket. Independentemente disso, o hash ainda é uma boa maneira de mapear grandes conjuntos categóricos para o número de buckets selecionado. A hash transforma um recurso categórico com um grande número de valores possíveis em um número muito menor de valores agrupando-os de maneira determinística.

Consulte Dados categóricos: vocabulário e codificação one-hot no Curso intensivo de machine learning para mais informações.

heurística

Uma solução simples e rápida para um problema. Por exemplo: "Com uma heurística, atingimos 86% de precisão. Quando mudamos para rede neural profunda, a acurácia foi de até 98%."

camada escondida

Uma camada em uma rede neural entre as camada de entrada (os atributos) e a camada de saída (a previsão). Cada camada oculta consiste em um ou mais neurônios. Por exemplo, a rede neural a seguir contém duas camadas ocultas, a primeira com três neurônios e a segunda com dois neurônios:

Uma rede neural profunda contém mais de uma camada escondida. Por exemplo, a ilustração anterior é uma rede neural profunda porque o modelo contém duas camadas ocultas.

Consulte Redes neurais: nós e ocultas camadas no curso intensivo de machine learning para mais informações.

clustering hierárquico

Uma categoria de algoritmos de clustering que cria uma árvore de clusters. O agrupamento hierárquico é adequado para dados hierárquicos, como as taxonomias botânicas. Há dois tipos de algoritmos de agrupamento hierárquico:

• O clustering aglomerativo primeiro atribui cada exemplo ao próprio cluster e mescla de forma iterativa os clusters mais próximos para criar uma árvore hierárquica.
• O clustering divisivo agrupa primeiro todos os exemplos em um cluster e, em seguida, divide o cluster de forma iterativa em uma árvore hierárquica.

Compare com o clustering com base em centróides.

Consulte Algoritmos de clustering no curso de clustering para mais informações.

perda de articulação

Uma família de funções de perda para classificação projetada para encontrar o limite de decisão o mais distante possível de cada exemplo de treinamento, maximizando a margem entre os exemplos e o limite. KSVMs usam a perda de articulação (ou uma função relacionada, como a perda de articulação ao quadrado). Na classificação binária, a função de perda da articulação é definido da seguinte maneira:

em que y é o rótulo verdadeiro, -1 ou +1, e y' é a saída bruta do modelo do classificador:

Consequentemente, um gráfico de perda da articulação versus (y * y') é semelhante ao seguinte:

viés histórico

Um tipo de viés que já existe no mundo e tem conseguiu entrar em um conjunto de dados. Esses vieses têm a tendência de refletir estereótipos culturais, desigualdades demográficas e preconceitos contra certos e grupos sociais.

Por exemplo, considere um modelo de classificação que prevê se uma pessoa vai pagar um empréstimo, que foi com base em dados históricos de inadimplência dos anos 1980 de bancos locais em duas diferentes comunidades. Se os candidatos anteriores da Comunidade A fossem seis vezes mais propensos a não pagar os empréstimos do que os candidatos da Comunidade B, o modelo pode aprender um viés histórico, fazendo com que o modelo tenha menos probabilidade de aprovar empréstimos na Comunidade A, mesmo se as condições históricas que resultaram porque as taxas de inadimplência mais altas dessa comunidade não eram mais relevantes.

Consulte Imparcialidade: tipos de viés no curso intensivo de machine learning para mais informações.

dados de validação

Exemplos não usados intencionalmente ("afastados") durante o treinamento. O conjunto de dados de validação e o conjunto de dados de teste são exemplos de dados de reserva. Dados de validação ajuda a avaliar a capacidade do seu modelo de generalizar para outros dados além dos os dados com os quais foi treinado. A perda no conjunto de validação fornece um estimativa da perda em um conjunto de dados não visto do que a perda no conjunto de treinamento.

host

Ao treinar um modelo de ML em chips de aceleração (GPUs ou TPUs), a parte do sistema que controla o seguinte:

• O fluxo geral do código.
• Extração e transformação do pipeline de entrada.

O host normalmente é executado em uma CPU, não em um chip de aceleração. O dispositivo manipula tensores nos chips de aceleração.

hiperparâmetro

As variáveis que você ou um serviço de ajuste de hiperparâmetro ajusta durante execuções sucessivas de treinamento de um modelo. Por exemplo: A taxa de aprendizado é um hiperparâmetro. Você pode definir a taxa de aprendizado como 0,01 antes de uma sessão de treinamento. Se você determinar que 0,01 é muito alto, talvez seja possível definir a taxa de aprendizado como 0,003 para a próxima sessão de treinamento.

Por outro lado, parâmetros são os vários pesos e viés que o modelo aprende durante o treinamento.

Consulte Regressão linear: hiperparâmetros no Curso intensivo de machine learning para mais informações.

hiperplano

Um limite que separa um espaço em dois subespaços. Por exemplo, uma linha é uma hiperplano em duas dimensões e um plano é um hiperplano em três dimensões. Mais tipicamente no machine learning, um hiperplano é o limite que separa uma espaço altamente dimensional. Uso de máquinas de vetor de suporte de kernel hiperplanos para separar classes positivas de classes negativas, muitas vezes em uma espaço altamente dimensional.

I

i.i.d.

Abreviação de distribuído de forma independente e idêntica.

Reconhecimento de imagem

Processo que classifica objetos, padrões ou conceitos em uma imagem. O reconhecimento de imagem também é conhecido como classificação de imagem.

Para mais informações, consulte Prática de ML: classificação de imagens.

Consulte o curso ML Practicum: classificação de imagens para mais informações.

conjunto de dados desequilibrado

Sinônimo de conjunto de dados não balanceado.

viés implícito

Fazer automaticamente uma associação ou suposição com base na mente da pessoa modelos e memórias. O viés implícito pode afetar o seguinte:

• Como os dados são coletados e classificados.
• Como os sistemas de aprendizado de máquina são projetados e desenvolvidos.

Por exemplo, ao criar um classificador para identificar fotos de casamento, um engenheiro pode usar a presença de um vestido branco em uma foto como um atributo. No entanto, os vestidos brancos são costume apenas em certas épocas e em certas culturas.

Consulte também viés de confirmação.

imputation

Forma abreviada de imputação de valor.

incompatibilidade das métricas de imparcialidade

A ideia de que algumas noções de justiça são mutuamente incompatíveis e não podem ser atendidas simultaneamente. Como resultado, não existe métrica universal para quantificar a imparcialidade que podem ser aplicadas a todos os problemas de ML.

Embora isso possa parecer desanimador, a incompatibilidade das métricas de imparcialidade não implica que os esforços de imparcialidade são infrutíferos. Em vez disso, ele sugere que a imparcialidade precisa ser definida contextualmente para um determinado problema de ML, com o objetivo de evitar danos específicos aos casos de uso.

Consulte "No (im)possibilidade de imparcialidade" para uma discussão mais detalhada sobre esse tópico.

aprendizagem contextual

Sinônimo de comandosfew-shot.

independente e distribuído de maneira idêntica (IID)

Dados extraídos de uma distribuição que não muda e em que cada valor desenhada não depende de valores que foram desenhados anteriormente. Uma i.i.d. é o gás ideal do aprendizado de máquina, uma construção matemática útil, mas que quase nunca é encontrada no mundo real. Por exemplo, a distribuição de visitantes de uma página da Web pode ser i.i.d. em um curto período de tempo, ou seja, a distribuição mudar durante esse breve período e a visita de uma pessoa geralmente independentemente da visita de outra pessoa. No entanto, se você expandir essa janela de tempo, diferenças sazonais nos visitantes da página da Web podem aparecer.

Consulte também não estacionária.

imparcialidade individual

Métrica de imparcialidade que verifica se indivíduos semelhantes são classificados de forma semelhante. Por exemplo, a Brobdingnagian Academy pode querer satisfazer imparcialidade individual, garantindo que dois estudantes com notas idênticas e resultados de testes padronizados têm a mesma probabilidade de obter admissão.

A imparcialidade individual depende totalmente de como você define "similaridade" (neste caso, notas e pontuações de testes), e você pode correr o risco de introduzir novos problemas de imparcialidade se a métrica de similaridade não atender a informações (como o rigor do currículo de um estudante).

Consulte "Justiça por consciência" para uma discussão mais detalhada sobre a justiça individual.

inferência

Em machine learning, o processo de fazer previsões aplicação de um modelo treinado a exemplos não rotulados.

A inferência tem um significado um pouco diferente nas estatísticas. Consulte a Artigo da Wikipédia sobre inferência estatística para mais detalhes.

Consulte Aprendizado supervisionado. no curso Introdução ao ML para conferir o papel da inferência em um em um sistema de machine learning.

caminho de inferência

Em uma árvore de decisão, durante a inferência, o caminho que um exemplo específico toma da raiz para outras condições, terminando com uma folha. Por exemplo, na árvore de decisão a seguir, setas mais grossas mostram o caminho de inferência para um exemplo com o seguinte valores de atributos:

• x = 7
• y = 12
• z = -3

O caminho de inferência na ilustração a seguir passa por três condições antes de chegar à folha (Zeta).

As três setas grossas mostram o caminho de inferência.

Consulte Árvores de decisão no curso de florestas de decisão para mais informações.

ganho de informações

Nas florestas de decisão, a diferença entre a entropia de um nó e a soma ponderada (pelo número de exemplos) da entropia dos nós filhos. A entropia de um nó é a entropia dos exemplos nesse nó.

Por exemplo, considere os seguintes valores de entropia:

• entropia do nó pai = 0,6
• entropia de um nó filho com 16 exemplos relevantes = 0,2
• entropia de outro nó filho com 24 exemplos relevantes = 0,1

Portanto, 40% dos exemplos estão em um nó filho e 60% no e o outro nó filho. Assim:

• Soma da entropia ponderada dos nós filhos = (0,4 * 0,2) + (0,6 * 0,1) = 0,14

Assim, o ganho de informação é:

• ganho de informação = entropia do nó pai - soma de entropia ponderada dos nós filhos
• ganho de informação = 0,6 - 0,14 = 0,46

A maioria dos divisores procura criar condições que maximizem o ganho de informações.

viés de grupo

Mostrar parcialidade em relação ao próprio grupo ou às próprias características. Se os testadores ou avaliadores forem amigos, familiares ou colegas do desenvolvedor de machine learning, o viés de grupo poderá invalidar o teste do produto ou o conjunto de dados.

O viés de grupo é uma forma de viés de atribuição a grupos. Confira também viés de homogeneidade externa ao grupo.

Consulte Imparcialidade: tipos de viés no Curso intensivo de machine learning para mais informações.

gerador de entrada

um mecanismo pelo qual os dados são carregados uma rede neural.

Um gerador de entrada pode ser considerado um componente responsável pelo processamento de dados brutos em tensores que são iterados para gerar lotes para treinamento, avaliação e inferência.

camada de entrada

A camada de uma rede neural que armazena o vetor de atributos. Ou seja, a camada de entrada fornece exemplos para treinamento ou inferência. Por exemplo, a camada de entrada na seguinte rede neural consiste em dois recursos:

condição no conjunto

Em uma árvore de decisão, uma condição que testa a presença de um item em um conjunto de itens. Por exemplo, a condição a seguir é uma condição no conjunto:

  house-style in [tudor, colonial, cape]

Durante a inferência, se o valor do feature do estilo da casa for tudor ou colonial ou cape, essa condição será avaliada como "Sim". Se o valor do elemento de estilo de casa for outro (por exemplo, ranch), essa condição será avaliada como "Não".

As condições do conjunto geralmente levam a árvores de decisão mais eficientes do que condições que testam atributos codificados one-hot.

instância

Sinônimo de example.

ajuste de instruções

Uma forma de ajuste que melhora uma Capacidade de um modelo de IA generativa acompanhar instruções. O ajuste de instruções envolve treinar um modelo em uma série de instruções de instruções, geralmente abordando uma variedade de tarefas. O modelo ajustado por instruções resultante tende a geram respostas úteis para comandos zero-shot em diversas tarefas.

Compare e contraste com:

• ajuste de eficiência de parâmetros
• ajuste de comando

interpretabilidade

A capacidade de explicar ou apresentar o raciocínio de um modelo de ML em termos compreensíveis para as pessoas.

A maioria dos modelos de regressão linear, por exemplo, é altamente interpretável. (basta observar os pesos treinados para cada feature.) Florestas de decisão também são altamente interpretáveis. No entanto, alguns modelos exigem uma visualização sofisticada para serem interpretados.

Você pode usar o Ferramenta de aprendizado de interpretabilidade (LIT) para interpretar modelos de ML.

concordância entre avaliadores

Uma medida da frequência com que os avaliadores humanos concordam ao realizar uma tarefa. Se os avaliadores discordarem, talvez seja necessário melhorar as instruções da tarefa. Às vezes, também é chamada de acordo entre anotadores ou confiabilidade entre avaliadores. Consulte também Cohen's kappa, que é uma das medidas de concordância entre avaliadores mais populares.

Consulte Dados categóricos: comuns problemas no curso intensivo de machine learning para mais informações.

intersecção sobre união (IoU)

A interseção de dois conjuntos dividida pela união. Em machine learning de detecção de imagem, a IoU é usada para medir a acurácia caixa delimitadora prevista em relação à Caixa delimitadora de informações empíricas. Nesse caso, a IoU do duas caixas é a proporção entre a área sobreposta e a área total, e seus valores variam de 0 (sem sobreposição da caixa delimitadora prevista e das informações empíricas caixa delimitadora) para 1 (a caixa delimitadora prevista e a caixa delimitadora de informações empíricas têm exatamente as mesmas coordenadas).

Por exemplo, na imagem abaixo:

• A caixa delimitadora prevista (as coordenadas que delimitam onde o modelo prevê que a mesa de cabeceira está localizada na pintura) é destacada em roxo.
• A caixa delimitadora de informações empíricas (as coordenadas que delimitam o local da noite) na pintura está realmente localizada) é destacada em verde.

Aqui, a interseção das caixas delimitadoras para previsão e informações empíricas (abaixo à esquerda) é 1, e a união das caixas delimitadoras para previsão e informações empíricas (abaixo à direita) é 7. Portanto, a IoU é \(\frac{1}{7}\).

IoU

Abreviação de interseção sobre união.

matriz de itens

Em sistemas de recomendação, uma matriz de vetores de inserção gerada por fatoração de matriz que contém sinais latentes sobre cada item. Cada linha da matriz de itens contém o valor de uma única coluna para todos os itens. Por exemplo, considere um sistema de recomendação de filmes. Cada coluna na matriz de itens representa um único filme. Os sinais latentes podem representar gêneros ou podem ser sinais mais difíceis de interpretar que envolvem interações complexas entre gênero, estrelas, idade do filme ou outros fatores.

A matriz de itens tem o mesmo número de colunas que a meta. que está sendo fatorado. Por exemplo, considerando um sistema de recomendação de filmes que avalia 10.000 títulos, a matriz de itens terá 10.000 colunas.

itens

Em um sistema de recomendação, as entidades que que um sistema recomenda. Por exemplo, os vídeos são os itens que uma locadora recomenda, enquanto os livros são os itens que uma livraria recomenda.

iteração

Uma única atualização dos parâmetros de um modelo, ou seja, os pesos e vieses do modelo durante o treinamento. O tamanho do lote determina quantos exemplos o modelo processa em uma única iteração. Por exemplo: Se o tamanho do lote for 20, o modelo processará 20 exemplos antes ajustando os parâmetros.

Ao treinar uma rede neural, uma única iteração envolve as duas passagens a seguir:

1. Uma passagem direta para avaliar a perda em um único lote.
2. Uma passagem reversa (backpropagation) para ajustar os parâmetros do modelo com base na perda e na taxa de aprendizado.

J

JAX

Uma biblioteca de computação de matriz, reunindo álgebra linear acelerada (XLA, na sigla em inglês) e diferenciação automática para computação numérica de alto desempenho. O JAX oferece uma interface simples e poderosa API para escrever código numérico acelerado com transformações combináveis. O JAX oferece recursos como:

• grad (diferenciação automática)
• jit (compilação just-in-time)
• vmap (vetorização ou agrupamento automático)
• pmap (carregamento em paralelo)

JAX é uma linguagem para expressar e compor transformações de valores numéricos análogo, mas muito maior em escopo, ao NumPy (em inglês) do Python biblioteca. Na verdade, a biblioteca .numpy no JAX é uma biblioteca funcionalmente equivalente, mas totalmente reescrita da biblioteca NumPy do Python.

O JAX é particularmente adequado para acelerar muitas tarefas de aprendizado de máquina, transformando os modelos e dados em uma forma adequada para paralelismo em GPUs e TPUs (chips de aceleração).

Flax, Optax, Pax e muitos outros são criadas na infraestrutura JAX.

K

Keras

Uma API de aprendizado de máquina Python conhecida. O Keras é executado em vários frameworks de aprendizado profundo, incluindo o TensorFlow, onde é disponibilizado como tf.keras.

Máquinas de vetor de suporte baseadas em kernels (KSVMs)

Algoritmo de classificação que busca maximizar a margem entre positivo e classes negativas mapeando vetores de dados de entrada para um espaço dimensional maior. Por exemplo, considere um modelo problema em que o conjunto de dados de entrada tem cem atributos. Para maximizar a margem entre classes positivas e negativas, uma KSVM poderia mapear internamente esses atributos para um espaço de um milhão de dimensões. As KSVMs usam uma função de perda chamada perda de articulação.

pontos principais

As coordenadas de elementos específicos em uma imagem. Por exemplo, para um modelo de reconhecimento de imagem que distingue espécies de flores, os pontos-chave podem ser o centro de cada pétala, o caule, o estame e assim por diante.

Validação cruzada de k-dobras

Um algoritmo para prever a capacidade de um modelo de generalizar para novos dados. O k em k-folds se refere ao número de grupos iguais em que você divide os exemplos de um conjunto de dados. Ou seja, você treina e testa seu modelo k vezes. Em cada rodada de treinamento e teste, um grupo diferente é o conjunto de teste, e todos os grupos restantes se tornam o conjunto de treinamento. Após k rodadas de treinamento e teste, calcule a média e a variação padrão das métricas de teste escolhidas.

Por exemplo, suponha que seu conjunto de dados seja composto por 120 exemplos. Suponha ainda que você decide definir k como 4. Portanto, depois de embaralhar os exemplos, divida o conjunto de dados em quatro grupos iguais de 30 exemplos e realize quatro rodadas de treinamento e teste:

Por exemplo, o erro quadrático médio (EQM) pode ser a métrica mais significativa para um modelo de regressão linear. Portanto, você encontraria a média e o desvio padrão do MSE em todas as quatro rodadas.

k-means

Um algoritmo de clustering conhecido que agrupa exemplos no aprendizado não supervisionado. O algoritmo k-means faz o seguinte:

• Determina iterativamente os melhores pontos centrais k (conhecidos como centroides).
• Atribui cada exemplo ao centroide mais próximo. Os exemplos mais próximos do mesmo centroide pertencem ao mesmo grupo.

O algoritmo k-means escolhe locais centroides para minimizar o valor cumulativo quadrado das distâncias de cada exemplo até o centroide mais próximo.

Por exemplo, considere o seguinte gráfico de altura do cão em relação à largura:

Se k=3, o algoritmo k-means determinará três centroides. Cada exemplo é atribuído ao seu centroide mais próximo, produzindo três grupos:

Imagine que um fabricante queira determinar os tamanhos ideais blusas médias e grandes para cães. Os três centroides identificam a média altura e largura média de cada cachorro nesse aglomerado. Então, o fabricante provavelmente deve basear os tamanhos de suéteres nesses três centroides. O centroide de um cluster normalmente não é um exemplo no cluster.

As ilustrações anteriores mostram o k-means para exemplos com apenas dois recursos (altura e largura). O k-means pode agrupar exemplos em vários recursos.

k-mediana

Um algoritmo de clustering intimamente relacionado a k-means. O a diferença prática entre os dois é a seguinte:

• Em k-means, os centroides são determinados minimizando a soma dos quadrados da distância entre um centroide candidato e cada um dos exemplos.
• Na k-mediana, os centroides são determinados minimizando a soma da distância entre um centroide candidato e cada um dos exemplos.

As definições de distância também são diferentes:

• O k-means depende da Distância euclidiana de o centroide a um exemplo. Em duas dimensões, o euclidiano distância significa usar o teorema de Pitágoras para calcular a hipotenusa.) Por exemplo, a distância k-means entre (2,2) e (5,-2) seria:

• A k-median depende da distância de Manhattan do centroide para um exemplo. Essa distância é a soma das deltas absolutas em cada dimensão. Por exemplo, a distância da mediana k entre (2,2) e (5,-2) seria:

L

Regularização L₀

Um tipo de regularização que penaliza o número total de ponderações diferentes de zero em um modelo. Por exemplo, um modelo com 11 pesos diferentes de zero seria penalizado mais do que um modelo semelhante com 10 pesos diferentes de zero.

A regularização L₀ às vezes é chamada de regularização de norma L0.

Perda L₁

Uma função de perda que calcula o valor absoluto da diferença entre os valores reais de label e os valores que um modelo prevê. Por exemplo, confira o cálculo da perda de L₁ para um lote de cinco exemplos:

A perda de L₁ é menos sensível a outliers do que a perda de L₂.

O erro médio absoluto é a perda média de L₁ por exemplo.

Regularização L₁

Um tipo de regularização que penaliza pesos em proporção à soma do valor absoluto de dos pesos. A regularização L₁ ajuda a direcionar os pesos de atributos irrelevantes ou pouco relevantes para exatamente 0. Um recurso com um peso 0 é efetivamente removido do modelo.

Contraste com a regularização L₂.

Perda L₂

Uma função de perda que calcula o quadrado da diferença entre os valores reais de label e os valores que um modelo prevê. Por exemplo, este é o cálculo da perda de L₂ para um lote de cinco exemplos:

Devido ao quadrado, a perda de L₂ amplifica a influência outliers. Ou seja, a perda L₂ reage com mais força a previsões ruins do que a perda L₁. Por exemplo, a perda L₁ para o lote anterior seria 8 em vez de 16. Observe que um único o outlier representa 9 dos 16.

Os modelos de regressão geralmente usam a perda L₂ como a função de perda.

O erro quadrático médio é a perda L₂ média por exemplo. Perda ao quadrado é outro nome para a perda L₂.

Regularização L₂

Um tipo de regularização que penaliza pesos em proporção à soma dos quadrados dos pesos. A regularização L₂ ajuda a gerar pesos outlier (aqueles com valores altos positivos ou negativos baixos) mais próximos de 0, mas não exatamente de 0. Os atributos com valores muito próximos de 0 permanecem no modelo, mas não influenciam muito a previsão do modelo.

A regularização de L₂ sempre melhora a generalização modelos lineares.

Contraste com a regularização L₁.

o rótulo.

No machine learning supervisionado, a "atender" ou "resultado" de um exemplo.

Cada exemplo rotulado consiste em um ou mais recursos e um rótulo. Por exemplo, em um conjunto de dados de detecção de spam, o rótulo provavelmente será "spam" ou "não spam". Em um conjunto de dados de chuva, o rótulo pode ser a quantidade de chuva que caiu durante um determinado período.

exemplo rotulado

Um exemplo que contém um ou mais recursos e um rótulo. Por exemplo, a tabela a seguir mostra três exemplos rotulados de um modelo de avaliação de casas, cada um com três atributos e um rótulo:

No aprendizado de máquina supervisionado, os modelos são treinados em exemplos rotulados e fazem previsões em exemplos não rotulados.

Comparar exemplos rotulados com exemplos sem rótulos.

vazamento de rótulo

Uma falha de design de modelo em que um recurso é um proxy para o rótulo. Por exemplo, considere um modelo de classificação binária que prevê se um cliente em potencial vai comprar um produto específico. Suponha que um dos recursos do modelo seja um booleano chamado SpokeToCustomerAgent. Suponha que um agente do cliente esteja atribuído após o cliente em potencial comprar produto. Durante o treinamento, o modelo vai aprender rapidamente a associação entre SpokeToCustomerAgent e o rótulo.

lambda

Sinônimo de taxa de regularização.

Lambda é um termo sobrecarregado. Aqui, vamos nos concentrar a definição na regularização.

LaMDA (Language Model for Dialogue Applications)

Uma instância baseada em Transformer modelo de linguagem grande desenvolvido pelo Google treinado com um grande conjunto de dados de diálogos capaz de gerar respostas conversacionais realistas.

LaMDA: nossa tecnologia de conversação inovadora oferece uma visão geral.

pontos de referência

Sinônimo de keypoints.

modelo de linguagem

Um modelo que estima a probabilidade de um token ou sequência de tokens que ocorrem em uma sequência mais longa.

modelo de linguagem grande

No mínimo, um modelo de linguagem com um número muito alto de parâmetros. Mais informalmente, qualquer Modelo de linguagem baseado em Transformer, como Gemini ou GPT.

espaço latente

Sinônimo de embedding Space.

layer

Um conjunto de neurônios em uma rede neural. Três tipos comuns de camadas são:

• A camada de entrada, que fornece valores para todos os recursos.
• Uma ou mais camadas escondidas, que encontram relações não lineares entre os atributos e o rótulo.
• A camada de saída, que fornece a previsão.

Por exemplo, a ilustração a seguir mostra uma rede neural com uma camada de entrada, duas camadas escondidas e uma camada final:

No TensorFlow, as camadas também são funções do Python que usam Tensors e opções de configuração como entrada e produzem outros tensors como saída.

API Layers (tf.layers)

Uma API do TensorFlow para criar uma rede neural profunda como uma composição de camadas. A API Layers permite criar diferentes tipos de camadas, como:

• tf.layers.Dense para uma camada totalmente conectada.
• tf.layers.Conv2D para uma camada convolucional.

A API Layers segue as convenções da API de camadas do Keras. Ou seja, com exceção de um prefixo diferente, todas as funções na API Layers têm os mesmos nomes e assinaturas que seus equivalentes no Keras, a API de camadas.

folha

Qualquer endpoint em uma árvore de decisão. Ao contrário de um condition, uma folha não realiza um teste. Em vez disso, uma folha é uma possível previsão. Uma folha também é o nó terminal de um caminho de inferência.

Por exemplo, a árvore de decisão a seguir contém três folhas:

Ferramenta de aprendizado de interpretabilidade (LIT)

Uma ferramenta visual e interativa de compreensão de modelos e visualização de dados.

É possível usar o LIT de código aberto para interpretar modelos ou visualizar dados de texto, imagem e tabular.

taxa de aprendizado

Um número de ponto flutuante que informa o gradiente descendente algoritmo com que intensidade ajustar os pesos e as tendências em cada iteration. Por exemplo, uma taxa de aprendizado de 0,3 ajustaria pesos e vieses três vezes mais do que uma taxa de aprendizado de 0,1.

A taxa de aprendizado é um hiperparâmetro fundamental. Se você definir a taxa de aprendizado é muito baixa, o treinamento vai demorar muito tempo. Se a taxa de aprendizado for definida como muito alta, o gradiente descendente geralmente terá problemas para alcançar a convergência.

regressão dos mínimos quadrados

Um modelo de regressão linear treinado minimizando Perda L₂.

linear

Uma relação entre duas ou mais variáveis que pode ser representada apenas por adição e multiplicação.

O gráfico de uma relação linear é uma linha.

Contraste com não linear.

modelo linear

Um modelo que atribui um peso por recurso para fazer previsões. Os modelos lineares também incorporam um viés. Por outro lado, a relação entre os recursos e as previsões em modelos profundos geralmente é não linear.

Modelos lineares costumam ser mais fáceis de treinar e mais interpretáveis do que os modelos profundos. No entanto, os modelos profundos podem aprender relações complexas entre atributos.

Regressão linear e regressão logística são dois tipos de modelos lineares.

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

regressão linear

Um tipo de modelo de machine learning em que as duas condições a seguir são verdadeiras:

• O modelo é linear.
• A previsão é um valor de ponto flutuante. Essa é a parte de regressão da regressão linear.

Comparar a regressão linear com a regressão logística. Além disso, compare a regressão com a classificação.

LIT

Abreviação para a Ferramenta de interpretabilidade de aprendizado (LIT), que antes era conhecida como "Ferramenta de interpretabilidade de linguagem".

LLM

Abreviação de modelo de linguagem grande.

Avaliações do LLM

Um conjunto de métricas e comparativos de mercado para avaliar o desempenho de modelos de linguagem grandes (LLMs, na sigla em inglês). De modo geral, as avaliações de LLM:

• Ajudam os pesquisadores a identificar áreas em que os LLMs precisam ser melhorados.
• São úteis para comparar diferentes LLMs e identificar o melhor LLM para uma tarefa específica.
• Ajudar a garantir que o uso de LLMs seja seguro e ético.

regressão logística

Um tipo de modelo de regressão que prevê uma probabilidade. Os modelos de regressão logística têm as seguintes características:

• O rótulo é categórico. O termo "regressão logística" geralmente se refere à regressão logística binária, ou seja, a um modelo que calcula as probabilidades de rótulos com dois valores possíveis. Uma variante menos comum, a regressão logística multinomial, calcula as probabilidades de rótulos com mais de dois valores possíveis.
• A função de perda durante o treinamento é Log Loss. Várias unidades de perda de registro podem ser colocadas em paralelo para rótulos com mais de dois valores possíveis.
• O modelo tem uma arquitetura linear, não uma rede neural profunda. No entanto, o restante dessa definição também se aplica a modelos profundos que preveem probabilidades para rótulos categóricos.

Por exemplo, considere um modelo de regressão logística que calcula a probabilidade de um e-mail de entrada ser spam ou não spam. Durante a inferência, suponha que o modelo prevê 0,72. Portanto, o modelo está estimando:

• 72% de chance do e-mail ser spam.
• Uma chance de 28% de o e-mail não ser spam.

Um modelo de regressão logística usa a seguinte arquitetura de duas etapas:

1. O modelo gera uma previsão bruta (y') aplicando uma função linear de atributos de entrada.
2. O modelo usa essa previsão bruta como entrada para uma função sigmoide, que converte a previsão bruta em um valor entre 0 e 1, exclusivo.

Como qualquer modelo de regressão, um modelo de regressão logística prevê um número. No entanto, esse número geralmente faz parte de um modelo de classificação binária da seguinte maneira:

• Se o número previsto for maior que o limite de classificação, o o modelo de classificação binária prevê a classe positiva.
• Se o número previsto for menor do que o limite de classificação, o modelo de classificação binária vai prever a classe negativa.

logits

O vetor de previsões brutas (não normalizadas) que um modelo de classificação gera, que normalmente é transmitido para uma função de normalização. Se o modelo estiver resolvendo um problema de classificação multiclasse, os logits normalmente se tornam uma entrada para a função softmax. Em seguida, a função softmax gera um vetor de (normalizado) probabilidades com um valor para cada classe possível.

Log Perda

A função de perda usada na regressão logística binária.

log-odds

O logaritmo das probabilidades de algum evento.

Memória de longo e curto prazo (LSTM, na sigla em inglês)

Um tipo de célula em uma rede neural recorrente usada para processar sequências de dados em aplicativos, como reconhecimento de escrita manual, tradução e legendagem de imagens. Os LSTMs abordam o problema de sumiço do gradiente que ocorre quando de treinamento de RNNs devido às longas sequências de dados ao manter o histórico em uma estado da memória interna com base em novas entradas e contextos das células anteriores na RNN.

LoRA

Abreviação de Adaptabilidade de classificação baixa.

perda

Durante o treinamento de um modelo supervisionado, uma medida de quão distante a previsão de um modelo está do rótulo.

Uma função de perda calcula a perda.

agregador de perdas

Um tipo de algoritmo de machine learning que melhora o desempenho de um modelo combinando as previsões de vários modelos e usando essas previsões para fazer apenas uma. Como resultado, um agregador de perdas pode reduzir a variância das previsões e melhorar a precisão das previsões.

curva de perda

Um gráfico de perda em função do número de iterações de treinamento. O gráfico a seguir mostra uma perda típica curva:

As curvas de perda ajudam a determinar quando o modelo convergência ou overfitting.

As curvas de perda podem plotar todos os tipos de perda a seguir:

• perda do treinamento
• perda de validação
• test loss

Consulte também a curva de generalização.

função de perda

Durante treinamento ou testes, um função matemática que calcula o perda em um lote de exemplos. Uma função de perda retorna uma perda menor para modelos que fazem boas previsões do que para os que fazem ou previsões ruins.

Normalmente, o objetivo do treinamento é minimizar a perda de uma função de perda retorna.

Existem muitos tipos diferentes de funções de perda. Escolha a perda adequada para o tipo de modelo que você está criando. Exemplo:

• A perda _L (ou erro quadrático médio) é a função de perda da regressão linear.
• Log Loss é a função de perda regressão logística.

superfície de perda

Um gráfico de peso versus perda. Objetivos do gradiente descendente para encontrar os pesos para os quais a superfície de perda está no mínimo local.

Adaptabilidade de baixa classificação (LoRA)

Uma técnica eficiente em termos de parâmetros para ajuste fino que "congela" os pesos pré-treinados do modelo para que não possam mais ser modificados e, em seguida, insere um pequeno conjunto de pesos treináveis no modelo. Esse conjunto de pesos treináveis (também conhecidos como como "matrizes de atualização") é consideravelmente menor do que o modelo base e o que torna o treinamento muito mais rápido.

A LoRa oferece os seguintes benefícios:

• Melhora a qualidade das previsões de um modelo para o domínio em que a multa é aplicado.
• Ajusta mais rapidamente do que as técnicas que exigem o ajuste de todas as configurações parâmetros.
• Reduz o custo computacional da inferência ao ativar a veiculação simultânea de vários modelos especializados que compartilham o mesmo modelo de base.

LSTM

Abreviação de Memória de curto prazo longa.

M

machine learning

Um programa ou sistema que treina um modelo a partir de dados de entrada. O modelo treinado pode fazer previsões úteis com dados novos (nunca acessados) coletados da mesma distribuição usada para treinar o modelo.

O aprendizado de máquina também se refere ao campo de estudo relacionado a esses programas ou sistemas.

classe majoritária

O rótulo mais comum conjunto de dados desequilibrado de classes. Por exemplo: dado um conjunto de dados que contenha 99% de rótulos negativos e 1% de rótulos positivos, o e rótulos negativos são a classe majoritária.

Contraste com a classe minoritária.

Processo de decisão de Markov (MDP, na sigla em inglês)

Um gráfico que representa o modelo de tomada de decisão em que as decisões (ou ações) são tomadas para navegar por uma sequência de afirma que o A propriedade Markov é válida. Em aprendizado por reforço, essas transições entre estados retornam uma recompensa numérica.

Propriedade de Markov

Uma propriedade de determinados ambientes, em que as transições de estado são totalmente determinadas por informações implícitas no estado atual e a ação do agente.

modelo de linguagem mascarada

Um modelo de linguagem que prevê a probabilidade de tokens candidatos preencherem espaços em branco em uma sequência. Por exemplo, um modelo de linguagem mascarado pode calcular as probabilidades de palavras candidatas para substituir o sublinhado na seguinte frase:

O(a) ____ de chapéu veio de volta.

A documentação geralmente usa a string "MASK" em vez de sublinhado. Exemplo:

A "MÁSCARA" de gorjeta voltou.

A maioria dos modelos modernos de linguagem mascarada é bidirecional.

matplotlib

Biblioteca de plotagem 2D do Python de código aberto. O matplotlib ajuda a visualizar diferentes aspectos do machine learning.

fatoração de matrizes

Em matemática, um mecanismo para encontrar as matrizes cujo produto escalar se aproxima de matriz de destino.

Nos sistemas de recomendação, a matriz de destino muitas vezes mantém os usuários classificações de itens. Por exemplo, a matriz de destino para um sistema de recomendação de filmes pode ser semelhante a esta, em que os números positivos são classificações do usuário e 0 significa que o usuário não classificou o filme:

O sistema de recomendação de filmes visa prever avaliações de usuários para filmes sem classificação. Por exemplo, o usuário 1 vai gostar de Pantera Negra?

Uma abordagem para sistemas de recomendação é usar a fatoração de matrizes para gerar as duas matrizes a seguir:

• Uma matriz de usuários, formada pelo número de usuários X os número de dimensões de embedding.
• Uma matriz de itens, formada pelo número de elementos de embedding dimensões X o número de itens.

Por exemplo, usar a fatoração de matrizes nos três usuários e cinco itens pode gerar a seguinte matriz de usuários e de itens:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

O produto escalar das matrizes de usuários e de itens gera uma recomendação matriz que contém não apenas as classificações originais de usuários, mas também as previsões para os filmes que cada usuário ainda não assistiu. Por exemplo, considere a avaliação do Usuário 1 de Casablanca, que foi 5,0. O produto de ponto correspondente a essa célula na matriz de recomendação deve ser de aproximadamente 5,0, e é:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

Mais importante, o Usuário 1 vai gostar de Pantera Negra? O produto escalar correspondente à primeira linha e à terceira coluna gera uma classificação previsiva de 4,3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

A fatoração de matrizes geralmente gera uma matriz de usuários e uma matriz de itens que, juntas, são significativamente mais compactas do que a matriz de destino.

Erro médio absoluto (MAE)

A perda média por exemplo quando a perda L₁ é usada. Calcule o erro absoluto médio da seguinte maneira:

1. Calcule a perda de L₁ para um lote.
2. Divida a perda de L₁ pelo número de exemplos no lote.

Por exemplo, considere o cálculo da perda de L₁ no seguinte lote de cinco exemplos:

Portanto, a perda de L₁ é 8 e o número de exemplos é 5. Portanto, o erro médio absoluto é:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

Contraste o Erro absoluto médio com o Erro quadrático médio e Raiz do erro quadrático médio.

Erro quadrático médio (EQM)

A perda média por exemplo quando a perda L₂ é usada. Calcule o Erro quadrático médio da seguinte forma:

1. Calcule a perda de L₂ para um lote.
2. Divida a perda de L₂ pelo número de exemplos no lote.

Por exemplo, considere a perda no seguinte lote de cinco exemplos:

Portanto, o Erro quadrático médio é:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

O erro quadrático médio é um otimizador de treinamento conhecido, principalmente para regressão linear.

Contrastar o Erro quadrático médio com Erro médio absoluto e Raiz do erro quadrático médio.

O TensorFlow Playground usa o erro quadrático médio para calcular os valores de perda.

malha

Na programação paralela de ML, um termo associado à atribuição dos dados e para chips de TPU e definindo como esses valores serão fragmentados ou replicados.

"Mesh" é um termo sobrecarregado que pode significar uma das seguintes opções:

• Um layout físico de chips de TPU.
• Uma construção lógica abstrata para mapear os dados e o modelo para a TPU chips

Em ambos os casos, uma malha é especificada como uma forma.

metaaprendizagem

Um subconjunto de machine learning que descobre ou melhora um algoritmo de aprendizado. Um sistema de metaaprendizagem também pode tentar treinar um modelo para aprender rapidamente uma nova tarefa com uma pequena quantidade de dados ou com base na experiência adquirida em tarefas anteriores. Os algoritmos de metaaprendizado geralmente tentam alcançar o seguinte:

• Melhore ou aprenda recursos desenvolvidos manualmente (como um inicializador ou um otimizador).
• Seja mais eficiente em dados e computação.
• Melhorar a generalização.

O metaaprendizado está relacionado ao aprendizado few-shot.

métrica

Uma estatística importante para você.

Um objetivo é uma métrica que um sistema de aprendizado de máquina tenta otimizar.

API Metrics (tf.metrics)

Uma API do TensorFlow para avaliar modelos. Por exemplo, tf.metrics.accuracy determina com que frequência as previsões de um modelo correspondem aos rótulos.

minilote

Pequeno subconjunto de um lote selecionado aleatoriamente e processado em um iteration. O tamanho do lote de um minilote é geralmente entre 10 e 1.000 exemplos.

Por exemplo, suponha que todo o conjunto de treinamento (o lote completo) consista de 1.000 exemplos. Suponha também que você defina o tamanho do lote de cada minilote como 20. Portanto, cada iteração determina a perda em 20 aleatórias dos 1.000 exemplos e, em seguida, ajusta os pesos e os vieses de acordo.

É muito mais eficiente calcular a perda em um minilote do que a perda em todos os exemplos do lote completo.

gradiente descendente estocástico com minilotes

Um algoritmo de gradiente descendente que usa minilotes. Em outras palavras, o gradiente descendente estocástico com minilotes estima o gradiente com base em um pequeno subconjunto dos dados de treinamento. O gradiente descendente estocástico regular usa uma minilote de tamanho 1.

perda minimax

Uma função de perda para redes generativas adversas, com base na entropia cruzada entre a distribuição de dados gerados e dados reais.

A perda de Minimax é usada primeiro artigo que descreveu redes adversárias generativas.

classe minoritária

O rótulo menos comum conjunto de dados desequilibrado de classes. Por exemplo: dado um conjunto de dados que contenha 99% de rótulos negativos e 1% de rótulos positivos, o rótulos positivos são a classe minoritária.

Contraste com a classe de maioria.

mistura de especialistas

Um esquema para aumentar a eficiência da rede neural ao usando apenas um subconjunto de seus parâmetros (conhecido como um especialista) para processar um determinado token ou exemplo de entrada. Uma rede de restrição encaminha cada token de entrada ou exemplo para o especialista adequado.

Para mais detalhes, consulte um destes documentos:

• Redes neurais escandalosamente grandes: a camada de mistura de especialistas com portão pouco aberto
• Mixture-of-Experts com roteamento de escolha de especialista

ML

Abreviação de machine learning.

MMIT

Abreviação de multimodal instruction-tuned.

MNIST

Um conjunto de dados de domínio público compilado por LeCun, Cortes e Burges contendo 60.000 imagens, cada uma mostrando como um humano escreveu manualmente um dígito específico de 0 a 9. Cada imagem é armazenada como uma matriz 28x28 de números inteiros, em que cada número inteiro é um valor em escala de cinza entre 0 e 255, inclusive.

O MNIST é um conjunto de dados canônico para machine learning, frequentemente usado para testar novas abordagens de machine learning. Para mais detalhes, consulte O banco de dados MNIST de dígitos manuscritos.

modality

Uma categoria de dados de alto nível. Por exemplo, números, texto, imagens, vídeo e de áudio são cinco modalidades diferentes.

modelo

Em geral, qualquer construção matemática que processe dados de entrada e retorne saída. Em outras palavras, um modelo é o conjunto de parâmetros e estrutura necessário para que um sistema faça previsões. No machine learning supervisionado, um modelo usa um exemplo como entrada e infere uma prediction será exibida. No aprendizado de máquina supervisionado, os modelos são um pouco diferentes. Exemplo:

• Um modelo de regressão linear consiste em um conjunto de pesos e um viés.
• Um modelo de rede neural consiste em:
  • Um conjunto de camadas escondidas, cada uma contendo uma ou mais neurônios.
  • Os pesos e o viés associados a cada neurônio.
• Um modelo de árvore de decisão consiste em:
  • A forma da árvore; ou seja, o padrão em que as condições e as folhas estão conectadas.
  • As condições e as folhas.

É possível salvar, restaurar ou fazer cópias de um modelo.

O aprendizado de máquina não supervisionado também gera modelos, normalmente uma função que pode mapear um exemplo de entrada para o cluster mais adequado.

  f(x, y) = 3x -5xy + y2 + 17

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

capacidade do modelo

a complexidade dos problemas que um modelo pode aprender. Quanto mais complexa a problemas que um modelo pode aprender, maior a capacidade dele. A capacidade de um modelo normalmente aumenta com o número de parâmetros do modelo. Para uma definição formal da capacidade do classificador, consulte Dimensão de VC.

modelo em cascata

Um sistema que escolhe o modelo ideal para uma inferência específica consulta.

Imagine um grupo de modelos, variando de muito grande (muitos parâmetros) a muito menor (muito menos parâmetros). Modelos muito grandes consomem mais recursos computacionais no momento da inferência do que modelos menores. No entanto, modelos muito grandes podem inferir solicitações mais complexas do que modelos menores. A cascata de modelos determina a complexidade da consulta de inferência e escolhe o modelo apropriado para realizar a inferência. A principal motivação para a cascata de modelos é reduzir os custos de inferência, geralmente selecionando modelos menores e apenas selecionando um modelo maior para consultas mais complexas.

Imagine que um modelo pequeno seja executado em um smartphone e uma versão maior desse modelo é executado em um servidor remoto. Uma boa cascata de modelos reduz o custo e a latência, permitindo que o modelo menor processe solicitações simples e chamando apenas o modelo remoto para processar solicitações complexas.

Consulte também model router.

paralelismo de modelos

Uma maneira de dimensionar o treinamento ou a inferência que coloca diferentes partes de um modelo em diferentes dispositivos. Paralelismo de modelos permite modelos que são grandes demais para caber em um único dispositivo.

Para implementar o paralelismo de modelos, um sistema normalmente faz o seguinte:

1. Fragmenta (divide) o modelo em partes menores.
2. distribui o treinamento dessas partes menores em vários processadores. Cada processador treina a própria parte do modelo.
3. Combina os resultados para criar um único modelo.

O paralelismo de modelos atrasa o treinamento.

Consulte também paralelismo de dados.

modelo de roteador

O algoritmo que determina o modelo ideal para inferência no modelo em cascata. Um roteador de modelo costuma ser um modelo de machine learning que e aprende gradualmente a escolher o melhor modelo para uma determinada entrada. No entanto, um roteador de modelo às vezes pode ser um algoritmo mais simples, sem machine learning.

treinamento de modelo

O processo de determinação do melhor modelo.

Momentum

Um algoritmo de gradiente descendente sofisticado em que uma etapa de aprendizado depende não apenas da derivada na etapa atual, mas também das derivadas das etapas imediatamente anteriores. O momento envolve o cálculo de uma a média móvel exponencial dos gradientes ao longo do tempo, ao momentum na física. Às vezes, o Momentum impede que o aprendizado fique preso em mínimos locais.

MOE

Abreviação de mistura de especialistas.

classificação multiclasse

No aprendizado supervisionado, um problema de classificação em que o conjunto de dados contém mais de duas classes de rótulos. Por exemplo, os rótulos no conjunto de dados da Íris precisam ser uma das três classes a seguir:

• Íris setosa
• Iris virginica
• Iris versicolor

Um modelo treinado com o conjunto de dados Iris que prevê o tipo Íris em novos exemplos é a classificação multiclasse.

Em contrapartida, problemas de classificação que distinguem exatamente dois são modelos de classificação binária. Por exemplo, um modelo de e-mail que prevê spam ou não spam é um modelo de classificação binária.

Em problemas de agrupamento, a classificação multiclasse se refere a mais de dois clusters.

Regressão logística multiclasse

Usar a regressão logística na Problemas de classificação multiclasse.

autoatenção multicabeça

Uma extensão da autoatenção que aplica mecanismo de autoatenção várias vezes para cada posição na sequência de entrada.

Os Transformers introduziram a autoatenção de várias cabeças.

modelo multimodal

Um modelo em que as entradas e/ou saídas incluem mais de uma modalidade. Por exemplo, considere um modelo que usa uma imagem e uma legenda de texto (duas modalidades) como recursos, e gera uma pontuação que indica a adequação da legenda de texto à imagem. Portanto, as entradas desse modelo são multimodais, e a saída é unimodal.

ajustado por instrução multimodal

Um modelo ajustado por instruções que possa processar entradas além do texto, como imagens, vídeo e áudio.

classificação multinomial

Sinônimo de classificação multiclasse.

regressão multinomial

Sinônimo de Regressão logística multiclasse.

multitarefa

Uma técnica de machine learning em que um único modelo para realizar várias tarefas.

Os modelos multitarefa são criados com base em dados adequados para cada uma das diferentes tarefas. Isso permite que o modelo aprenda a compartilhar informações entre as tarefas, o que ajuda o modelo a aprender de forma mais eficaz.

Um modelo treinado para várias tarefas geralmente tem habilidades de generalização aprimoradas e podem ser mais robustos para lidar com diferentes tipos de dados.

N

Armadilha do NaN

Quando um número no modelo se torna um NaN durante o treinamento, o que faz com que muitos ou todos os outros números no modelo se tornem NaN.

NaN é uma abreviação de Not a Number.

processamento de linguagem natural

Determinar as intenções de um usuário com base no que ele digitou ou disse. Por exemplo, um mecanismo de pesquisa usa processamento de linguagem natural para determinam o que o usuário está pesquisando com base no que ele digitou ou disse.

classe negativa

Na classificação binária, uma classe é chamada de positiva e a outra é chamada de negativa. A classe positiva é a coisa ou o evento que o modelo está testando e a classe negativa é a outra possibilidade. Exemplo:

• A classe negativa em um exame médico pode ser "não tumor".
• A classe negativa em um classificador de e-mails pode ser "não spam".

Contraste com a classe positiva.

amostragem negativa

Sinônimo de amostragem de candidatos.

Pesquisa de arquitetura neural (NAS)

Uma técnica para projetar automaticamente a arquitetura de um rede neural. Os algoritmos de NAS podem reduzir a quantidade de tempo e recursos necessários para treinar uma rede neural.

O NAS geralmente usa:

• Um espaço de pesquisa, que é um conjunto de arquiteturas possíveis.
• Uma função de condicionamento físico, que é uma medida do desempenho de um determinado arquitetura de dados é executada em uma determinada tarefa.

Os algoritmos NAS geralmente começam com um pequeno conjunto de arquiteturas possíveis expandir gradualmente o espaço de pesquisa à medida que o algoritmo aprende mais sobre o que do Google Cloud são eficazes. A função de condicionamento físico normalmente se baseia no desempenho da arquitetura em um conjunto de treinamento, e o algoritmo é normalmente são treinados usando uma de aprendizado por reforço.

Os algoritmos NAS se mostraram eficazes na localização de alto desempenho arquiteturas de imagem para várias tarefas, incluindo classificação, classificação de texto, e tradução automática.

do feedforward

Um modelo contendo pelo menos uma camada oculta. Uma rede neural profunda é um tipo de rede neural que contém mais de uma camada escondida. Por exemplo, o diagrama a seguir mostra uma rede neural profunda com duas camadas escondidas.

Cada neurônio de uma rede neural se conecta a todos os nós da próxima camada. Por exemplo, no diagrama anterior, observe que cada um dos três neurônios na primeira camada escondida se conectam separadamente aos dois neurônios na segunda camada escondida.

As redes neurais implementadas em computadores às vezes são chamadas redes neurais artificiais para diferenciá-las das redes neurais encontradas em cérebros e outros sistemas nervosos.

Algumas redes neurais podem imitar relações não lineares extremamente complexas entre diferentes atributos e o rótulo.

Consulte também rede neural convolucional e rede neural recorrente.

neurônio

Em machine learning, uma unidade distinta em uma camada escondida de uma rede neural. Cada neurônio faz o seguinte: ação em duas etapas:

1. Calcula a soma ponderada dos valores de entrada multiplicada pelos pesos correspondentes.
2. Transmite a soma ponderada como entrada para uma função de ativação.

Um neurônio na primeira camada escondida aceita entradas dos valores de atributo na camada de entrada. Um neurônio em qualquer camada escondida além O primeiro aceita entradas dos neurônios da camada escondida anterior. Por exemplo, um neurônio na segunda camada escondida aceita entradas do na primeira camada escondida.

A ilustração a seguir destaca dois neurônios e as respectivas entradas.

Um neurônio de uma rede neural imita o comportamento dos neurônios no cérebro e outras partes do sistema nervoso.

N-grama

Uma sequência ordenada de N palavras. Por exemplo, truly madly é um bigrama. Devido ao a ordem for relevante, madly true é um 2-grama diferente de truly madly.

Muitos modelos de processamento de linguagem natural dependem de N-gramas para prever a próxima palavra que o usuário vai digitar ou dizer. Por exemplo, suponha que um usuário digitou three blind. Um modelo PLN baseado em trigramas provavelmente vai prever que o usuário vai digitar mice em seguida.

Compare os n-gramas com a bolsa de palavras, que são conjuntos não ordenados de palavras.

PLN

Abreviação de linguagem natural compreensão.

nó (árvore de decisão)

Em uma árvore de decisão, qualquer condition ou leaf.

nó (rede neural)

Um neurônio em uma camada escondida.

nó (gráfico do TensorFlow)

Uma operação em um gráfico do TensorFlow.

ruído

Em termos gerais, qualquer coisa que oculte o sinal em um conjunto de dados. Ruído podem ser introduzidas nos dados de várias maneiras. Exemplo:

• Os avaliadores humanos cometem erros na rotulagem.
• Pessoas e instrumentos registram ou omitem valores de recursos incorretamente.

condição não binária

Uma condição com mais de dois resultados possíveis. Por exemplo, a seguinte condição não binária contém três possíveis resultados:

não linear

uma relação entre duas ou mais variáveis que não podem ser representadas exclusivamente. com adição e multiplicação. Uma relação linear pode ser representado como uma linha, uma relação nonlinear não pode ser representada como uma linha. Por exemplo, considere dois modelos que estão relacionados um único atributo a um único rótulo. O modelo à esquerda é linear, e o da direita é não linear:

viés de não resposta

Consulte o viés de seleção.

não estacionariedade

Um recurso cujos valores mudam em uma ou mais dimensões, normalmente tempo. Por exemplo, considere os seguintes exemplos de não estacionariedades:

• O número de maiôs vendidos em uma loja específica varia de acordo com a estação.
• A quantidade de uma fruta específica colhida em uma região específica é zero durante grande parte do ano, mas é grande por um breve período.
• Devido às mudanças climáticas, as temperaturas médias anuais estão mudando.

Contraste com a estabilidade.

normalização

De modo geral, o processo de conversão do intervalo real de valores de uma variável em um intervalo padrão de valores, como:

• -1 a +1
• 0 a 1
• Valores Z (aproximadamente -3 a +3)

Por exemplo, suponha que o intervalo real de valores de um determinado recurso seja 800 a 2.400. Como parte da engenharia de recursos, é possível normalizar os valores reais para um intervalo padrão, como -1 a +1.

A normalização é uma tarefa comum engenharia de atributos. Os modelos geralmente são treinados mais rapidamente (e produzem previsões melhores) quando cada atributo numérico no vetor de atributos tem aproximadamente o mesmo intervalo.

Consulte a seção Como trabalhar com dados numéricos módulo do "Machine Learning Crash Course" para mais detalhes. Consulte também Normalização de Z-score.

detecção de novidades

O processo de determinação se um novo exemplo (novo) vem da mesma distribuição do conjunto de treinamento. Em outras palavras, depois de treinar no conjunto de treinamento, a detecção de novidades determina se um exemplo novo (durante a inferência ou durante o treinamento adicional) é um outlier.

Contraste com a detecção de outliers.

dados numéricos

Recursos representados como números inteiros ou reais. Por exemplo, um modelo de avaliação de casas provavelmente representa o tamanho de uma casa (em pés quadrados ou metros quadrados) como dados numéricos. Representação atributo como dados numéricos indica que os valores do atributo têm uma relação matemática com o rótulo Ou seja, o número de metros quadrados em uma casa provavelmente tem algum relação matemática com o valor da casa.

Nem todos os dados inteiros devem ser representados como dados numéricos. Por exemplo, códigos postais em algumas partes do mundo são inteiros. No entanto, códigos postais inteiros não podem ser representados como dados numéricos em modelos. Isso ocorre porque um código postal de 20000 não é duas vezes (ou metade) mais potente que um código postal de 10000. Além disso, embora diferentes códigos postais corrijam a diferentes valores imobiliários, não podemos presumir que valores imobiliários no código postal 20.000 é duas vezes mais valioso do que valores imobiliários no código postal 10000. Os códigos postais precisam ser representados como dados categóricos.

Os recursos numéricos às vezes são chamados de recursos contínuos.

NumPy

Um objeto biblioteca matemática de código aberto que fornece operações de matriz eficientes no Python. O pandas é criado com base em numPy.

O

objetivo

Uma métrica que seu algoritmo está tentando otimizar.

função objetiva

A fórmula matemática ou métrica que um modelo pretende otimizar. Por exemplo, a função objetivo A regressão linear geralmente é Perda quadrática média. Portanto, ao treinar um modelo de regressão linear, o treinamento visa minimizar a perda quadrática média.

Em alguns casos, o objetivo é maximizar a função objetiva. Por exemplo, se a função objetiva é acurácia, a meta é para maximizar a precisão.

Consulte também loss.

condição oblíqua

Em uma árvore de decisão, uma condição que envolve mais de um recurso. Por exemplo, se altura e largura forem recursos, a condição oblíqua será a seguinte:

  height > width

Compare com a condição alinhada ao eixo.

off-line

Sinônimo de estática.

inferência off-line

O processo de um modelo que gera um lote de previsões e, em seguida, armazenar em cache (salvar) essas previsões. Os apps podem acessar a previsão inferida do cache em vez de executar o modelo novamente.

Por exemplo, imagine um modelo que gera previsões meteorológicas locais (previsões) uma vez a cada quatro horas. Após cada execução do modelo, o sistema armazena em cache todas as previsões do tempo locais. Os apps de clima recuperam a previsão do tempo do cache.

A inferência off-line também é chamada de inferência estática.

Compare com a inferência on-line.

codificação one-hot

Representação de dados categóricos como um vetor em que:

• Um elemento é definido como 1.
• Todos os outros elementos são definidos como 0.

A codificação simples é comumente usada para representar strings ou identificadores que têm um conjunto finito de valores possíveis. Por exemplo, suponha que um recurso categórico chamado Scandinavia tenha cinco valores possíveis:

• "Dinamarca"
• "Suécia"
• "Noruega"
• "Finlândia"
• "Islândia"

A codificação One-hot pode representar cada um dos cinco valores da seguinte maneira:

Graças à codificação one-hot, um modelo pode aprender conexões diferentes com base em cada um dos cinco países.

A representação de um atributo como dados numéricos é uma alternativa à codificação one-hot. Infelizmente, representar os países escandinavos numericamente não é uma boa escolha. Por exemplo: considere a seguinte representação numérica:

• "Dinamarca" é 0
• "Suécia" é 1
• "Noruega" é 2
• "Finlândia" é 3
• "Islândia" é 4

Com a codificação numérica, um modelo interpreta os números brutos de maneira matemática e tenta treinar com esses números. No entanto, a Islândia não é duas vezes maior (ou metade) de algo como a Noruega, então o modelo chegaria a algumas conclusões estranhas.

aprendizado one-shot

Uma abordagem de aprendizado de máquina, usada com frequência para classificação de objetos, projetada para aprender classificadores eficazes com um único exemplo de treinamento.

Consulte também aprendizado de poucas imagens e aprendizado zero-shot.

comando one-shot

Um comando que contém um exemplo demonstrando como o modelo de linguagem grande deve responder. Por exemplo: o comando a seguir contém um exemplo que mostra um modelo de linguagem grande ele deve responder a uma consulta.

Compare os comandos one-shot com os seguintes termos:

• Comandos zero-shot
• comandos few-shot

one-vs.-all

Dado um problema de classificação com N classes, uma solução que consiste em N classificadores binários separados, um para cada resultado possível. Por exemplo, considerando um modelo que classifica exemplos como animal, vegetal ou mineral, uma solução única forneceria três classificadores binários separados:

• animal versus não animal
• vegetal versus não vegetal
• mineral versus não mineral

on-line

Sinônimo de dynamic.

inferência on-line

Gerar previsões sob demanda. Por exemplo: suponha que um aplicativo transmita uma entrada para um modelo e emita uma solicitação para um previsão. Um sistema que usa a inferência on-line responde à solicitação executando o modelo (e retornando a previsão para o app).

Compare com a inferência off-line.

operação (op)

No TensorFlow, qualquer procedimento que crie, manipula ou destrua um tensor. Para exemplo, a multiplicação de matrizes é uma operação que toma dois tensores entrada e gera um tensor como saída.

Optax

Uma biblioteca de processamento e otimização de gradiente para JAX. O Optax facilita a pesquisa fornecendo elementos básicos que podem ser recombinados de maneiras personalizadas para otimizar modelos paramétricos, como redes neurais profundas. Outras metas incluem:

• Fornecer implementações legíveis, bem testadas e eficientes de componentes principais.
• Melhora a produtividade, permitindo combinar ingredientes de baixo nível em otimizadores personalizados (ou outros componentes de processamento de gradiente).
• Acelerar a adoção de novas ideias, facilitando a contribuição de qualquer pessoa.

optimizer

Uma implementação específica do gradiente descendente. algoritmo. Otimizadores populares incluem:

• AdaGrad, que significa "descendente ADAptive GRADient".
• Adam, que significa "ADAptive with Momentum".

viés de homogeneidade externa ao grupo

Tendência de ver os membros de fora do grupo mais parecidos do que os membros de grupo ao comparar atitudes, valores, traços de personalidade e outros e as características determinantes. Em grupo se refere às pessoas com quem você interage regularmente. out-group: refere-se a pessoas com quem você não interage regularmente. Se você criar um conjunto de dados pedindo às pessoas para fornecer atributos sobre grupos externos, esses atributos podem ser menos sutis e mais estereotipados do que os atributos que os participantes listam para pessoas no grupo interno.

Por exemplo, os liliputianos podem descrever as casas de outros liliputianos em detalhes, citando pequenas diferenças em estilos arquitetônicos, janelas, portas e tamanhos. No entanto, os mesmos liliputianos podem simplesmente declarar que todos os brobdingnagianos vivem em casas idênticas.

O viés de homogeneidade externa ao grupo é uma forma viés de atribuição a grupos.

Consulte também o viés de grupo.

detecção de outliers

O processo de identificar valores atípicos em um conjunto de treinamento.

Mas não a detecção de novidades.

as exceções

Valores distantes da maioria dos outros valores. No machine learning, qualquer um seguintes são outliers:

• Dados de entrada com valores que ultrapassam aproximadamente três desvios padrão da média.
• Ponderações com valores absolutos altos.
• Valores previstos relativamente distantes dos valores reais.

Por exemplo, suponha que widget-price seja um recurso de um determinado modelo. Suponha que a média de widget-price seja 7 euros com um desvio padrão de 1 euro. Exemplos com um widget-price de 12 ou 2 euros seriam considerados valores discrepantes porque cada um desses preços está cinco desvios padrão da média.

Os valores discrepantes geralmente são causados por erros de digitação ou outros erros de entrada. Em outros casos, outliers não são erros; afinal, considera a cinco desvios padrão da média são raras, mas quase impossíveis.

Os valores atípicos geralmente causam problemas no treinamento do modelo. Recorte é uma maneira de gerenciar valores discrepantes.

avaliação pronta para uso (avaliação OOB)

Mecanismo para avaliar a qualidade de uma floresta de decisão testando cada árvore de decisão em relação ao exemplos não usados durante treinamento dessa árvore de decisão. Por exemplo, no diagrama a seguir, observe que o sistema treina cada árvore de decisão em cerca de dois terços dos exemplos e, em seguida, avalia o terço restante dos exemplos.

A avaliação fora da embalagem é uma aproximação computacionalmente eficiente e conservadora do mecanismo de validação cruzada. Na validação cruzada, um modelo é treinado para cada rodada de validação cruzada. Por exemplo, 10 modelos são treinados em uma validação cruzada de 10 vezes. Com a avaliação OOB, um único modelo é treinado. Como o bagging retém alguns dados de cada árvore durante o treinamento, a avaliação OOB pode usar esses dados para aproximar a validação cruzada.

camada final

A camada "final" de uma rede neural. A camada final contém a previsão.

A ilustração a seguir mostra uma pequena rede neural profunda com uma camada de entrada, duas camadas ocultas e uma camada de saída:

overfitting

Criar um modelo que corresponda ao dados de treinamento tão próximos que o modelo não consegue fazer previsões corretas sobre novos dados.

A regularização pode reduzir o ajuste excessivo. O treinamento em um conjunto de treinamento grande e diversificado também pode reduzir o overfitting.

superamostragem

Reutilizar os exemplos de uma classe minoritária em um conjunto de dados não balanceado para criar um conjunto de treinamento mais equilibrado.

Por exemplo, considere um problema de classificação binária em que a proporção da classe majoritária para a minoritária é 5.000:1. Se o conjunto de dados tiver um milhão de exemplos, o conjunto de dados contém apenas cerca de 200 exemplos da classe minoritária, que pode há poucos exemplos para um treinamento eficaz. Para superar essa deficiência, você pode fazer uma amostragem excessiva (reutilização) desses 200 exemplos várias vezes, possivelmente gerando exemplos suficientes para um treinamento útil.

Você precisa ter cuidado com o overfitting ao a sobreamostragem.

Contraste com subamostragem.

P

dados compactados

Uma abordagem para armazenar dados com mais eficiência.

Os dados empacotados armazenam dados usando um formato compactado ou em de alguma outra forma que permita o acesso mais eficiente. Os dados empacotados minimizam a quantidade de memória e computação necessárias para acesso, o que leva a um treinamento mais rápido e uma inferência de modelo mais eficiente.

Os dados empacotados geralmente são usados com outras técnicas, como aumento de dados e regularização, melhorando ainda mais o desempenho do modelos.

pandas

Uma API de análise de dados orientada por colunas criada com base em numpy. Em vários frameworks de machine learning, incluindo TensorFlow, oferecem suporte a estruturas de dados pandas como entradas. Consulte a documentação do pandas para mais detalhes.

parâmetro

Os pesos e vieses que um modelo aprende durante treinamento. Por exemplo, em um modelo de regressão linear, os parâmetros consistem na viés (b) e em todos os pesos (w₁, w₂ e assim por diante) na seguinte fórmula:

Por outro lado, hiperparâmetros são os valores que você (ou um serviço de ajuste de hiperparâmetros) fornece ao modelo. Por exemplo, a taxa de aprendizado é um hiperparâmetro.

ajuste de eficiência de parâmetros

Um conjunto de técnicas para ajustar um grande modelo de linguagem pré-treinado (PLM) com mais eficiência do que o ajuste completo. Eficiente em parâmetros O ajuste normalmente ajusta muito menos parâmetros do que refinamento, mas geralmente produz um modelo de linguagem grande que executa tão bem (ou quase tão bem) quanto um modelo de linguagem grande criado ajustes.

Compare o ajuste da eficiência dos parâmetros com:

• ajuste de instruções
• Ajuste de comando

O ajuste com eficiência de parâmetros também é conhecido como ajuste fino com eficiência de parâmetros.

Servidor de parâmetros (PS)

Um job que rastreia os parâmetros de um modelo em uma configuração distribuída.

atualização de parâmetro

A operação de ajuste dos parâmetros de um modelo durante o treinamento, normalmente em uma única iteração de gradiente descendente.

derivada parcial

Uma derivada em que todas as variáveis, exceto uma, são consideradas constantes. Por exemplo, a derivada parcial de f(x, y) em relação a x é a derivada de f considerada como uma função de x (ou seja, mantendo y constante). A derivada parcial de f em relação a x se concentra apenas em como x está mudando e ignora todas as outras variáveis na equação.

viés de participação

Sinônimo de viés de não resposta. Consulte o viés de seleção.

estratégia de particionamento

O algoritmo em que as variáveis são divididas entre servidores de parâmetros.

Pax

Um framework de programação projetado para treinar redes neurais de modelos em grande escala, tão grandes que abrangem vários chips de TPU acelerador fatias ou pods.