Modèles ouverts Gemma

0 shot

HellaSwag

Le benchmark HellaSwag met en question la capacité d'un modèle de langage à comprendre et à appliquer le raisonnement de bon sens en choisissant la fin la plus logique d'une histoire.

0 shot

PIQA

Le benchmark PIQA teste la capacité d'un modèle de langage à comprendre et à appliquer des connaissances de bon sens physiques en répondant à des questions sur les interactions physiques quotidiennes.

0 shot

SIQA

Le benchmark SIQA évalue la compréhension d'un modèle de langage des interactions sociales et du bon sens social en posant des questions sur les actions des individus et leurs implications sociales.

0 shot

Boolq

Le benchmark BoolQ teste la capacité d'un modèle de langage à répondre à des questions par oui ou non (générées dans des environnements sans requête et sans contrainte), en testant la capacité des modèles à effectuer des tâches d'inférence en langage naturel réelles.

notation partielle

Winogrande

Le benchmark de Winogrande teste la capacité d'un modèle de langage à résoudre des tâches de remplissage ambiguës avec des options binaires, ce qui nécessite un raisonnement de bon sens généralisé.

7 shots

CQA

Le benchmark CQA évalue les performances des modèles de langage pour les questions-réponses à choix multiples, nécessitant différents types de connaissances de bon sens.

OBQA

Le benchmark OBQA évalue la capacité d'un modèle de langage à répondre à des questions avancées grâce au raisonnement en plusieurs étapes, au bon sens et à la compréhension de texte enrichi, selon les examens en livre libre.

ARC-e

Le benchmark ARC-e évalue les compétences avancées d'un modèle de langage en matière de réponse à des questions sur des questions scientifiques à choix multiples et à un niveau d'enseignement primaire.

ARC-C

Le benchmark ARC-c est un sous-ensemble plus ciblé de l'ensemble de données ARC-e, qui ne contient que des questions auxquelles les algorithmes courants (base de récupération et cooccurrence de mots) répondent de manière incorrecte.

5 shots

TriviaQA

Le benchmark TriviaQA teste les compétences de compréhension en lecture avec des triples des questions-réponses-preuve.

pass@1

HumanEval

Le benchmark HumanEval teste la capacité de génération de code d'un modèle de langage en évaluant si ses solutions réussissent les tests unitaires fonctionnels pour les problèmes de programmation.

3 shots

MBPP

Le benchmark MBPP teste la capacité d'un modèle de langage à résoudre des problèmes de programmation Python de base, en se concentrant sur les concepts fondamentaux de la programmation et l'utilisation des bibliothèques standards.

maj@1

GSM8K

Le benchmark GSM8K teste la capacité d'un modèle de langage à résoudre des problèmes mathématiques au niveau de l'école primaire, qui nécessitent souvent plusieurs étapes de raisonnement.

4 prises

MATH

Le benchmark MATH évalue la capacité d'un modèle de langage à résoudre des problèmes écrits mathématiques complexes, nécessitant un raisonnement, une résolution de problèmes en plusieurs étapes et la compréhension de concepts mathématiques.

AGIEval

Le benchmark AGIEval teste l'intelligence générale d'un modèle de langage à l'aide de questions issues d'examens réels conçus pour évaluer les capacités intellectuelles humaines (examens d'entrée à l'université, examens de droit, etc.).

BBH

Le benchmark BBH (BIG-Bench Hard) se concentre sur des tâches considérées au-delà des capacités des modèles de langage actuels, en testant leurs limites dans différents domaines de raisonnement et de compréhension.