Hugging Face's logo

Datasets documentation

Utilitaires

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitaires

Configurer la journalisation

🤗 Datasets s’efforce d’être transparent et explicite sur son fonctionnement, mais cela peut être assez verbeux par moments. Nous avons inclus une série de méthodes de journalisation qui vous permettent d’ajuster facilement le niveau de verbosité de toute la bibliothèque. Actuellement, la verbosité par défaut de la bibliothèque est définie sur WARNING.

Pour modifier le niveau de verbosité, utilisez l'un des setters directs. Par exemple, voici comment changer la verbosité au niveau INFO :

import datasets
datasets.logging.set_verbosity_info()

Vous pouvez également utiliser la variable d’environnement DATASETS_VERBOSITY pour remplacer le niveau de verbosité par défaut et le définir sur l’une des valeurs suivantes : debug, info, warning, error, critical :

DATASETS_VERBOSITY=error ./myprogram.py

Toutes les méthodes de ce module de journalisation sont documentées ci-dessous. Les principales sont :

Par ordre croissant de verbosité (avec leurs valeurs int correspondantes) :

  1. logging.CRITICAL ou logging.FATAL (valeur entière, 50) : ne signale que les erreurs les plus critiques.
  2. logging.ERROR (valeur int, 40) : ne signale que les erreurs.
  3. logging.WARNING ou logging.WARN (valeur entière, 30) : ne signale que les erreurs et les avertissements. C'est le niveau par défaut utilisé par la bibliothèque.
  4. logging.INFO (valeur int, 20) : signale les erreurs, les avertissements et les informations de base.
  5. logging.DEBUG (valeur int, 10) : signale toutes les informations.

datasets.utils.logging.get_verbosity

< >

( )

Retourner le niveau actuel du journal racine de la bibliothèque HuggingFace datasets.

La bibliothèque de jeux de données HuggingFace dispose des niveaux de journalisation suivants :

  • datasets.logging.CRITICAL, datasets.logging.FATAL
  • datasets.logging.ERROR
  • datasets.logging.WARNING, datasets.logging.WARN
  • datasets.logging.INFO
  • datasets.logging.DEBUG

datasets.utils.logging.set_verbosity

< >

( verbosity: int )

Paramètres

  • verbosity — Niveau de journalisation, par exemple datasets.logging.DEBUG et datasets.logging.INFO.

Définissez le niveau du journal racine de la bibliothèque Hugging Face Datasets.

datasets.utils.logging.set_verbosity_info

< >

( )

Définissez le niveau du logger racine de la bibliothèque Hugging Face datasets sur INFO.

Cela affichera la plupart des informations de journalisation et les barres de progression tqdm.

Raccourci vers datasets.logging.set_verbosity(datasets.logging.INFO).

datasets.utils.logging.set_verbosity_warning

< >

( )

Définissez le niveau du journal racine de la bibliothèque Hugging Face datasets sur WARNING.

Cela n’affichera que les informations de journalisation des avertissements et des erreurs ainsi que les barres de progression tqdm.

Raccourci vers datasets.logging.set_verbosity(datasets.logging.WARNING).

datasets.utils.logging.set_verbosity_debug

< >

( )

Définissez le niveau du logger racine de la bibliothèque Hugging Face datasets sur DEBUG.

Cela affichera toutes les informations de journalisation et les barres de progression tqdm.

Raccourci vers datasets.logging.set_verbosity(datasets.logging.DEBUG).

datasets.utils.logging.set_verbosity_error

< >

( )

Définissez le niveau du journal racine de la bibliothèque Hugging Face datasets sur ERROR.

Cela n’affichera que les informations de journalisation des erreurs et les barres de progression tqdm.

Raccourci vers datasets.logging.set_verbosity(datasets.logging.ERROR).

datasets.utils.logging.disable_propagation

< >

( )

Désactiver la propagation des journaux de la bibliothèque. Notez que la propagation des journaux est désactivée par défaut.

datasets.utils.logging.enable_propagation

< >

( )

Activer la propagation des journaux de la bibliothèque. Veuillez désactiver le gestionnaire par défaut de la bibliothèque Hugging Face datasets pour éviter la double journalisation si le journal racine a été configuré.

Configurer les barres de progression

Par défaut, les barres de progression tqdm sont affichées pendant le téléchargement et le prétraitement des jeux de données. Vous pouvez les désactiver globalement en définissant la variable d’environnement HF_DATASETS_DISABLE_PROGRESS_BARS. Vous pouvez également les activer/désactiver à l’aide de enable_progress_bars() et disable_progress_bars(). Si elle est définie, la variable d’environnement a la priorité sur les fonctions d’aide.

datasets.enable_progress_bars

< >

( )

Activer les barres de progression utilisées dans datasets, sauf si la variable d’environnement HF_DATASETS_DISABLE_PROGRESS_BARS a été définie.

Utilisez disable_progress_bars() pour les désactiver.

datasets.disable_progress_bars

< >

( )

Désactiver globalement les barres de progression utilisées dans datasets, sauf si la variable d’environnement HF_DATASETS_DISABLE_PROGRESS_BARS a été définie.

Utilisez enable_progress_bars() pour les réactiver.

datasets.are_progress_bars_disabled

< >

( )

Indique si les barres de progression sont désactivées globalement ou non.

Les barres de progression utilisées dans datasets peuvent être activées ou désactivées globalement à l’aide de enable_progress_bars() et disable_progress_bars(), ou en définissant HF_DATASETS_DISABLE_PROGRESS_BARS en tant que variable d’environnement.

Update on GitHub

←Classes de tables