# Métodos de carregamento

Métodos para listar e carregar conjuntos de dados:

## Conjuntos de dados[[datasets.load_dataset]]

#### datasets.load_dataset[[datasets.load_dataset]]

```python
datasets.load_dataset(path: str, name: typing.Optional[str] = None, data_dir: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, split: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = None, cache_dir: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, verification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = None, keep_in_memory: typing.Optional[bool] = None, save_infos: bool = False, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, streaming: bool = False, num_proc: typing.Optional[int] = None, storage_options: typing.Optional[dict] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/load.py#L1446)

**Parâmetros:**

path (`str`) : Caminho ou nome do dataset.  - se `path` for um repositório de dataset no HF hub (liste todos os datasets disponíveis com `huggingface_hub.list_datasets`) -> carrega o dataset a partir dos arquivos suportados no repositório (csv, json, parquet, etc.), por exemplo `'username/dataset_name'`, um repositório de dataset no HF hub contendo os arquivos de dados.  - se `path` for um diretório dentro de um Storage Bucket no HF Hub (liste seus buckets com `huggingface_hub.list_buckets`) -> carrega o dataset a partir dos arquivos suportados no diretório (csv, json, parquet, etc.), por exemplo `'buckets/username/bucket_name/my_dataset'`.  - se `path` for um diretório local -> carrega o dataset a partir dos arquivos suportados no diretório (csv, json, parquet, etc.), por exemplo `'./path/to/directory/with/my/csv/data'`.  - se `path` for o nome de um dataset builder e `data_files` ou `data_dir` estiver especificado (os builders disponíveis são "json", "csv", "parquet", "arrow", "text", "xml", "webdataset", "imagefolder", "audiofolder", "videofolder", "meshfolder") -> carrega o dataset a partir dos arquivos em `data_files` ou `data_dir`, por exemplo `'parquet'`.  Use um caminho `hf://` como `'hf://datasets/username/dataset_name'` para permitir apenas remoto. Use um caminho absoluto para permitir apenas local.

name (`str`, *opcional*) : Define o nome da configuração do conjunto de dados.

data_dir (`str`, *opcional*) : Define o `data_dir` da configuração do dataset. Se especificado para os construtores genéricos (csv, text etc.) ou para os datasets do Hub e `data_files` for `None`, o comportamento é igual ao de passar `os.path.join(data_dir, **)` como `data_files` para referenciar todos os arquivos em um diretório.

data_files (`str` ou `Sequence` ou `Mapping`, *opcional*) : Caminho(s) para o(s) arquivo(s) de dados de origem.

split (`Split` ou `str`) : Qual divisão dos dados carregar. Se `None`, retornará um `dict` com todas as divisões (tipicamente `datasets.Split.TRAIN` e `datasets.Split.TEST`). Se fornecida, retornará um único Dataset. As divisões podem ser combinadas e especificadas como no tensorflow-datasets.

cache_dir (`str`, *opcional*) : Diretório para ler/escrever dados. O padrão é `"~/.cache/huggingface/datasets"`.

features (`Features`, *opcional*) : Define o tipo de features a ser usado para este dataset.

download_config ([DownloadConfig](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DownloadConfig), *opcional*) : Parâmetros específicos de configuração de download.

download_mode ([DownloadMode](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DownloadMode) ou `str`, padrão `REUSE_DATASET_IF_EXISTS`) : Modo de download/geração.

verification_mode ([VerificationMode](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.VerificationMode) ou `str`, padrão `BASIC_CHECKS`) : Modo de verificação que determina as verificações a serem executadas nas informações do dataset baixado/processado (checksums/tamanho/splits/...).

keep_in_memory (`bool`, padrão `None`) : Se deve copiar o dataset em memória. Se `None`, o dataset não será copiado em memória, a menos que seja explicitamente habilitado ao definir `datasets.config.IN_MEMORY_MAX_SIZE` para um valor diferente de zero. Veja mais detalhes na seção [melhorar o desempenho](../cache#improve-performance).

revision ([Versão](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.Version) ou `str`, *opcional*) : Versão do conjunto de dados a ser carregado. Como os conjuntos de dados possuem seu próprio repositório git no Datasets Hub, a versão padrão "main" corresponde ao seu branch "main". Você pode especificar uma versão diferente da padrão "main" usando um SHA de commit ou uma tag git do repositório do conjunto de dados.

token (`str` ou `bool`, *opcional*) : String ou booleano opcional para usar como token Bearer para arquivos remotos no Datasets Hub. Se `True`, ou não especificado, obterá o token de `"~/.huggingface"`.

streaming (`bool`, padrão `False`) : Se definido como `True`, os arquivos de dados não serão baixados. Em vez disso, os dados são transmitidos progressivamente durante a iteração no conjunto de dados. Neste caso, um [IterableDataset](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.IterableDataset) ou [IterableDatasetDict](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.IterableDatasetDict) é retornado. Observe que o streaming funciona para conjuntos de dados que usam formatos de dados que suportam iteração, como txt, csv, jsonl, por exemplo. Arquivos Json podem ser baixados por completo. O streaming de arquivos remotos zip ou gzip é suportado, mas outros formatos compactados, como rar e xz, ainda não são suportados. O formato tgz não permite streaming.

num_proc (`int`, *opcional*, padrão `None`) : Número de processos ao baixar e gerar o dataset localmente. O multiprocessing é desabilitado por padrão.

storage_options (`dict`, *opcional*, padrão `None`) : **Experimental**. Pares de chave/valor a serem passados para o backend de sistema de arquivos do dataset, se houver.

- ****config_kwargs** (argumentos de palavra-chave adicionais) : Argumentos de palavra-chave a serem passados para o `BuilderConfig` e usados no [DatasetBuilder](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DatasetBuilder).

**Retorna:** [Dataset](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.Dataset) ou [DatasetDict](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.DatasetDict)

- se `split` não for `None`: o conjunto de dados solicitado,
- se `split` for `None`, um [DatasetDict](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.DatasetDict) com cada split.

ou [IterableDataset](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.IterableDataset) ou [IterableDatasetDict](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.IterableDatasetDict): se `streaming=True`

- se `split` não for `None`, o conjunto de dados é solicitado
- se `split` for `None`, um `~datasets.streaming.IterableDatasetDict` com cada divisão.

Carregue um dataset do Hugging Face Hub ou um dataset local.

Você pode encontrar a lista de conjuntos de dados no [Hub](https://huggingface.co/datasets) ou com `huggingface_hub.list_datasets`.

Um dataset é um diretório que contém alguns arquivos de dados em formatos genéricos (JSON, CSV, Parquet, etc.) e possivelmente em uma estrutura genérica (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, etc.)

Esta função faz o seguinte por baixo dos panos:

1. Carregue um construtor de conjunto de dados:

   * Encontre o formato de dados mais comum no conjunto de dados e escolha o builder associado (JSON, CSV, Parquet, Webdataset, ImageFolder, AudioFolder, MeshFolder, etc.)
   * Encontre em qual divisão (por exemplo, train/test) cada arquivo é colocado com base nos nomes dos arquivos e diretórios ou na configuração YAML
   * Também é possível especificar manualmente `data_files` e qual construtor de dataset usar (por exemplo, "parquet").

2. Execute o construtor de conjuntos de dados:

   No caso geral:

   * Baixe os arquivos de dados do conjunto de dados, caso eles ainda não estejam disponíveis localmente ou em cache.
   * Processe e cacheie o conjunto de dados em tabelas Arrow tipadas para cache.

     Tabelas Arrow são tabelas tipadas de comprimento arbitrário que podem armazenar objetos aninhados e ser mapeadas para tipos genéricos de numpy/pandas/python. Elas podem ser acessadas diretamente do disco, carregadas na RAM ou até mesmo transmitidas pela web.

   No caso de streaming:

   * Não baixe nem faça cache de nada. Em vez disso, o conjunto de dados é carregado de forma preguiçosa e será transmitido em tempo real durante a iteração.

3. Retorne um conjunto de dados construído a partir das divisões solicitadas em `split` (padrão: todas).

Exemplo:

Carregue um conjunto de dados do Hugging Face Hub:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')
```

Carregue um conjunto de dados de um Storage Bucket no Hugging Face Hub:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')
```

Carregue um dataset local:

```py
# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')
```

Carregue um [IterableDataset](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.IterableDataset):

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)
```

Carregue um conjunto de dados de imagens com o construtor de conjuntos de dados `ImageFolder`:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')
```

#### datasets.load_from_disk[[datasets.load_from_disk]]

```python
datasets.load_from_disk(dataset_path: typing.Union[str, bytes, os.PathLike], keep_in_memory: typing.Optional[bool] = None, storage_options: typing.Optional[dict] = None)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/load.py#L1704)

**Parâmetros:**

dataset_path (`path-like`) : Path (por exemplo, `"dataset/train"`) ou URI remoto (por exemplo, `"s3://my-bucket/dataset/train"`) do diretório do [Dataset](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.Dataset) ou [DatasetDict](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.DatasetDict) de onde o dataset/dataset-dict será carregado.

keep_in_memory (`bool`, padrão `None`) : Se deve copiar o dataset em memória. Se `None`, o dataset não será copiado em memória, a menos que seja explicitamente habilitado ao definir `datasets.config.IN_MEMORY_MAX_SIZE` para um valor diferente de zero. Veja mais detalhes na seção [melhorar o desempenho](../cache#improve-performance).

storage_options (`dict`, *opcional*) : Pares de chave/valor a serem passados para o backend do sistema de arquivos, se houver.

**Retorna:** [Dataset](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.Dataset) ou [DatasetDict](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.DatasetDict)

- Se `dataset_path` for um caminho de um diretório de dataset: o dataset solicitado.
- Se `dataset_path` for um caminho para um diretório de dicionário de datasets, um [DatasetDict](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.DatasetDict) com cada split.

Carrega um conjunto de dados que foi salvo anteriormente usando [save_to_disk()](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.Dataset.save_to_disk) a partir de um diretório de conjunto de dados, ou de um sistema de arquivos usando qualquer implementação de `fsspec.spec.AbstractFileSystem`.

Exemplo:

```py
>>> from datasets import load_from_disk
>>> ds = load_from_disk('path/to/dataset/directory')
```

#### datasets.load_dataset_builder[[datasets.load_dataset_builder]]

```python
datasets.load_dataset_builder(path: str, name: typing.Optional[str] = None, data_dir: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, cache_dir: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, storage_options: typing.Optional[dict] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/load.py#L1187)

**Parâmetros:**

path (`str`) : Caminho ou nome do conjunto de dados.  - se `path` for um repositório de conjunto de dados no hub da HF (liste todos os conjuntos de dados disponíveis com `huggingface_hub.list_datasets`) -> carrega o construtor do conjunto de dados a partir dos arquivos suportados no repositório (csv, json, parquet, etc.), por exemplo `'username/dataset_name'`, um repositório de conjunto de dados no hub da HF contendo os arquivos de dados.  - se `path` for um diretório dentro de um Storage Bucket no Hub da HF (liste seus buckets com `huggingface_hub.list_buckets`) -> carrega o conjunto de dados a partir dos arquivos suportados no diretório (csv, json, parquet, etc.), por exemplo `'buckets/username/bucket_name/my_dataset'`.  - se `path` for um diretório local -> carrega o construtor do conjunto de dados a partir dos arquivos suportados no diretório (csv, json, parquet, etc.), por exemplo `'./path/to/directory/with/my/csv/data'`.  - se `path` for o nome de um construtor de conjunto de dados e `data_files` ou `data_dir` estiver especificado (os construtores disponíveis são "json", "csv", "parquet", "arrow", "text", "xml", "webdataset", "imagefolder", "audiofolder", "videofolder", "meshfolder") -> carrega o construtor do conjunto de dados a partir dos arquivos em `data_files` ou `data_dir`, por exemplo `'parquet'`.  Use um caminho `hf://` como `'hf://datasets/username/dataset_name'` para permitir apenas remoto. Use um caminho absoluto para permitir apenas local.

name (`str`, *opcional*) : Define o nome da configuração do conjunto de dados.

data_dir (`str`, *opcional*) : Define o `data_dir` da configuração do dataset. Se especificado para os construtores genéricos (csv, text etc.) ou para os datasets do Hub e `data_files` for `None`, o comportamento é igual ao de passar `os.path.join(data_dir, **)` como `data_files` para referenciar todos os arquivos em um diretório.

data_files (`str` ou `Sequence` ou `Mapping`, *opcional*) : Caminho(s) para o(s) arquivo(s) de dados de origem.

cache_dir (`str`, *opcional*) : Diretório para ler/escrever dados. O padrão é `"~/.cache/huggingface/datasets"`.

features ([Recursos](/docs/datasets/v5.2.0/pt/package_reference/main_classes#datasets.Features), *opcional*) : Defina o tipo de recursos a ser usado para este conjunto de dados.

download_config ([DownloadConfig](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DownloadConfig), *opcional*) : Parâmetros específicos de configuração de download.

download_mode ([DownloadMode](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DownloadMode) ou `str`, padrão `REUSE_DATASET_IF_EXISTS`) : Modo de download/geração.

revision ([Versão](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.Version) ou `str`, *opcional*) : Versão do conjunto de dados a ser carregado. Como os conjuntos de dados possuem seu próprio repositório git no Datasets Hub, a versão padrão "main" corresponde ao seu branch "main". Você pode especificar uma versão diferente da padrão "main" usando um SHA de commit ou uma tag git do repositório do conjunto de dados.

token (`str` ou `bool`, *opcional*) : String ou booleano opcional para usar como token Bearer para arquivos remotos no Datasets Hub. Se `True`, ou não especificado, obterá o token de `"~/.huggingface"`.

storage_options (`dict`, *opcional*, padrão `None`) : **Experimental**. Pares de chave/valor a serem passados para o backend de sistema de arquivos do dataset, se houver.

- ****config_kwargs** (argumentos de palavra-chave adicionais) : Argumentos de palavra-chave a serem passados para o [BuilderConfig](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.BuilderConfig) e usados no [DatasetBuilder](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DatasetBuilder).

**Retorna:**

[DatasetBuilder](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DatasetBuilder)

Carregue um construtor de conjunto de dados que pode ser usado para:

- Inspecione as informações gerais necessárias para construir um conjunto de dados (diretório de cache, configuração, informações do conjunto de dados, recursos, arquivos de dados, etc.)
- Baixe e prepare o conjunto de dados como arquivos Arrow no cache
- Obtenha um conjunto de dados em streaming sem baixar ou armazenar em cache nada

Você pode encontrar a lista de conjuntos de dados no [Hub](https://huggingface.co/datasets) ou com `huggingface_hub.list_datasets`.

Um dataset é um diretório que contém alguns arquivos de dados em formatos genéricos (JSON, CSV, Parquet, etc.) e possivelmente em uma estrutura genérica (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, etc.)

Exemplo:

```py
>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}
```

#### datasets.get_dataset_config_names[[datasets.get_dataset_config_names]]

```python
datasets.get_dataset_config_names(path: str, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, data_files: typing.Union[str, list, dict, NoneType] = None, **download_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/inspect.py#L109)

**Parâmetros:**

path (`str`) : caminho para o repositório do conjunto de dados. Pode ser:  - um caminho local para o diretório do conjunto de dados contendo os arquivos de dados, por exemplo, `'./dataset/squad'` - um identificador de conjunto de dados no Hugging Face Hub (liste todos os conjuntos de dados e ids disponíveis com `huggingface_hub.list_datasets`), por exemplo, `'rajpurkar/squad'`, `'nyu-mll/glue'` ou``'openai/webtext'`

revision (`Union[str, datasets.Version]`, *opcional*) : Se especificado, o módulo do conjunto de dados será carregado do repositório de conjuntos de dados nesta versão. Por padrão: - é definido para a versão local da lib. - também tentará carregá-lo da branch principal se não estiver disponível na versão local da lib. Especificar uma versão diferente da sua versão local da lib pode causar problemas de compatibilidade.

download_config ([DownloadConfig](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DownloadConfig), *opcional*) : Parâmetros específicos de configuração de download.

download_mode ([DownloadMode](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DownloadMode) ou `str`, padrão `REUSE_DATASET_IF_EXISTS`) : Modo de download/geração.

data_files (`Union[Dict, List, str]`, *opcional*) : Define os data_files da configuração do dataset.

- ****download_kwargs** (argumentos de palavra-chave adicionais) : Atributos opcionais para [DownloadConfig](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DownloadConfig) que substituirão os atributos em `download_config`, se fornecidos, por exemplo `token`.

Obtenha a lista de nomes de configuração disponíveis para um conjunto de dados específico.

Exemplo:

```py
>>> from datasets import get_dataset_config_names
>>> get_dataset_config_names("nyu-mll/glue")
['cola',
 'sst2',
 'mrpc',
 'qqp',
 'stsb',
 'mnli',
 'mnli_mismatched',
 'mnli_matched',
 'qnli',
 'rte',
 'wnli',
 'ax']
```

#### datasets.get_dataset_infos[[datasets.get_dataset_infos]]

```python
datasets.get_dataset_infos(path: str, data_files: typing.Union[str, list, dict, NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/inspect.py#L42)

**Parâmetros:**

path (`str`) : caminho para o repositório do conjunto de dados. Pode ser:  - um caminho local para o diretório do conjunto de dados contendo os arquivos de dados, por exemplo, `'./dataset/squad'` - um identificador de conjunto de dados no Hugging Face Hub (liste todos os conjuntos de dados e ids disponíveis com `huggingface_hub.list_datasets`), por exemplo, `'rajpurkar/squad'`, `'nyu-mll/glue'` ou``'openai/webtext'`

revision (`Union[str, datasets.Version]`, *opcional*) : Se especificado, o módulo do conjunto de dados será carregado do repositório de conjuntos de dados nesta versão. Por padrão: - é definido para a versão local da lib. - também tentará carregá-lo da branch principal se não estiver disponível na versão local da lib. Especificar uma versão diferente da sua versão local da lib pode causar problemas de compatibilidade.

download_config ([DownloadConfig](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DownloadConfig), *opcional*) : Parâmetros específicos de configuração de download.

download_mode ([DownloadMode](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DownloadMode) ou `str`, padrão `REUSE_DATASET_IF_EXISTS`) : Modo de download/geração.

data_files (`Union[Dict, List, str]`, *opcional*) : Define os data_files da configuração do dataset.

token (`str` ou `bool`, *opcional*) : String ou booleano opcional para usar como token Bearer para arquivos remotos no Datasets Hub. Se `True`, ou não especificado, obterá o token de `"~/.huggingface"`.

- ****config_kwargs** (argumentos de palavra-chave adicionais) : Atributos opcionais para a classe de builder que substituirão os atributos existentes, caso sejam fornecidos.

Obtém as metainformações sobre um conjunto de dados, retornadas como um dicionário que mapeia o nome da configuração para DatasetInfoDict.

Exemplo:

```py
>>> from datasets import get_dataset_infos
>>> get_dataset_infos('cornell-movie-review-data/rotten_tomatoes')
{'default': DatasetInfo(description="Movie Review Dataset.
 is a dataset of containing 5,331 positive and 5,331 negative processed
ences from Rotten Tomatoes movie reviews...), ...}
```

#### datasets.get_dataset_split_names[[datasets.get_dataset_split_names]]

```python
datasets.get_dataset_split_names(path: str, config_name: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/inspect.py#L295)

**Parâmetros:**

path (`str`) : caminho para o repositório do conjunto de dados. Pode ser:  - um caminho local para o diretório do conjunto de dados contendo os arquivos de dados, por exemplo, `'./dataset/squad'` - um identificador de conjunto de dados no Hugging Face Hub (liste todos os conjuntos de dados e ids disponíveis com `huggingface_hub.list_datasets`), por exemplo, `'rajpurkar/squad'`, `'nyu-mll/glue'` ou``'openai/webtext'`

config_name (`str`, *opcional*) : Define o nome da configuração do conjunto de dados.

data_files (`str` ou `Sequence` ou `Mapping`, *opcional*) : Caminho(s) para o(s) arquivo(s) de dados de origem.

download_config ([DownloadConfig](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DownloadConfig), *opcional*) : Parâmetros específicos de configuração de download.

download_mode ([DownloadMode](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.DownloadMode) ou `str`, padrão `REUSE_DATASET_IF_EXISTS`) : Modo de download/geração.

revision ([Versão](/docs/datasets/v5.2.0/pt/package_reference/builder_classes#datasets.Version) ou `str`, *opcional*) : Versão do conjunto de dados a ser carregado. Como os conjuntos de dados possuem seu próprio repositório git no Datasets Hub, a versão padrão "main" corresponde ao seu branch "main". Você pode especificar uma versão diferente da padrão "main" usando um SHA de commit ou uma tag git do repositório do conjunto de dados.

token (`str` ou `bool`, *opcional*) : String ou booleano opcional para usar como token Bearer para arquivos remotos no Datasets Hub. Se `True`, ou não especificado, obterá o token de `"~/.huggingface"`.

- ****config_kwargs** (argumentos de palavra-chave adicionais) : Atributos opcionais para a classe de builder que substituirão os atributos existentes, caso sejam fornecidos.

Obtenha a lista de splits disponíveis para uma configuração e um conjunto de dados específicos.

Exemplo:

```py
>>> from datasets import get_dataset_split_names
>>> get_dataset_split_names('cornell-movie-review-data/rotten_tomatoes')
['train', 'validation', 'test']
```

## De arquivos

Configurações usadas para carregar arquivos de dados. Elas são usadas ao carregar arquivos locais ou um repositório de dataset:

- arquivos locais: `load_dataset("parquet", data_dir="path/to/data/dir")`
- repositório de dataset: `load_dataset("allenai/c4")`

Você pode passar argumentos para `load_dataset` para configurar o carregamento de dados. Por exemplo, você pode especificar o parâmetro `sep` para definir o [CsvConfig](/docs/datasets/v5.2.0/pt/package_reference/loading_methods#datasets.packaged_modules.csv.CsvConfig) usado para carregar os dados:

```python
load_dataset("csv", data_dir="path/to/data/dir", sep="\t")
```

### Texto[[datasets.packaged_modules.text.TextConfig]]

#### datasets.packaged_modules.text.TextConfig[[datasets.packaged_modules.text.TextConfig]]

```python
datasets.packaged_modules.text.TextConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None, chunksize: int = 10485760, keep_linebreaks: bool = False, sample_by: typing.Literal['line', 'paragraph', 'document'] = 'line')
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/text/text.py#L17)

**Parâmetros:**

features : (`Features`, *opcional*): Converte os dados para `features`.

encoding : (`str`, padrão "utf-8"): Codificação para decodificar o arquivo.

encoding_errors : (`str`, *opcional*): Argumento para definir o que fazer em caso de erro de codificação. Este é o mesmo que o argumento `error` em `open()`.

chunksize : (`Features`, *opcional*, padrão "10MB"): Tamanho do bloco para ler os dados.

keep_linebreaks : (`bool`, padrão é False): Se deve manter quebras de linha.

sample_by (`Literal["line", "paragraph", "document"]`, padrão "line") : Se os dados devem ser carregados por linha, parágrafo ou documento. Por padrão, uma linha no dataset = uma linha.

BuilderConfig para arquivos de texto.

#### datasets.packaged_modules.text.Text[[datasets.packaged_modules.text.Text]]

```python
datasets.packaged_modules.text.Text(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/text/text.py#L45)

### CSV[[datasets.packaged_modules.csv.CsvConfig]]

#### datasets.packaged_modules.csv.CsvConfig[[datasets.packaged_modules.csv.CsvConfig]]

```python
datasets.packaged_modules.csv.CsvConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, sep: str = ',', delimiter: typing.Optional[str] = None, header: typing.Union[int, list[int], str, NoneType] = 'infer', names: typing.Optional[list[str]] = None, column_names: typing.Optional[list[str]] = None, index_col: typing.Union[int, str, list[int], list[str], NoneType] = None, usecols: typing.Union[list[int], list[str], NoneType] = None, prefix: typing.Optional[str] = None, mangle_dupe_cols: bool = True, engine: typing.Optional[typing.Literal['c', 'python', 'pyarrow']] = None, converters: dict = None, true_values: typing.Optional[list] = None, false_values: typing.Optional[list] = None, skipinitialspace: bool = False, skiprows: typing.Union[int, list[int], NoneType] = None, nrows: typing.Optional[int] = None, na_values: typing.Union[str, list[str], NoneType] = None, keep_default_na: bool = True, na_filter: bool = True, verbose: bool = False, skip_blank_lines: bool = True, thousands: typing.Optional[str] = None, decimal: str = '.', lineterminator: typing.Optional[str] = None, quotechar: str = '"', quoting: int = 0, escapechar: typing.Optional[str] = None, comment: typing.Optional[str] = None, encoding: typing.Optional[str] = None, dialect: typing.Optional[str] = None, error_bad_lines: bool = True, warn_bad_lines: bool = True, skipfooter: int = 0, doublequote: bool = True, memory_map: bool = False, float_precision: typing.Optional[str] = None, chunksize: int = 10000, features: typing.Optional[datasets.features.features.Features] = None, encoding_errors: typing.Optional[str] = 'strict', on_bad_lines: typing.Literal['error', 'warn', 'skip'] = 'error', date_format: typing.Optional[str] = None)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/csv/csv.py#L25)

BuilderConfig para CSV.

#### datasets.packaged_modules.csv.Csv[[datasets.packaged_modules.csv.Csv]]

```python
datasets.packaged_modules.csv.Csv(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/csv/csv.py#L145)

### JSON[[datasets.packaged_modules.json.JsonConfig]]

#### datasets.packaged_modules.json.JsonConfig[[datasets.packaged_modules.json.JsonConfig]]

```python
datasets.packaged_modules.json.JsonConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None, field: typing.Optional[str] = None, use_threads: bool = True, block_size: typing.Optional[int] = None, chunksize: int = 10485760, newlines_in_values: typing.Optional[bool] = None, on_mixed_types: typing.Optional[typing.Literal['use_json']] = 'use_json', parse_agent_traces: bool = True)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/json/json.py#L46)

BuilderConfig para JSON.

#### datasets.Json[[datasets.Json]]

```python
datasets.Json(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/json/json.py#L64)

### XML[[datasets.packaged_modules.xml.XmlConfig]]

#### datasets.packaged_modules.xml.XmlConfig[[datasets.packaged_modules.xml.XmlConfig]]

```python
datasets.packaged_modules.xml.XmlConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/xml/xml.py#L15)

BuilderConfig para arquivos xml.

#### datasets.packaged_modules.xml.Xml[[datasets.packaged_modules.xml.Xml]]

```python
datasets.packaged_modules.xml.Xml(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/xml/xml.py#L23)

### Parquet[[datasets.packaged_modules.parquet.ParquetConfig]]

#### datasets.packaged_modules.parquet.ParquetConfig[[datasets.packaged_modules.parquet.ParquetConfig]]

```python
datasets.packaged_modules.parquet.ParquetConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, columns: typing.Optional[list[str]] = None, features: typing.Optional[datasets.features.features.Features] = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, fragment_scan_options: typing.Optional[pyarrow._dataset_parquet.ParquetFragmentScanOptions] = None, on_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error')
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/parquet/parquet.py#L20)

**Parâmetros:**

batch_size (`int`, *opcional*) : Tamanho dos RecordBatches a serem iterados. O padrão é o tamanho do grupo de linhas (definido pelo primeiro grupo de linhas).

columns (`list[str]`, *opcional*) : Lista de colunas para carregar; as demais são ignoradas. Por padrão, todas as colunas são carregadas.

features : (`Features`, *opcional*): Converte os dados para `features`.

filters (`Union[pyarrow.dataset.Expression, list[tuple], list[list[tuple]]]`, *opcional*) : Retorna apenas as linhas que correspondem ao filtro. Se possível, o predicado será empurrado para baixo para explorar as informações de particionamento ou os metadados internos encontrados na fonte de dados, por exemplo, estatísticas do Parquet. Caso contrário, filtra os RecordBatches carregados antes de retorná-los.

fragment_scan_options (`pyarrow.dataset.ParquetFragmentScanOptions`, *opcional*) : Opções específicas de varredura para fragmentos Parquet. Isso é especialmente útil para configurar bufferização e cache.

on_bad_files (`Literal["error", "warn", "skip"]`, *opcional*, padrão "error") : Especifica o que fazer ao encontrar um arquivo inválido (um arquivo que não pode ser lido). Os valores permitidos são: * 'error', lança uma Exception quando um arquivo inválido é encontrado. * 'warn', lança um aviso quando um arquivo inválido é encontrado e ignora esse arquivo. * 'skip', ignora arquivos inválidos sem lançar exceção ou aviso quando são encontrados.

BuilderConfig para Parquet.

Exemplo:

Carregue um subconjunto de colunas:

```python
>>> ds = load_dataset(parquet_dataset_id, columns=["col_0", "col_1"])
```

Transmita dados e filtre-os de forma eficiente, possivelmente ignorando arquivos inteiros ou grupos de linhas:

```python
>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(parquet_dataset_id, streaming=True, filters=filters)
```

Aumente o tamanho mínimo da solicitação ao transmitir de 32MiB (padrão) para 128MiB e ative o pré-carregamento:

```python
>>> import pyarrow
>>> import pyarrow.dataset
>>> fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
...     cache_options=pyarrow.CacheOptions(
...         prefetch_limit=1,
...         range_size_limit=128 << 20
...     ),
... )
>>> ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)
```

#### datasets.packaged_modules.parquet.Parquet[[datasets.packaged_modules.parquet.Parquet]]

```python
datasets.packaged_modules.parquet.Parquet(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/parquet/parquet.py#L93)

### Arrow[[datasets.packaged_modules.arrow.ArrowConfig]]

#### datasets.packaged_modules.arrow.ArrowConfig[[datasets.packaged_modules.arrow.ArrowConfig]]

```python
datasets.packaged_modules.arrow.ArrowConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/arrow/arrow.py#L15)

BuilderConfig para Arrow.

#### datasets.packaged_modules.arrow.Arrow[[datasets.packaged_modules.arrow.Arrow]]

```python
datasets.packaged_modules.arrow.Arrow(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/arrow/arrow.py#L24)

### Vortex[[datasets.packaged_modules.vortex.VortexConfig]]

#### datasets.packaged_modules.vortex.VortexConfig[[datasets.packaged_modules.vortex.VortexConfig]]

```python
datasets.packaged_modules.vortex.VortexConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, columns: typing.Optional[list[str]] = None, features: typing.Optional[datasets.features.features.Features] = None, filters: typing.Union[ForwardRef('vortex.expr.Expr'), list[tuple], list[list[tuple]], NoneType] = None, on_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error')
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/vortex/vortex.py#L54)

**Parâmetros:**

batch_size (`int`, *opcional*) : Tamanho dos RecordBatches a serem iterados. O valor padrão é definido pelo scanner Vortex.

columns (`list[str]`, *opcional*) : Lista de colunas para carregar; as demais são ignoradas. Por padrão, todas as colunas são carregadas.

features : (`Features`, *opcional*): Converte os dados para `features`.

filters (`Union[vortex.expr.Expr, list[tuple], list[list[tuple]]]`, *opcional*) : Retorna apenas as linhas que correspondem ao filtro. O predicado é empurrado para o scan do Vortex, de modo que apenas as linhas correspondentes são lidas. Filtros fornecidos como uma lista de tuplas (DNF, como o carregador Parquet aceita) são convertidos em uma expressão Vortex. Nulos seguem a semântica SQL: um nulo não satisfaz nenhuma comparação, portanto, uma linha cuja coluna filtrada é nula nunca é retornada. Observe que `not in` portanto descarta nulos, enquanto o carregador Parquet os mantém, pois ele constrói `~field.isin(values)` e um nulo não está no conjunto.

on_bad_files (`Literal["error", "warn", "skip"]`, *opcional*, padrão "error") : Especifica o que fazer ao encontrar um arquivo inválido (um arquivo que não pode ser lido). Os valores permitidos são: * 'error', lança uma Exception quando um arquivo inválido é encontrado. * 'warn', lança um aviso quando um arquivo inválido é encontrado e ignora esse arquivo. * 'skip', ignora arquivos inválidos sem lançar exceção ou aviso quando são encontrados.

BuilderConfig para Vortex.

Exemplo:

Carregue um subconjunto de colunas:

```python
>>> ds = load_dataset(vortex_dataset_id, columns=["col_0", "col_1"])
```

Transmita dados e filtre-os de forma eficiente, pulando arquivos ou blocos inteiros sempre que possível:

```python
>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(vortex_dataset_id, streaming=True, filters=filters)
```

#### datasets.packaged_modules.vortex.Vortex[[datasets.packaged_modules.vortex.Vortex]]

```python
datasets.packaged_modules.vortex.Vortex(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/vortex/vortex.py#L226)

### SQL[[datasets.packaged_modules.sql.SqlConfig]]

#### datasets.packaged_modules.sql.SqlConfig[[datasets.packaged_modules.sql.SqlConfig]]

```python
datasets.packaged_modules.sql.SqlConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, sql: typing.Union[str, ForwardRef('sqlalchemy.sql.Selectable')] = None, con: typing.Union[str, ForwardRef('sqlalchemy.engine.Connection'), ForwardRef('sqlalchemy.engine.Engine'), ForwardRef('sqlite3.Connection')] = None, index_col: typing.Union[str, list[str], NoneType] = None, coerce_float: bool = True, params: typing.Union[list, tuple, dict, NoneType] = None, parse_dates: typing.Union[list, dict, NoneType] = None, columns: typing.Optional[list[str]] = None, chunksize: typing.Optional[int] = 10000, features: typing.Optional[datasets.features.features.Features] = None)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/sql/sql.py#L25)

BuilderConfig para SQL.

#### datasets.packaged_modules.sql.Sql[[datasets.packaged_modules.sql.Sql]]

```python
datasets.packaged_modules.sql.Sql(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/sql/sql.py#L92)

### Imagens[[datasets.packaged_modules.imagefolder.ImageFolderConfig]]

#### datasets.packaged_modules.imagefolder.ImageFolderConfig[[datasets.packaged_modules.imagefolder.ImageFolderConfig]]

```python
datasets.packaged_modules.imagefolder.ImageFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/imagefolder/imagefolder.py#L9)

BuilderConfig para ImageFolder.

#### datasets.packaged_modules.imagefolder.ImageFolder[[datasets.packaged_modules.imagefolder.ImageFolder]]

```python
datasets.packaged_modules.imagefolder.ImageFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/imagefolder/imagefolder.py#L19)

### Áudio[[datasets.packaged_modules.audiofolder.AudioFolderConfig]]

#### datasets.packaged_modules.audiofolder.AudioFolderConfig[[datasets.packaged_modules.audiofolder.AudioFolderConfig]]

```python
datasets.packaged_modules.audiofolder.AudioFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/audiofolder/audiofolder.py#L9)

Configuração do Builder para AudioFolder.

#### datasets.packaged_modules.audiofolder.AudioFolder[[datasets.packaged_modules.audiofolder.AudioFolder]]

```python
datasets.packaged_modules.audiofolder.AudioFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/audiofolder/audiofolder.py#L19)

### Vídeos[[datasets.packaged_modules.videofolder.VideoFolderConfig]]

#### datasets.packaged_modules.videofolder.VideoFolderConfig[[datasets.packaged_modules.videofolder.VideoFolderConfig]]

```python
datasets.packaged_modules.videofolder.VideoFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/videofolder/videofolder.py#L9)

BuilderConfig para ImageFolder.

#### datasets.packaged_modules.videofolder.VideoFolder[[datasets.packaged_modules.videofolder.VideoFolder]]

```python
datasets.packaged_modules.videofolder.VideoFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/videofolder/videofolder.py#L19)

### HDF5[[datasets.packaged_modules.hdf5.HDF5Config]]

#### datasets.packaged_modules.hdf5.HDF5Config[[datasets.packaged_modules.hdf5.HDF5Config]]

```python
datasets.packaged_modules.hdf5.HDF5Config(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, features: typing.Optional[datasets.features.features.Features] = None)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/hdf5/hdf5.py#L33)

BuilderConfig para HDF5.

#### datasets.packaged_modules.hdf5.HDF5[[datasets.packaged_modules.hdf5.HDF5]]

```python
datasets.packaged_modules.hdf5.HDF5(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/hdf5/hdf5.py#L40)

ArrowBasedBuilder que converte arquivos HDF5 em tabelas Arrow usando os tipos de extensão do HF.

### TsFile[[datasets.packaged_modules.tsfile.TsFileConfig]]

#### datasets.packaged_modules.tsfile.TsFileConfig[[datasets.packaged_modules.tsfile.TsFileConfig]]

```python
datasets.packaged_modules.tsfile.TsFileConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, table_name: Optional[str] = None, columns: Optional[list[str]] = None, start_time: Optional[Any] = None, end_time: Optional[Any] = None, input_batch_size: int = 65536, output_batch_size: int = 32, features: Optional[datasets.Features] = None, on_bad_files: Literal['error', 'warn', 'skip'] = 'error', timestamp_unit: Literal['s', 'ms', 'us', 'ns'] = 'ms', timestamp_tz: Optional[str] = None)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/tsfile/tsfile.py#L143)

**Parâmetros:**

table_name (*str*, *opcional*) : Nome da tabela a ser lida. Quando não definido, a primeira tabela encontrada no primeiro arquivo válido é utilizada. As buscas não diferenciam maiúsculas de minúsculas.

columns (*list[str]*, *opcional*) : Subconjunto das colunas FIELD a serem mantidas. As colunas TAG e a coluna TIME são *sempre* retornadas (elas identificam o dispositivo / sua linha do tempo e não podem ser excluídas). Nomes que se referem a colunas TAG ou TIME, ou a campos ausentes em todos os arquivos, são resolvidos silenciosamente: as TAGs/TIME são emitidas como de costume, e os campos nunca vistos se tornam colunas de lista com todos os valores nulos. Quando não definido, todos os FIELDs são retornados.

start_time, end_time (*datetime*, *date*, *pa.TimestampScalar*, *str* ISO-8601 ou *int*, *opcional*) : Intervalo de timestamps inclusivo. Qualquer uma das extremidades pode ser omitida. Valores de `datetime` são considerados no próprio fuso horário (UTC se ingênuo); `int` é interpretado como um epoch bruto em `timestamp_unit`.

input_batch_size (*int*, *opcional*, padrão 65_536) : Número máximo de linhas obtidas por lote Arrow de `TsFileReader.query_table`. Controla a memória de pico durante o streaming de um único dispositivo.

output_batch_size (*int*, *opcional*, padrão 32) : Número de dispositivos (linhas do conjunto de dados de saída) agrupados em cada lote de registros Arrow enviado ao escritor. Também é a granularidade com que a barra de progresso do conjunto de dados avança; valores menores fornecem feedback mais responsivo em leituras lentas por dispositivo, enquanto valores maiores reduzem a sobrecarga por lote.

features (*Recursos*, *opcional*) : Esquema de Recursos final. Quando fornecido, a varredura de metadados nos arquivos de entrada é ignorada.

on_bad_files (*Literal["error", "warn", "skip"]*, *opcional*, padrão "error") : O que fazer se um arquivo não puder ser aberto ou não possuir a tabela solicitada.

timestamp_unit (*Literal["s", "ms", "us", "ns"]*, *opcional*, padrão "ms") : Unidade de tempo para a coluna de timestamp. O padrão do IoTDB é milissegundos.

timestamp_tz (*str*, *opcional*) : Fuso horário para a coluna de timestamp. `None` significa sem fuso horário.

BuilderConfig para TsFile (modelo de tabela) — formato largo por dispositivo.

#### datasets.packaged_modules.tsfile.TsFile[[datasets.packaged_modules.tsfile.TsFile]]

```python
datasets.packaged_modules.tsfile.TsFile(*args, **kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/tsfile/tsfile.py#L233)

Construtor de formato largo por dispositivo para TsFile (modelo de tabela).

### Pdf[[datasets.packaged_modules.pdffolder.PdfFolderConfig]]

#### datasets.packaged_modules.pdffolder.PdfFolderConfig[[datasets.packaged_modules.pdffolder.PdfFolderConfig]]

```python
datasets.packaged_modules.pdffolder.PdfFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/pdffolder/pdffolder.py#L9)

BuilderConfig para ImageFolder.

#### datasets.packaged_modules.pdffolder.PdfFolder[[datasets.packaged_modules.pdffolder.PdfFolder]]

```python
datasets.packaged_modules.pdffolder.PdfFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/pdffolder/pdffolder.py#L19)

### Nifti[[datasets.packaged_modules.niftifolder.NiftiFolderConfig]]

#### datasets.packaged_modules.niftifolder.NiftiFolderConfig[[datasets.packaged_modules.niftifolder.NiftiFolderConfig]]

```python
datasets.packaged_modules.niftifolder.NiftiFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/niftifolder/niftifolder.py#L9)

BuilderConfig para NiftiFolder.

#### datasets.packaged_modules.niftifolder.NiftiFolder[[datasets.packaged_modules.niftifolder.NiftiFolder]]

```python
datasets.packaged_modules.niftifolder.NiftiFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/niftifolder/niftifolder.py#L20)

### WebDataset[[datasets.packaged_modules.webdataset.WebDataset]]

#### datasets.packaged_modules.webdataset.WebDataset[[datasets.packaged_modules.webdataset.WebDataset]]

```python
datasets.packaged_modules.webdataset.WebDataset(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/webdataset/webdataset.py#L20)

### Harbor[[datasets.packaged_modules.harbor.HarborConfig]]

#### datasets.packaged_modules.harbor.HarborConfig[[datasets.packaged_modules.harbor.HarborConfig]]

```python
datasets.packaged_modules.harbor.HarborConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, strip_canary: bool = True, include_files: bool = True)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/harbor/harbor.py#L95)

**Parâmetros:**

features (`Features`, *opcional*) : Define os recursos usados para converter as linhas geradas. Por padrão, são usados os recursos de uma tarefa do Harbor (veja `Harbor`).

strip_canary (`bool`, *opcional*, padrão `True`) : Remove as linhas de comentário iniciais "benchmark data canary" de `instruction.md` e das instruções das etapas, assim como o Harbor faz ao enviá-las a um agente.

include_files (`bool`, *opcional*, padrão `True`) : Lista todos os arquivos de cada tarefa (`environment/`, `tests/`, `solution/`...) na coluna `files`. Defina como `False` para pular a listagem dos diretórios das tarefas, o que é mais rápido quando o conjunto de dados está em um sistema de arquivos remoto.

BuilderConfig para repositórios de tarefas do Harbor.

#### datasets.packaged_modules.harbor.Harbor[[datasets.packaged_modules.harbor.Harbor]]

```python
datasets.packaged_modules.harbor.Harbor(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Fonte](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/harbor/harbor.py#L116)

Builder para repositórios de tarefas do Harbor: uma linha por diretório de tarefa.

Ele gera os seguintes recursos:

- **name** (`str`) -- nome da tarefa, como `org/name` em `[task].name` de `task.toml`, ou o nome do diretório da tarefa quando `task.toml` não tem a seção `[task]`.
- **description** (`str`) -- `[task].description` de `task.toml`.
- **instruction** (`str`) -- conteúdo de `instruction.md`.
- **keywords** (`list` de `str`) -- `[task].keywords` de `task.toml`.
- **schema_version** (`str`) -- `schema_version` declarado por `task.toml`.
- **config** (`dict`) -- o `task.toml` completo, como um objeto JSON.
- **metadata** (`dict`) -- a seção livre `[metadata]` de `task.toml`.
- **arquivos** (`list` de `str`) -- todos os arquivos da tarefa, relativos ao diretório da tarefa.
- **location** (`str`) -- caminho do diretório da tarefa, relativo à raiz do conjunto de dados.