Dataset Audio

Panduan ini akan menunjukkan cara mengonfigurasi repositori dataset Anda dengan file audio. Anda dapat menemukan contoh repositori yang menyertainya dalam koleksi contoh dataset audio ini.

Dataset dengan struktur dan format file yang didukung secara otomatis memiliki Dataset Viewer di halamannya di Hub.

Informasi tambahan tentang file audio Anda - seperti transkripsi - dimuat secara otomatis selama Anda menyertakan informasi ini dalam file metadata (metadata.csv/metadata.jsonl/metadata.parquet).

Sebagai alternatif, file audio dapat berada dalam file Parquet atau dalam arsip TAR yang mengikuti format WebDataset.

Hanya file audio

Jika dataset Anda hanya terdiri dari satu kolom berisi audio, Anda cukup menyimpan file audio Anda di root:

my_dataset_repository/
├── 1.wav
├── 2.wav
├── 3.wav
└── 4.wav

atau dalam subdirektori:

my_dataset_repository/
└── audio
    ├── 1.wav
    ├── 2.wav
    ├── 3.wav
    └── 4.wav

Beberapa format didukung secara bersamaan, termasuk AIFF, FLAC, MP3, OGG, dan WAV.

my_dataset_repository/
└── audio
    ├── 1.aiff
    ├── 2.ogg
    ├── 3.mp3
    └── 4.flac

Jika Anda memiliki beberapa split, Anda dapat menempatkan file audio Anda ke dalam direktori yang diberi nama sesuai:

my_dataset_repository/
├── train
│   ├── 1.wav
│   └── 2.wav
└── test
    ├── 3.wav
    └── 4.wav

Lihat Nama file dan split untuk informasi lebih lanjut dan cara lain untuk mengorganisasi data berdasarkan split.

Kolom tambahan

Jika ada informasi tambahan yang ingin Anda sertakan tentang dataset Anda, seperti transkripsi, tambahkan sebagai file metadata.csv di repositori Anda. Hal ini memungkinkan Anda dengan cepat membuat dataset untuk berbagai tugas audio seperti text-to-speech atau automatic speech recognition.

my_dataset_repository/
├── 1.wav
├── 2.wav
├── 3.wav
├── 4.wav
└── metadata.csv

File metadata.csv Anda harus memiliki kolom file_name yang menghubungkan file gambar dengan metadata mereka:

file_name,animal
1.wav,cat
2.wav,cat
3.wav,dog
4.wav,dog

Anda juga dapat menggunakan file JSONL metadata.jsonl:

{"file_name": "1.wav","text": "cat"}
{"file_name": "2.wav","text": "cat"}
{"file_name": "3.wav","text": "dog"}
{"file_name": "4.wav","text": "dog"}

Dan untuk dataset yang lebih besar atau jika Anda tertarik dengan fitur pengambilan data yang lebih lanjut, Anda dapat menggunakan file Parquet metadata.parquet.

Path relatif

File metadata harus berada di direktori yang sama dengan file audio yang terkait, atau di direktori induk mana pun, seperti pada contoh ini:

my_dataset_repository/
└── test
    ├── audio
    │   ├── 1.wav
    │   ├── 2.wav
    │   ├── 3.wav
    │   └── 4.wav
    └── metadata.csv

Dalam kasus ini, kolom file_name harus berupa jalur relatif lengkap ke file audio, bukan hanya nama file:

file_name,animal
audio/1.wav,cat
audio/2.wav,cat
audio/3.wav,dog
audio/4.wav,dog

File metadata tidak dapat ditempatkan di subdirektori dari direktori yang berisi file audio.

Secara lebih umum, kolom apa pun yang bernama file_name atau *_file_name harus berisi jalur relatif lengkap ke file audio.

Pada contoh ini, direktori test digunakan untuk mengatur nama split pelatihan. Lihat Nama file dan split untuk informasi lebih lanjut.

Klasifikasi audio

Untuk dataset klasifikasi audio, Anda juga dapat menggunakan setup sederhana: gunakan direktori untuk memberi nama kelas audio. Simpan file audio Anda dalam struktur direktori seperti:

my_dataset_repository/
├── cat
│   ├── 1.wav
│   └── 2.wav
└── dog
    ├── 3.wav
    └── 4.wav

Dataset yang dibuat dengan struktur ini berisi dua kolom: audio dan label (dengan nilai cat dan dog).

Anda juga dapat menyediakan beberapa split. Untuk melakukannya, direktori dataset Anda harus memiliki struktur berikut (lihat Nama file dan split untuk informasi lebih lanjut):

my_dataset_repository/
├── test
│   ├── cat
│   │   └── 2.wav
│   └── dog
│       └── 4.wav
└── train
    ├── cat
    │   └── 1.wav
    └── dog
        └── 3.wav

Anda dapat menonaktifkan penambahan otomatis kolom label dalam konfigurasi YAML. Jika nama direktori Anda tidak memiliki arti khusus, atur drop_labels: true di header README:

configs:
  - config_name: default  # Name of the dataset subset, if applicable.
    drop_labels: true

Dataset berskala besar

Format WebDataset

Format WebDataset sangat cocok untuk dataset audio berskala besar (lihat AlienKevin/sbs_cantonese sebagai contoh). Format ini terdiri dari arsip TAR yang berisi file audio dan metadata-nya, serta dioptimalkan untuk streaming. Format ini berguna jika Anda memiliki sejumlah besar file audio dan ingin mendapatkan streaming data loaders untuk pelatihan berskala besar.

my_dataset_repository/
├── train-0000.tar
├── train-0001.tar
├── ...
└── train-1023.tar

Untuk membuat arsip WebDataset TAR, buat direktori yang berisi file audio dan file metadata yang akan diarsipkan, lalu buat arsip TAR menggunakan misalnya perintah tar. Ukuran umum per arsip biasanya sekitar 1GB. Pastikan setiap pasangan file audio dan metadata memiliki prefiks file yang sama, misalnya:

train-0000/
├── 000.flac
├── 000.json
├── 001.flac
├── 001.json
├── ...
├── 999.flac
└── 999.json

Perhatikan bahwa untuk kenyamanan pengguna dan untuk memungkinkan Dataset Viewer, setiap dataset yang dihosting di Hub secara otomatis dikonversi ke format Parquet hingga 5GB. Baca lebih lanjut tentang hal ini dalam dokumentasi Parquet format.

Format Parquet

Alih-alih mengunggah file audio dan metadata sebagai file terpisah, Anda dapat menyematkan semuanya di dalam file Parquet. Hal ini berguna jika Anda memiliki sejumlah besar file audio, jika Anda ingin menyematkan beberapa kolom audio, atau jika Anda ingin menyimpan informasi tambahan tentang audio di file yang sama. Parquet juga berguna untuk menyimpan data seperti byte mentah, yang tidak didukung oleh JSON/CSV.

my_dataset_repository/
└── train.parquet

File Parquet dengan data audio dapat dibuat menggunakan pandas atau pustaka datasets. Untuk membuat file Parquet dengan data audio di pandas, Anda dapat menggunakan pandas-audio-methods dan df.to_parquet(). Di datasets, Anda dapat mengatur tipe kolom menjadi Audio() dan menggunakan metode ds.to_parquet(...) atau ds.push_to_hub(...). Anda dapat menemukan panduan untuk memuat dataset audio di datasets di sini.

Sebagai alternatif, Anda dapat mengatur tipe audio Parquet yang dibuat menggunakan alat lain secara manual. Pertama, pastikan kolom audio Anda bertipe struct, dengan field biner "bytes" untuk data audio dan field string "path" untuk nama atau path file audio. Kemudian, Anda harus menentukan tipe fitur kolom secara langsung dalam YAML di header README, misalnya:

dataset_info:
  features:
  - name: audio
    dtype: audio
  - name: caption
    dtype: string

Perhatikan bahwa Parquet direkomendasikan untuk file audio kecil (<1MB per file audio) dan grup baris kecil (100 baris per grup baris, yang digunakan oleh datasets untuk audio). Untuk file audio yang lebih besar, disarankan untuk menggunakan format WebDataset, atau membagikan file audio asli (secara opsional dengan file metadata).