File data Konfigurasi

Tidak ada batasan mengenai cara menyusun repositori dataset.

Namun, jika Anda ingin Dataset Viewer menampilkan file data tertentu, atau memisahkan dataset Anda menjadi split train/validation/test, Anda perlu menyusun dataset Anda secara sesuai. Sering kali ini sesederhana menamai file data Anda sesuai dengan nama split-nya, misalnya train.csv dan test.csv.

Apa itu splits dan subsets?

Dataset machine learning biasanya memiliki split dan mungkin juga memiliki subset. Sebuah dataset umumnya terdiri dari split (misalnya train dan test) yang digunakan selama berbagai tahap pelatihan dan evaluasi model. Subset (juga disebut configuration) adalah sub-dataset yang terkandung dalam dataset yang lebih besar. Subset sangat umum ditemukan dalam dataset ucapan multibahasa, di mana mungkin ada subset yang berbeda untuk setiap bahasa. Jika Anda tertarik untuk mempelajari lebih lanjut tentang split dan subset, lihat panduan Splits and subsets!

Deteksi split otomatis

Splits dideteksi secara otomatis berdasarkan nama file dan direktori. Misalnya, ini adalah dataset dengan splits train, test, dan validation:

my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv

Untuk menyusun dataset Anda dengan menamai file atau direktori data sesuai dengan nama split-nya, lihat dokumentasi Nama file dan split dan kumpulan dataset contoh pendamping.

Konfigurasi manual untuk pemisahan dan subset

Anda dapat memilih file data yang akan ditampilkan di Dataset Viewer untuk dataset Anda menggunakan YAML. Hal ini berguna jika Anda ingin menentukan secara manual file mana yang masuk ke split mana.

Anda juga dapat mendefinisikan beberapa subset untuk dataset Anda, dan meneruskan parameter pembangunan dataset (misalnya pemisah yang akan digunakan untuk file CSV).

Berikut adalah contoh konfigurasi yang mendefinisikan subset bernama “benchmark” dengan split test.

configs:
- config_name: benchmark
  data_files:
  - split: test
    path: benchmark.csv

Lihat dokumentasi tentang Konfigurasi manual untuk informasi lebih lanjut. Lihat juga dataset contoh.

Format file yang didukung

Lihat halaman dokumen Format file untuk menemukan daftar format yang didukung dan rekomendasi untuk dataset Anda. Jika dataset Anda menggunakan file CSV atau TSV, Anda dapat menemukan informasi lebih lanjut di dataset contoh.

Kesalahan batas ukuran Dataset Viewer ( TooBigContentError )

Jika Anda melihat Error code: TooBigContentError, maka dataset viewer tidak dapat membaca pratinjau dalam batasnya. Pesan umum termasuk Parquet error: Scan size limit exceeded dan The size of the content of the first rows exceeds the maximum supported size.

Yang dapat Anda lakukan:

• Untuk file Parquet, gunakan grup baris yang lebih kecil dan sertakan indeks halaman (write_page_index=True) agar Viewer hanya membaca apa yang dibutuhkan.
• Hindari nilai yang sangat besar di baris-baris awal (string yang sangat panjang, blob JSON besar, payload base64). Pindahkan payload besar ke file terpisah jika memungkinkan.
• Bagi file yang sangat besar menjadi shard atau split yang lebih kecil, lalu unggah ulang.
• Jika masalah masih terjadi, tinjau Configure the Dataset Viewer dan buka diskusi di halaman dataset Anda dengan teks error lengkap.

Dataset Gambar, Audio, dan Video

Untuk dataset klasifikasi gambar/audio/video, Anda juga dapat menggunakan direktori untuk memberi nama kelas gambar/audio/video. Dan jika file gambar/audio/video Anda memiliki metadata (misalnya caption, bounding box, transkripsi, dll.), Anda dapat menempatkan file metadata di sampingnya.

Kami menyediakan dua panduan yang dapat Anda lihat:

• Cara membuat dataset gambar (dataset contoh)
• Cara membuat dataset audio (dataset contoh)
• Cara membuat dataset video