Panduan Pengkodean Video Streaming

1. Gambaran umum

Encoding video streaming menghilangkan round-trip PNG tradisional selama perekaman dataset video. Sebagai gantinya:

1. Ambil frame -> tulis PNG ke disk -> (di akhir episode) baca PNG -> encode ke MP4 -> hapus PNG

Frame dapat dikodekan secara real-time selama proses pengambilan:

1. Ambil frame -> antre ke thread encoder -> encode langsung ke MP4

Hal ini membuat save_episode() hampir instan (video sudah terenkod saat episode berakhir) dan menghilangkan penantian pemblokiran yang sebelumnya terjadi antar episode, terutama dengan beberapa kamera dalam episode panjang.

2. Menyetel Parameter

3. Pertimbangan Performa

Streaming encoding berarti CPU meng-encode video selama loop pengambilan, bukan setelahnya. Hal ini menciptakan anggaran CPU yang harus dibagi antara:

• Loop kontrol (membaca kamera, mengontrol robot, menulis data non-video)
• Thread encoder (satu pool per kamera)
• Jalankan ulang visualisasi (jika diaktifkan)
• Sistem operasi dan proses lain

Dampak Resolusi & Jumlah Kamera

encoder_threads Penyetelan

Parameter ini mengontrol berapa banyak thread yang digunakan secara internal oleh setiap instance encoder:

• Nilai yang lebih tinggi (misalnya, 4-5): Enkoding lebih cepat, tetapi menggunakan lebih banyak inti CPU per kamera. Cocok untuk sistem kelas atas dengan banyak inti.
• Nilai yang lebih rendah (misalnya, 1-2): Penggunaan CPU per kamera lebih sedikit, sehingga inti CPU tersedia untuk pengambilan gambar dan visualisasi. Cocok untuk gambar beresolusi rendah dan CPU yang mumpuni.
• None (default): Membiarkan codec yang memutuskan. Informasi tersedia di log codec.

Backpressure dan Penghapusan Frame

Setiap kamera memiliki antrean terbatas (encoder_queue_maxsize, default 30 frame). Ketika encoder tidak mampu mengimbangi:

1. Antrean terisi penuh (mengonsumsi RAM)
2. Frame baru dibuang (tidak diblokir) — loop penangkapan terus berjalan tanpa terputus
3. Peringatan dicatat: "Encoder queue full for {camera}, dropped N frame(s)"
4. Di akhir episode, total frame yang hilang per kamera dilaporkan

Gejala Encoder yang Tertinggal

• Sistem terasa lambat dan membeku: semua CPU berada di 100%
• Peringatan frame yang hilang di log atau frame/FPS yang lebih rendah dari yang diharapkan dalam dataset yang direkam
• Pergerakan robot yang tersendat: Jika CPU sangat terbebani, bahkan loop penangkapan pun dapat terpengaruh
• Penundaan rerun yang terakumulasi: Visualisasi tertinggal dari waktu nyata

4. Enkoding yang Dipercepat Perangkat Keras

Kapan Digunakan

Gunakan encoding HW saat:

• CPU adalah titik kemacetan (frame terlewat, gerakan robot tersendat, lag rerun)
• Anda memiliki perangkat keras yang kompatibel (GPU atau encoder khusus)
• Anda merekam dengan throughput tinggi (resolusi tinggi atau dengan banyak kamera)

Memilih Codec

Encoder HW yang Tersedia

Untuk menggunakan encoder yang dipercepat oleh HW, Anda mungkin perlu memperbarui driver GPU Anda.

libsvtav1 adalah default karena memberikan kinerja pelatihan terbaik; vcodec lain dapat mengurangi penggunaan CPU dan lebih cepat, tetapi biasanya menghasilkan file yang lebih besar dan dapat memengaruhi waktu pelatihan.

5. Pemecahan masalah

6. Konfigurasi yang Direkomendasikan

Estimasi ini bersifat konservatif; kami merekomendasikan untuk mengujinya pada konfigurasi Anda—mulai dengan beban rendah dan tingkatkan secara bertahap.

Sistem Kelas Atas: 12+ inti modern (24+ thread)

Throughput antara ~250-500M px/sec seharusnya nyaman di CPU. Untuk hasil yang lebih baik, coba HW encoding jika tersedia.

# 3camsx 1280x720x3 @30fps: Defaults work well. Optionally increase encoder parallelism.
# 2camsx 1920x1080x3 @30fps: Defaults work well. Optionally increase encoder parallelism.
lerobot-record --dataset.encoder_threads=5 ...

# 3camsx 1920x1080x3 @30fps: Might require some tuning.

Sistem Menengah: 8+ inti modern (16+ thread) atau Apple Silicon

Throughput antara ~80-300M px/sec seharusnya mungkin dicapai di CPU.

# 3camsx 640x480x3 @30fps: Defaults work well. Optionally decrease encoder parallelism.
# 2camsx 1280x720x3 @30fps: Defaults work well. Optionally decrease encoder parallelism.
lerobot-record --dataset.encoder_threads=2 ...

# 2camsx 1920x1080x3 @30fps: Might require some tuning.

Sistem Berbasis Sumber Daya Rendah: 4+ inti modern (8+ thread) atau Raspberry Pi 5

Pada sistem yang sangat terbatas, streaming encoding mungkin terlalu banyak bersaing dengan loop capture. Menonaktifkannya akan kembali ke pendekatan berbasis PNG di mana encoding terjadi di antara episode (blocking, tetapi tidak mengganggu capture). Sebagai alternatif, rekam pada throughput yang lebih rendah untuk mengurangi beban capture dan encoding. Pertimbangkan juga untuk mengubah codec menjadi h264 dan menggunakan batch encoding.

# 2camsx 640x480x3 @30fps: Requires some tuning.

# Use H.264, disable streaming, consider batching encoding
lerobot-record --dataset.rgb_encoder.vcodec=h264 --dataset.streaming_encoding=false ...

7. Catatan penutup

Performa pada akhirnya bergantung pada konfigurasi spesifik Anda — frame-per-detik, resolusi, jumlah dan beban core CPU, memori yang tersedia, panjang episode, dan encoder yang Anda pilih. Selalu uji dengan beban kerja target Anda, perhatikan kemampuan CPU & sistem Anda, dan atur encoder_threads, encoder_queue_maxsize, serta vcodec secara wajar. Meskipun demikian, konfigurasi praktis yang umum (untuk banyak aplikasi) adalah tiga kamera pada 640×480x3 @30fps; ini biasanya berjalan baik dengan pengaturan encoding video streaming bawaan di sistem modern. Selalu verifikasi bahwa dataset yang Anda rekam sehat dengan membandingkan durasi video terhadap durasi episode CLI dan memastikan jumlah baris sama dengan FPS × durasi CLI.