Kameralar

LeRobot, video yakalama için birden fazla seçenek sunar:

OpenCVCamera uyumluluk ayrıntıları için OpenCV ile Video G/Ç Genel Bakış başlığını inceleyin.

Kameranızı bulun

Her kamera, birden fazla bağlı cihaz arasında ayrım yapmanıza olanak tanıyan benzersiz bir tanımlayıcı ile örneklenmelidir.

OpenCVCamera ve RealSenseCamera otomatik algılama özelliğini destekler. Kullanılabilir cihazları ve tanımlayıcılarını listelemek için aşağıdaki komutu çalıştırın. İşletim sisteminize bağlı olarak bu tanımlayıcılar, bilgisayarınızı yeniden başlattıktan veya kamerayı yeniden takıp çıkardıktan sonra değişebilir.

lerobot-find-cameras opencv # or realsense for Intel Realsense cameras

İki kamera bağlıysa çıktı aşağıdaki gibi görünecektir:

--- Detected Cameras ---
Camera #0:
  Name: OpenCV Camera @ 0
  Type: OpenCV
  Id: 0
  Backend api: AVFOUNDATION
  Default stream profile:
    Format: 16.0
    Width: 1920
    Height: 1080
    Fps: 15.0
--------------------
(more cameras ...)

macOS üzerinde Intel RealSense kameralarını kullanırken bu hatayı alabilirsiniz: Error finding RealSense cameras: failed to set power state. Bu sorun, aynı komutu sudo izinleriyle çalıştırılarak çözülebilir. macOS üzerinde RealSense kameralarının kullanımı istikrarsızdır.

ZMQCamera ve Reachy2Camera otomatik keşfi desteklemez. Ağ adresi ve portu veya robot SDK ayarları sağlanarak manuel olarak yapılandırılmalıdır.

Kamera yerleşimi ve aydınlatma

Kamera görüntüleri, politikanızın öğrenme kaynağıdır; bu nedenle yüksek çözünürlükten çok iyi bir kamera kurulumu daha önemlidir:

• Sahneyi eşit şekilde aydınlatın. Yayılmış, tutarlı bir ışık kullanın ve doğrudan güneş ışığı, güçlü yansımalar ve hareketli gölgelerden kaçının. Kayıt ve dağıtım arasındaki aydınlatma farkları, bir politikanın başarısız olmasına neden olabilir.
• Kameraları sabitleyin. Onları rijit bir şekilde monte edin ve kayıt oturumları arasında veya kayıt ile dağıtım arasında hareket ettirmeyin.
• Görevi çerçeveleyin. Nesne, kavrama mekanizması ve hedef en az bir kamerada görünür olmalıdır. İyi bir test: Görevi yalnızca kamera görüntülerine bakarak kendiniz yapabilir misiniz?
• Çözünürlüğü makul tutun. Çoğu görev için 640×480 ve 30 fps yeterlidir ve kayıt ile eğitimi hızlı tutar.

Kameraları kullanın

Çerçeve erişim modları

Tüm kamera sınıfları, kare yakalama için üç erişim modunu uygular:

Kullanım örnekleri

Aşağıdaki örnekler, farklı kamera türlerinden kare yapılandırmak ve yakalamak için kamera API'sinin nasıl kullanılacağını gösterir.

• OpenCV tabanlı bir kamera ile engelleyici ve engelleyici olmayan kare yakalama
• Intel RealSense kamera ile Renk ve derinlik yakalama

Kameraların temiz bir şekilde bağlantısının kesilmemesi kaynak sızıntılarına neden olabilir. Otomatik temizleme işlemini sağlamak için bağlam yöneticisi protokolünü kullanın:

Kopyalandı

with OpenCVCamera(config) as camera:
    ...

connect() ve disconnect() fonksiyonlarını manuel olarak da çağırabilirsiniz ancak ikincisi için her zaman bir finally bloğu kullanın.

from lerobot.cameras.opencv import OpenCVCamera, OpenCVCameraConfig
from lerobot.cameras import ColorMode, Cv2Rotation

# Construct an `OpenCVCameraConfig` with your desired FPS, resolution, color mode, and rotation.
config = OpenCVCameraConfig(
    index_or_path=0,
    fps=15,
    width=1920,
    height=1080,
    color_mode=ColorMode.RGB,
    rotation=Cv2Rotation.NO_ROTATION
)

# Instantiate and connect an `OpenCVCamera`, performing a warm-up read (default).
with OpenCVCamera(config) as camera:

    # Read a frame synchronously — blocks until hardware delivers a new frame
    frame = camera.read()
    print(f"read() call returned frame with shape:", frame.shape)

    # Read a frame asynchronously with a timeout — returns the latest unconsumed frame or waits up to timeout_ms for a new one
    try:
        for i in range(10):
            frame = camera.async_read(timeout_ms=200)
            print(f"async_read call returned frame {i} with shape:", frame.shape)
    except TimeoutError as e:
        print(f"No frame received within timeout: {e}")

    # Instantly return a frame - returns the most recent frame captured by the camera
    try:
        initial_frame = camera.read_latest(max_age_ms=1000)
        for i in range(10):
            frame = camera.read_latest(max_age_ms=1000)
            print(f"read_latest call returned frame {i} with shape:", frame.shape)
            print(f"Was a new frame received by the camera? {not (initial_frame == frame).any()}")
    except TimeoutError as e:
        print(f"Frame too old: {e}")

from lerobot.cameras.realsense import RealSenseCamera, RealSenseCameraConfig
from lerobot.cameras import ColorMode, Cv2Rotation

# Create a `RealSenseCameraConfig` specifying your camera’s serial number and enabling depth.
config = RealSenseCameraConfig(
    serial_number_or_name="233522074606",
    fps=15,
    width=640,
    height=480,
    color_mode=ColorMode.RGB,
    use_depth=True,
    # Optional fixed color controls. Omit them to leave the current sensor settings unchanged.
    exposure=120,
    gain=64,
    white_balance=4600,
    rotation=Cv2Rotation.NO_ROTATION
)

# Instantiate and connect a `RealSenseCamera` with warm-up read (default).
camera = RealSenseCamera(config)
camera.connect()

# Capture a color frame via `read()` and a depth map via `read_depth()`.
try:
    color_frame = camera.read()
    depth_map = camera.read_depth()
    print("Color frame shape:", color_frame.shape)
    print("Depth map shape:", depth_map.shape)
finally:
    camera.disconnect()

Derinlikle çalışma

Intel RealSense ve Reachy 2 kameraları, renk ve derinlik verilerini eş zamanlı olarak yakalayabilir. read() çağrısı, renk karesini (H, W, 3) uint8 olarak döndürür. read_depth() çağrısı ise derinlik haritasını (H, W, 1) uint16 olarak döndürür; bu haritada her piksel değeri, sensöre olan mesafenin milimetre cinsinden ifadesidir. 0 piksel değeri genellikle “ölçüm mevcut değil” (menzil dışı, tıkanmış veya düşük güven) anlamına gelir.

Kayıt sırasında, kontrol döngüsü en güncel tamponlanmış kareleri read_latest() (renk) ve read_latest_depth() (derinlik) ile engellemeden okur ve derinlik haritasını bir kardeş özellik olarak ekler (ör. front yanında front_depth).

Bir veri seti kaydedilirken derinlik akışlarının nasıl saklandığı ve kodlandığı hakkında bilgi için, video kodlama kılavuzundaki Derinlik akışları bölümüne bakın.

Telefonunuzun kamerasını kullanın

sudo apt install v4l2loopback-dkms v4l-utils

Her şey doğru şekilde yapılandırıldıysa, telefonunuz standart bir OpenCV kamerası olarak görünecek ve OpenCVCamera ile kullanılabilir olacaktır.