Camera

LeRobot cung cấp nhiều tùy chọn cho việc thu video:

Để biết chi tiết về tính tương thích với OpenCVCamera, hãy xem Tổng quan về I/O video với OpenCV.

Tìm camera của bạn

Mỗi camera cần một định danh duy nhất để được khởi tạo, cho phép bạn phân biệt giữa nhiều thiết bị đã kết nối.

OpenCVCamera và RealSenseCamera hỗ trợ tự động phát hiện thiết bị. Chạy lệnh bên dưới để liệt kê các thiết bị khả dụng cùng định danh của chúng. Lưu ý rằng các định danh này có thể thay đổi sau khi khởi động lại máy tính hoặc cắm lại camera, tùy thuộc vào hệ điều hành của bạn.

lerobot-find-cameras opencv # or realsense for Intel Realsense cameras

Đầu ra sẽ trông giống như sau nếu bạn kết nối hai camera:

--- Detected Cameras ---
Camera #0:
  Name: OpenCV Camera @ 0
  Type: OpenCV
  Id: 0
  Backend api: AVFOUNDATION
  Default stream profile:
    Format: 16.0
    Width: 1920
    Height: 1080
    Fps: 15.0
--------------------
(more cameras ...)

Khi sử dụng camera Intel RealSense trên macOS, bạn có thể gặp lỗi này: Error finding RealSense cameras: failed to set power state. Bạn có thể khắc phục bằng cách chạy cùng lệnh đó với quyền sudo. Lưu ý rằng việc sử dụng camera RealSense trên macOS không ổn định.

ZMQCamera và Reachy2Camera không hỗ trợ tự động phát hiện. Bạn phải cấu hình thủ công bằng cách cung cấp địa chỉ mạng và cổng hoặc cài đặt SDK của robot.

Vị trí đặt camera và ánh sáng

Hình ảnh từ camera là thứ mà chính sách của bạn học từ đó, vì vậy một bố trí camera tốt quan trọng hơn độ phân giải cao:

• Chiếu sáng đều cho toàn cảnh. Sử dụng ánh sáng khuếch tán, đồng nhất và tránh ánh nắng trực tiếp, phản xạ mạnh và bóng đổ di chuyển. Sự khác biệt về ánh sáng giữa lúc ghi hình và triển khai có thể khiến chính sách thất bại.
• Cố định các camera tại chỗ. Gắn chúng thật chắc chắn và không di chuyển giữa các phiên ghi hình, hoặc giữa lúc ghi hình và triển khai.
• Định nghĩa bài toán. Đối tượng, gắp và đích đến phải hiển thị được trên ít nhất một camera. Một bài kiểm tra tốt: bạn có thể tự thực hiện bài toán chỉ bằng cách nhìn vào hình ảnh từ camera không?
• Giữ độ phân giải ở mức vừa phải. 640×480 ở 30 fps là đủ cho hầu hết các tác vụ và giúp quá trình ghi hình cũng như huấn luyện diễn ra nhanh hơn.

Sử dụng camera

Chế độ truy cập khung

Tất cả các lớp camera đều triển khai ba chế độ truy cập để thu thập khung hình:

Ví dụ sử dụng

Các ví dụ sau cho thấy cách sử dụng API camera để cấu hình và chụp khung hình từ các loại camera khác nhau.

• Chụp khung hình đồng bộ và không đồng bộ bằng camera dựa trên OpenCV
• Chụp màu và độ sâu bằng camera Intel RealSense

Việc ngắt kết nối camera không sạch sẽ có thể gây rò rỉ tài nguyên. Hãy sử dụng giao thức trình quản lý ngữ cảnh để đảm bảo dọn dẹp tự động:

Đã sao chép

with OpenCVCamera(config) as camera:
    ...

Bạn cũng có thể gọi connect() và disconnect() thủ công, nhưng luôn luôn sử dụng khối finally cho lệnh sau.

from lerobot.cameras.opencv import OpenCVCamera, OpenCVCameraConfig
from lerobot.cameras import ColorMode, Cv2Rotation

# Construct an `OpenCVCameraConfig` with your desired FPS, resolution, color mode, and rotation.
config = OpenCVCameraConfig(
    index_or_path=0,
    fps=15,
    width=1920,
    height=1080,
    color_mode=ColorMode.RGB,
    rotation=Cv2Rotation.NO_ROTATION
)

# Instantiate and connect an `OpenCVCamera`, performing a warm-up read (default).
with OpenCVCamera(config) as camera:

    # Read a frame synchronously — blocks until hardware delivers a new frame
    frame = camera.read()
    print(f"read() call returned frame with shape:", frame.shape)

    # Read a frame asynchronously with a timeout — returns the latest unconsumed frame or waits up to timeout_ms for a new one
    try:
        for i in range(10):
            frame = camera.async_read(timeout_ms=200)
            print(f"async_read call returned frame {i} with shape:", frame.shape)
    except TimeoutError as e:
        print(f"No frame received within timeout: {e}")

    # Instantly return a frame - returns the most recent frame captured by the camera
    try:
        initial_frame = camera.read_latest(max_age_ms=1000)
        for i in range(10):
            frame = camera.read_latest(max_age_ms=1000)
            print(f"read_latest call returned frame {i} with shape:", frame.shape)
            print(f"Was a new frame received by the camera? {not (initial_frame == frame).any()}")
    except TimeoutError as e:
        print(f"Frame too old: {e}")

from lerobot.cameras.realsense import RealSenseCamera, RealSenseCameraConfig
from lerobot.cameras import ColorMode, Cv2Rotation

# Create a `RealSenseCameraConfig` specifying your camera’s serial number and enabling depth.
config = RealSenseCameraConfig(
    serial_number_or_name="233522074606",
    fps=15,
    width=640,
    height=480,
    color_mode=ColorMode.RGB,
    use_depth=True,
    # Optional fixed color controls. Omit them to leave the current sensor settings unchanged.
    exposure=120,
    gain=64,
    white_balance=4600,
    rotation=Cv2Rotation.NO_ROTATION
)

# Instantiate and connect a `RealSenseCamera` with warm-up read (default).
camera = RealSenseCamera(config)
camera.connect()

# Capture a color frame via `read()` and a depth map via `read_depth()`.
try:
    color_frame = camera.read()
    depth_map = camera.read_depth()
    print("Color frame shape:", color_frame.shape)
    print("Depth map shape:", depth_map.shape)
finally:
    camera.disconnect()

Làm việc với độ sâu

Camera Intel RealSense và Reachy 2 có thể ghi nhận cả màu sắc và độ sâu đồng bộ. Gọi read() sẽ trả về khung hình màu dưới dạng (H, W, 3) uint8. Gọi read_depth() sẽ trả về bản đồ độ sâu dưới dạng (H, W, 1) uint16, trong đó giá trị của mỗi pixel là khoảng cách từ cảm biến được biểu diễn bằng milimét. Giá trị pixel là 0 thường có nghĩa là “không có phép đo khả dụng” (ngoài phạm vi, bị che khuất, hoặc độ tin cậy thấp).

Trong quá trình ghi hình, vòng lặp điều khiển đọc các khung hình mới nhất trong bộ đệm một cách không chặn thông qua read_latest() (màu) và read_latest_depth() (độ sâu), thêm bản đồ độ sâu như một đặc trưng anh em (ví dụ front_depth bên cạnh front).

Để biết cách lưu trữ và mã hóa các luồng độ sâu khi ghi lại một bộ dữ liệu, hãy xem phần Depth streams trong hướng dẫn mã hóa video.

Sử dụng camera trên điện thoại của bạn

sudo apt install v4l2loopback-dkms v4l-utils

Nếu mọi thứ được thiết lập đúng, điện thoại của bạn sẽ xuất hiện như một camera OpenCV tiêu chuẩn và có thể được sử dụng với OpenCVCamera.