LeRobot documentation
LeRobot
LeRobot
Học máy tiên tiến cho robot trong thế giới thực
🤗 LeRobot cung cấp giao diện Python thuần, không phụ thuộc phần cứng, để điều khiển các robot thực - từ những cánh tay giá rẻ như SO-ARM101 đến các humanoid hoàn chỉnh. Kèm theo là các công cụ để ghi, lưu trữ và chia sẻ các bộ dữ liệu mà chúng tạo ra. Mọi bộ dữ liệu đều sử dụng định dạng LeRobotDataset được chuẩn hóa (video đồng bộ + dữ liệu hành động/trạng thái) và có thể được phát trực tiếp từ Hugging Face Hub.
🤗 Trên nền dữ liệu đó, LeRobot triển khai các chính sách tiên tiến nhất - từ các mô hình học bắt chước nhẹ nhàng như ACT đến các mô hình thị giác-ngôn ngữ-hành động lớn như π₀ và SmolVLA - tất cả đều có thể huấn luyện, chia sẻ và triển khai bằng cùng một vài lệnh CLI.
Mục tiêu: hạ thấp rào cản gia nhập lĩnh vực robot, để mọi người đều có thể đóng góp và hưởng lợi từ các bộ dữ liệu và mô hình được huấn luyện trước dùng chung.
Cách hoạt động
Điều khiển từ xa → Ghi lại → Huấn luyện → Triển khai
- Điều khiển từ xa - tự bạn điều khiển robot (bằng cánh tay dẫn, bàn phím hoặc điện thoại) để nó có thể học từ các chuyển động của bạn.
- Ghi lại - mỗi bản demo được lưu dưới dạng một tập dữ liệu: video từ camera đồng bộ cùng các hành động bạn đã thực hiện.
- Train - một policy (mạng nơ-ron sẽ điều khiển robot) học cách bắt chước các thao tác của bạn.
- Triển khai - chạy chính sách đã huấn luyện trên robot và quan sát nó tự hoàn thành tác vụ.
Bắt đầu
Bạn mới đến đây? Xem một tập dữ liệu LeRobot trông như thế nào trước khi cài đặt bất kỳ thứ gì:
Mở lerobot/svla_so101_pickplace trong LeRobot Dataset Visualizer để xem các bản ghi camera của nó bên cạnh trạng thái và hành động của robot, từng khung hình một, mà không cần cài đặt gì thêm. Công cụ này hoạt động với bất kỳ bộ dữ liệu LeRobot nào trên Hub, bao gồm cả bộ dữ liệu của bạn. Xem cách sử dụng.
Sẵn sàng tự thử ngay? Cài đặt LeRobot, sau đó chọn hướng đi của bạn:
LeRobot hỗ trợ nhiều loại cánh tay robot và robot di động. Các lựa chọn phổ biến:
- SO-101 - cánh tay robot chủ lực, giá thành thấp
- LeKiwi - một cơ sở di động có cánh tay ở phía trên
- Koch v1.1 - một lựa chọn được cộng đồng yêu thích từ lâu
- hoặc tìm của bạn dưới Robots trong thanh bên
Sau khi lắp ráp và hiệu chuẩn xong, hãy thu thập một bộ dữ liệu và huấn luyện chính sách đầu tiên của bạn với tutorial học bắt chước - hoặc bỏ qua hoàn toàn CLI bằng LeLab, một GUI trình duyệt cho cùng quy trình đó.
Bạn vẫn có thể huấn luyện và đánh giá các chính sách mà không cần sở hữu một con robot:
- khám phá bất kỳ bộ dữ liệu nào trong Dataset Visualizer
- huấn luyện trên một dataset LeRobot có sẵn từ Hub
- đánh giá trong mô phỏng, so với các bộ chuẩn như LIBERO hoặc Meta-World
- thử các Colab notebooks miễn phí - không cần cài đặt gì
Bắt đầu với hướng dẫn đóng góp, sau đó thêm một chính sách mới hoặc đưa phần cứng của riêng bạn.
Khám phá Tài liệu
Mọi lệnh CLI của LeRobot, sẵn sàng sao chép và dán.
Chính sách nào phù hợp với GPU của bạn và thời gian huấn luyện mất bao lâu.
Tải, phát trực tiếp và trực quan hóa các bộ dữ liệu robot từ Hub.
Giao diện trình duyệt để hiệu chuẩn, ghi âm và huấn luyện - không cần CLI.
Bắt đầu với ACT, chính sách đầu tiên được chúng tôi đề xuất - hoặc xem SmolVLA, π₀ và nhiều hơn trong thanh bên.
Huấn luyện và đánh giá trên các bộ chuẩn mô phỏng như LIBERO trước khi làm việc với phần cứng thực.
Các vấn đề thường gặp
Gặp phải sự cố? Một số sự cố thường gặp nhất:
- Video từ camera mờ hoặc không thể sử dụng - ánh sáng quan trọng hơn độ phân giải. Xem Vị trí đặt camera và ánh sáng.
- Lỗi build hoặc cài đặt (
cmake,ffmpeg, CUDA) - xem phần Troubleshooting trong hướng dẫn cài đặt. - Chưa chắc chính sách nào phù hợp với GPU của bạn - hãy xem Hướng dẫn Tính toán & Phần cứng.
- Vẫn đang gặp khó khăn? Hãy hỏi trên Discord - cộng đồng (và đội ngũ LeRobot) luôn sẵn sàng hỗ trợ.