Hub documentation
Truy cập Dữ liệu Bảng Xếp Hạng Benchmark
Truy cập Dữ liệu Bảng Xếp Hạng Benchmark
Các bộ dữ liệu benchmark trên Hub chứa bảng xếp hạng đánh giá mô hình theo điểm số đánh giá. Bạn có thể truy cập dữ liệu này theo cách lập trình để phân tích, xây dựng bảng điều khiển hoặc các công cụ dựa trên đó.
Khám phá các benchmark chính thức
Sử dụng huggingface_hub để tìm tất cả các bộ dữ liệu benchmark chính thức:
from huggingface_hub import HfApi
api = HfApi()
for ds in api.list_datasets(benchmark=True):
print(ds.id)Hoặc trực tiếp qua REST API (hữu ích cho các tác tử và kịch bản):
GET https://huggingface.co/api/datasets?filter=benchmark:officialLấy thứ hạng trên bảng xếp hạng
API bảng xếp hạng trả về điểm của các mô hình được xếp hạng cho một bộ dữ liệu chuẩn:
GET https://huggingface.co/api/datasets/{dataset_id}/leaderboardSử dụng get_dataset_leaderboard để lấy điểm xếp hạng của các mô hình dưới dạng các đối tượng DatasetLeaderboardEntry có kiểu:
from huggingface_hub import HfApi
api = HfApi()
leaderboard = api.get_dataset_leaderboard("SWE-bench/SWE-bench_Verified")
for entry in leaderboard[:5]:
print(f"#{entry.rank} {entry.model_id}: {entry.value}")
huggingface_hubsử dụng token được lưu cache của bạn theo mặc định. Đối với các bộ dữ liệu benchmark có kiểm soát truy cập, hãy đảm bảo bạn đã đăng nhập (hf auth login) hoặc truyền token một cách tường minh:leaderboard = api.get_dataset_leaderboard("gated/benchmark", token="hf_...")
Lệnh Curl một dòng để truy cập nhanh (hữu ích cho các tác tử và kịch bản):
curl https://huggingface.co/api/datasets/cais/hle/leaderboard \ --header "Authorization: Bearer $(cat ~/.cache/huggingface/token)" | jq .
Các trường phản hồi
Mỗi DatasetLeaderboardEntry chứa:
| Trường | Mô tả |
|---|---|
rank | Vị trí trên bảng xếp hạng |
model_id | ID đầy đủ của mô hình (ví dụ: Qwen/Qwen3.5-397B-A17B) |
value | Điểm benchmark |
verified | Kết quả đã được xác minh độc lập hay chưa |
author | Một đối tượng User hoặc Organization |
source | Nơi kết quả được gửi từ (thẻ mô hình, bên ngoài, v.v.) |
filename | Đường dẫn đến tệp YAML kết quả đánh giá (ví dụ: .eval_results/swe_bench_verified.yaml) |
pull_request | Số PR cho bản gửi trên kho dữ liệu benchmark |
notes | Ghi chú tùy chọn liên quan đến mục nhập |
Bộ dữ liệu đa tiêu chí đánh giá đã tổng hợp trước
Nếu bạn muốn có điểm từ nhiều bộ chuẩn đánh giá trong một tệp duy nhất, bộ dữ liệu OpenEvals/leaderboard-data tổng hợp điểm từ các bộ chuẩn đánh giá chính thức vào một tệp Parquet:
Bạn có thể tải trực tiếp bằng pandas bằng cách sử dụng đường dẫn hf://:
import pandas as pd
df = pd.read_parquet(
"hf://datasets/OpenEvals/leaderboard-data/data/train-00000-of-00001.parquet"
)
print(df[["model_name", "provider", "aime2026_score", "mmluPro_score"]].head())Đây là cách nhanh nhất để có cái nhìn tổng quan giữa các benchmark mà không cần gọi nhiều endpoint API.
Làm phong phú với metadata của model
Sử dụng huggingface_hub để làm phong phú dữ liệu bảng xếp hạng với ngày phát hành, số lượng tham số và các siêu dữ liệu khác:
from huggingface_hub import HfApi
api = HfApi()
info = api.model_info("Qwen/Qwen3.5-397B-A17B")
print(f"Released: {info.created_at}")
print(f"Parameters: {info.safetensors.total / 1e9:.1f}B" if info.safetensors else "")Góc nhìn tập trung vào mô hình: kết quả đánh giá theo từng mô hình
API bảng xếp hạng cung cấp góc nhìn tập trung vào bộ dữ liệu (tất cả các mô hình trên một benchmark). Để xem ngược lại — tất cả điểm benchmark của một mô hình duy nhất — hãy sử dụng model_info với expand=["evalResults"]:
from huggingface_hub import HfApi
api = HfApi()
info = api.model_info("Qwen/Qwen3.5-397B-A17B", expand=["evalResults"])
for result in info.eval_results:
print(f"{result.dataset_id}: {result.value}")Điều này trả về các đối tượng EvalResultEntry được phân tích từ các tệp .eval_results/ của mô hình.
Ví dụ: xây dựng dựa trên dữ liệu bảng xếp hạng
Space Benchmark Leaderboard Race kết hợp các nguồn dữ liệu này để tạo ra một trực quan hóa động cho thấy thứ hạng của các mô hình thay đổi theo thời gian. Bạn có thể xây dựng các phân tích và trực quan hóa riêng dựa trên dữ liệu này — xem mã nguồn để có một ví dụ hoàn chỉnh.
Nhúng bảng xếp hạng vào trang web
Bạn có thể nhúng bảng xếp hạng của bộ dữ liệu benchmark trực tiếp vào trang web của mình bằng cách sử dụng iframe.
URL cần sử dụng là https://huggingface.co/datasets/<namespace>/<dataset-name>/embed/leaderboard, trong đó <namespace> là chủ sở hữu của bộ dữ liệu benchmark (người dùng hoặc tổ chức) và <dataset-name> là tên của bộ dữ liệu.
<iframe
src="https://huggingface.co/datasets/cais/hle/embed/leaderboard"
frameborder="0"
width="100%"
height="560px"
></iframe>Tham số
Bạn có thể cấu hình bảng xếp hạng nhúng bằng cách truyền các tham số truy vấn trong URL của iframe:
| Tham số | Mô tả |
|---|---|
leaderboard_task_id | ID của tác vụ cần hiển thị, được định nghĩa trong eval.yaml của benchmark (ví dụ: gpqa_diamond). Mặc định là tác vụ đầu tiên. |
eval_result | Model ID cần làm nổi bật trên bảng xếp hạng (ví dụ: meta-llama/Llama-3.1-8B). |
leaderboard_max_params | Lọc các dòng theo số lượng tham số tối đa. Chấp nhận một trong các giá trị sau: 1B, 3B, 6B, 12B, 32B, 128B hoặc 500B. |
leaderboard_is_expanded | Đặt thành true để hiển thị bảng xếp hạng ở trạng thái mở rộng hoàn toàn thay vì thu gọn. |
Ví dụ, để nhúng bảng xếp hạng HLE với bảng được mở rộng và một mô hình cụ thể được làm nổi bật:
<iframe
src="https://huggingface.co/datasets/cais/hle/embed/leaderboard?leaderboard_is_expanded=true&eval_result=meta-llama/Llama-3.1-8B"
frameborder="0"
width="100%"
height="560px"
></iframe>Embed chỉ khả dụng cho các bộ dữ liệu benchmark chính thức có kết quả đánh giá.
Liên quan
- Kết quả đánh giá — cách gửi kết quả đánh giá và đăng ký các bộ chuẩn
- Bộ dữ liệu chuẩn chính thức — xem tất cả các bộ chuẩn chính thức