Hub documentation
텔레메트리
텔레메트리
1.7.0 버전부터 hf_xet Python 패키지 및 hf-xet Rust crate는 업로드 및 다운로드가 완료된 후 Hub에 짧은 보고서를 전송합니다. 이러한 보고서를 통해 hf_xet 버전, 운영 체제, 네트워크에 따라 전송 실패 빈도와 속도를 파악하여 문제를 찾아내고 수정할 수 있습니다.
Git Xet 0.2.1 및 이전 버전은 텔레메트리를 전송하지 않습니다.
수집되는 정보
각 보고서는 하나의 전송을 설명합니다. 하나의 커밋에서 여러 파일을 업로드하는 것도 하나의 전송이며, 여러 파일을 한 번에 다운로드하는 것도 하나의 전송입니다.
| 데이터 | 세부 정보 |
|---|---|
| 전달 유형 및 결과 | 업로드 또는 다운로드, 그리고 성공, 실패, 취소 여부. 실패의 경우 network, timeout, server_error와 같은 일반적인 오류 범주. |
| 타이밍 | 전송에 걸린 시간입니다. 업로드의 경우, 데이터를 청크로 나누고 업로드하는 데 걸린 시간과 커밋을 완료하는 데 걸린 시간도 포함됩니다. |
| 크기 | 파일 수, 파일의 총 크기, 네트워크를 통해 전송된 바이트 수. |
| 중복 제거 | 업로드의 경우, Hub에 이미 저장되어 건너뛴 데이터의 양, 새로 추가된 데이터의 양, 그리고 새 데이터의 압축 효율을 확인합니다. |
| 속도 | 평균 처리량과 사용된 최대 병렬 요청 수입니다. |
| 클라이언트 | hf_xet 버전, 운영 체제, CPU 아키텍처, CPU 개수, 그리고 사용자 에이전트 문자열입니다. 이는 huggingface_hub이 Hub로 보내는 모든 요청에 포함되는 동일한 사용자 에이전트로, 호출하는 라이브러리(예: transformers)의 이름과 버전, huggingface_hub, Python, PyTorch의 버전을 포함합니다. |
| ID | 전송에 대한 무작위 ID, hf_xet 세션에 대한 무작위 ID, 그리고 해당 전송을 처리한 Xet 스토리지 서버의 호스트 이름입니다. |
리포트에는 파일 이름, 파일 경로, 파일 내용, 파일 해시, 저장소 이름, 사용자 이름이 포함되지 않습니다.
Reports는 전송과 동일한 액세스 토큰을 사용하여 Xet 저장 서버로 전송됩니다. 서버가 보고서를 저장할 때, 사용자의 IP 주소, 해당 토큰이 속한 Hub 계정(로그인하지 않은 경우 “anonymous”), 토큰이 발급된 저장소, 그리고 토큰이 읽기 또는 쓰기 액세스를 허용하는지 여부를 추가합니다.
리포트가 전송되는 경우
hf_xet는 업로드 또는 다운로드가 완료되면 성공 여부에 관계없이 보고서를 한 번 전송합니다. 5분 이상 실행되는 전송의 경우 완료될 때까지 5분마다 진행 상황 보고서를 전송합니다.
리포트는 약 1 KB입니다. 전송과 함께 보내지며 전송 속도를 늦추지 않습니다. 리포트를 전송할 수 없는 경우 재시도하지 않고 폐기됩니다. 전송이 완료되면 hf_xet는 마지막 리포트가 전송될 때까지 최대 2초를 대기하므로, 프로그램이 즉시 종료되더라도 리포트가 유실되지 않습니다.
해제
Telemetry는 기본적으로 활성화되어 있습니다. 비활성화하려면 HF_HUB_DISABLE_TELEMETRY=1을 설정하세요:
export HF_HUB_DISABLE_TELEMETRY=1이 변수는 huggingface_hub 및 기타 Hugging Face Python 라이브러리에서 텔레메트리를 비활성화하는 데 사용되는 동일한 변수입니다. huggingface_hub 문서의 HF_HUB_DISABLE_TELEMETRY 항목을 참조하세요.
hf_xet은 DO_NOT_TRACK, DISABLE_TELEMETRY, HF_HUB_OFFLINE, 또는 TRANSFORMERS_OFFLINE가 1, true, yes, 또는 on으로 설정되어 있으면 텔레메트리를 끕니다.
hf_xet의 텔레메트리만 끄려면 HF_XET_TELEMETRY_ENABLED=0을 설정하세요.
| 환경 변수 | 기본값 | 설명 |
|---|---|---|
HF_HUB_DISABLE_TELEMETRY | unset | 1로 설정하면 hf_xet 및 기타 Hugging Face Python 라이브러리에서 텔레메트리를 끕니다. |
HF_XET_TELEMETRY_ENABLED | true | hf_xet 텔레메트리만 끄려면 0으로 설정하세요. 1로 설정해도 위의 옵트아웃 변수를 무시하지 않습니다. |
HF_XET_TELEMETRY_HEARTBEAT_AFTER | 300s | 진행 상황 보고를 시작하기 전까지 전송이 실행되는 시간입니다. 0은 진행 상황 보고를 끕니다. |
HF_XET_TELEMETRY_HEARTBEAT_INTERVAL | 300s | 진행 상황 보고 사이의 시간. |
HF_XET_TELEMETRY_FINAL_FLUSH_TIMEOUT | 2s | 전송이 완료된 후 hf_xet이 마지막 보고를 기다리는 시간입니다. 0은 기다리지 않음을 의미합니다. |