Spaces의 Giskard

Giskard는 LLM, 테이블형 데이터, NLP 모델을 위한 AI 모델 품질 테스트 툴킷입니다. AI 모델을 스캔하고 테스트하는 오픈소스 Python 라이브러리와 AI 모델 품질 테스트 앱으로 구성되어 있으며, 이 앱은 이제 Hugging Face의 Docker Spaces를 통해 배포할 수 있습니다. 오픈소스 라이브러리의 기능을 확장한 AI 모델 품질 테스트 앱을 사용하면 다음을 수행할 수 있습니다:

• Debug tests를 사용하여 문제를 진단합니다

• 자동 모델 인사이트를 활용하여 도메인별 테스트를 생성합니다

• 모델을 비교하여 어떤 모델을 승격할지 결정

• 모델 결과에 대한 비즈니스 피드백 수집

• 동료들과 결과를 공유하여 정렬을 맞추세요

• QA 객체(테스트, 데이터 슬라이스, 평가 기준 등)를 한곳에 저장하여 보다 효율적으로 작업하세요

Giskard에서 제공하는 다양한 도구의 사용법을 배우려면 Giskard 문서와 Quickstart Guides를 방문하세요.

다음 섹션에서는 Giskard AI Model Quality Testing 앱을 직접 배포하고 Hugging Face Spaces에서 바로 사용하는 방법을 배웁니다. 이 Giskard 앱은 Docker를 사용하여 Spaces에 완전히 호스팅되는 자체 포함(self-contained) 애플리케이션입니다.

Spaces에 Giskard 배포

Giskard를 Spaces에 몇 번의 클릭만으로 배포할 수 있습니다:

데이터 영속성에 대한 중요한 참고 사항: Giskard Space를 초기 탐색 및 실험을 위해 그대로 사용할 수 있습니다. 소규모 프로젝트에서 보다 장기간 사용하려면 Storage Bucket을 연결하세요. 이는 24시간마다 발생하는 Space 재시작 시 데이터 손실을 방지합니다.

Owner(개인 계정 또는 조직), Space name, Visibility를 정의해야 합니다. 모델과 품질 테스트를 공개적으로 공유하지 않으려면 Space를 Private으로 설정하세요.

Space를 생성하면 Building 상태가 표시됩니다. Running으로 변경되면 Space가 준비된 것입니다. 화면에 변경 사항이 표시되지 않으면 페이지를 새로고침하세요.

무료 라이선스 요청

Giskard Space가 설정되고 실행되면, 앱을 사용하기 시작하려면 무료 라이선스를 요청해야 합니다. 이후 라이선스 파일이 포함된 이메일이 자동으로 전송됩니다.

새로운 Giskard 프로젝트 만들기

앱에 진입한 후, 환영 화면에서 새 프로젝트를 만들어 시작하세요.

Hugging Face Giskard Space 토큰과 Giskard API 키 생성

Giskard API 키는 AI 모델이 실행되는 환경과 Hugging Face Spaces의 Giskard 앱 간의 통신을 설정하는 데 사용됩니다. Space의 Visibility를 Private으로 설정한 경우, Hugging Face Giskard Space Token을 생성하고 개인 Space에 대한 액세스 통신을 설정하려면 Hugging Face 사용자 액세스 토큰을 제공해야 합니다. 이를 위해 Giskard 앱의 설정 페이지에 표시된 지침을 따르세요.

ML 워커 시작

Giskard는 모델이 요구하는 모든 종속성이 포함된 Python 환경에서 모델을 직접 실행하는 워커를 사용하여 모델을 실행합니다. ML 워커를 실행할 수 있습니다:

• 모든 모델 종속성이 포함된 커널에서 로컬 노트북

• 모든 모델의 종속성이 포함된 커널에서 Google Colab

• 모델의 모든 종속성이 포함된 Python 환경에서 터미널을 통해

모델의 모든 종속성이 포함된 Python 환경에서 다음 명령을 실행합니다:

giskard worker start -d -k GISKARD-API-KEY -u https://huggingface.co/proxy/XXX.hf.space --hf-token GISKARD-SPACE-TOKEN

테스트 스위트, 모델 및 데이터셋 업로드

프로젝트에 대한 품질 테스트를 구축하기 시작하려면 모델 및 데이터셋 객체를 업로드하고, Giskard Python 라이브러리에서 테스트 스위트를 생성하거나 업로드해야 합니다.

Giskard의 Python 라이브러리에서 제공하는 자동 모델 스캐닝 도구를 사용해 테스트 스위트를 만드는 방법에 대한 자세한 내용은 Giskard의 Quickstart Guides를 참고하세요.

이러한 작업은 모두 Python 환경과 Giskard Space 간의 연결이 필요합니다. Giskard Client를 초기화하여 이를 구현합니다. Giskard 앱의 설정 페이지에서 “Create a Giskard Client” 스니펫을 복사하여 Python 환경에서 실행하면 됩니다. 다음과 같은 형태가 됩니다:

from giskard import GiskardClient

url = "https://user_name-space_name.hf.space"
api_key = "gsk-xxx"
hf_token = "xxx"

# Create a giskard client to communicate with Giskard
client = GiskardClient(url, api_key, hf_token)

문제가 발생하면 Giskard의 업로드 객체 문서 페이지로 이동하세요.

피드백 및 지원

제안 사항이 있거나 특정 지원이 필요하신 경우, Giskard의 Discord 커뮤니티에 참여하시거나 Giskard의 GitHub 저장소를 통해 문의해 주세요.