Hub documentation
Spaces의 ChatUI
Spaces의 ChatUI
HuggingChat는 Falcon, StarCoder, BLOOM과 같은 오픈소스 대규모 언어 모델을 누구나 사용해 볼 수 있도록 하는 오픈소스 인터페이스입니다. ChatUI라는 공식 Docker 템플릿 덕분에 Hugging Face의 인프라를 사용해 몇 번의 클릭만으로 원하는 모델 기반의 HuggingChat을 배포할 수 있습니다.
자체 Chat UI 배포
시작하려면 여기로 이동하세요. 이 애플리케이션의 백엔드에서는 더 최적화된 모델 추론을 위해 text-generation-inference가 사용됩니다. 이러한 모델은 CPU에서 실행할 수 없으므로, 선택한 모델에 따라 GPU를 선택할 수 있습니다.
채팅이 기록될 MongoDB 엔드포인트를 제공해야 합니다. 이 섹션을 비워 두면 로그가 Space 내부의 데이터베이스에 영구 저장됩니다. Hugging Face는 사용자의 채팅에 접근할 수 없음을 유의하세요. application name 및 application color 매개변수를 제공하여 Space의 이름과 테마를 설정할 수 있습니다. 아래에서 서빙하려는 모델의 Hugging Face Hub ID를 선택할 수 있습니다. 또한 아래 JSON 형식의 사전에서 생성 하이퍼파라미터를 변경할 수 있습니다.
참고: 접근이 제한된 모델이나 비공개 저장소의 모델을 배포하려면, 저장소 secrets에 HF_TOKEN을 제공하면 됩니다. 여기에서 가져올 수 있는 액세스 토큰 값을 설정해야 합니다.
생성이 완료되면 Space에 Building이 표시됩니다. 빌드가 완료되면 나만의 HuggingChat을 사용해 볼 수 있습니다.
채팅을 시작하세요!
