Spaces 上的 Giskard

Giskard 是一个用于 LLM、表格和 NLP 模型的 AI 模型质量测试工具包。它包含一个用于扫描和测试 AI 模型的开源 Python 库，以及一个 AI 模型质量测试应用，该应用现在可以通过 Hugging Face 的 Docker Spaces 进行部署。在开源库功能的基础上，AI 模型质量测试应用使您能够：

• 调试测试以诊断您的问题

• 借助自动模型洞察创建领域特定测试

• 比较模型以决定要推广哪个模型

• 收集业务方对您模型结果的反馈

• 与同事分享您的结果以保持一致

• 将所有 QA 对象（测试、数据切片、评估标准等）集中存储在一处，以提高工作效率

访问 Giskard 的文档 和 快速入门指南，了解如何使用 Giskard 提供的全部工具。

在接下来的章节中，您将学习如何部署自己的 Giskard AI Model Quality Testing 应用，并直接在 Hugging Face Spaces 上使用它。该 Giskard 应用是一个完全托管在 Spaces 上、使用 Docker 的自包含应用。

在 Spaces 上部署 Giskard

只需点击几下，即可在 Spaces 上部署 Giskard：

关于数据持久化的重要说明： 您可以直接使用 Giskard Space 进行初步探索和实验。若要在小型项目中长期使用，请挂载一个 Storage Bucket。这可以防止因 Space 每 24 小时重启一次而导致的数据丢失。

您需要定义 Owner（您的个人账户或组织）、Space name 以及 Visibility。 如果您不想公开共享您的模型和质量测试，请将您的 Space 设置为 Private。

创建 Space 后，您会看到 Building 状态。当状态变为 Running 时，您的 Space 即可使用。 如果屏幕没有变化，请刷新页面。

申请免费许可证

当您的 Giskard Space 部署并运行后，您需要申请一个免费许可证才能开始使用该应用。 随后，您将自动收到一封包含许可证文件的电子邮件。

创建新的 Giskard 项目

进入应用后，首先从欢迎界面创建新项目。

生成 Hugging Face Giskard Space Token 和 Giskard API 密钥

Giskard API 密钥用于建立您的 AI 模型运行环境与 Hugging Face Spaces 上的 Giskard 应用之间的通信。如果您已将 Space 的 Visibility 设置为 Private，则需要提供一个 Hugging Face 用户访问令牌来生成 Hugging Face Giskard Space Token，并建立通信以访问您的私有 Space。为此，请按照 Giskard 应用设置页面中显示的说明进行操作。

启动 ML 工作进程

Giskard 使用一个 worker 来执行您的模型，该 worker 直接在您的 Python 环境中运行模型，并包含您的模型所需的所有依赖项。您可以执行 ML worker：

• 在包含模型所有依赖项的内核中，从您的本地笔记本

• 在包含模型所有依赖项的内核中，从 Google Colab

• 或者，在包含模型所有依赖项的 Python 环境中，从您的终端

只需在包含模型所有依赖项的 Python 环境中运行以下命令：

giskard worker start -d -k GISKARD-API-KEY -u https://huggingface.co/proxy/XXX.hf.space --hf-token GISKARD-SPACE-TOKEN

上传您的测试套件、模型和数据集

为了开始为项目构建质量测试，您需要上传模型和数据集对象，并从 Giskard Python 库中创建或上传一个测试套件。

有关如何使用 Giskard Python 库的自动化模型扫描工具创建测试套件的更多信息，请参阅 Giskard 的 快速入门指南。

这些操作都需要在你的 Python 环境和 Giskard Space 之间建立连接。你可以通过初始化一个 Giskard Client 来实现：只需从 Giskard 应用的设置页面复制“Create a Giskard Client”代码片段，并在你的 Python 环境中运行即可。代码大致如下：

from giskard import GiskardClient

url = "https://user_name-space_name.hf.space"
api_key = "gsk-xxx"
hf_token = "xxx"

# Create a giskard client to communicate with Giskard
client = GiskardClient(url, api_key, hf_token)

如果遇到问题，请前往 Giskard 的 上传对象文档页面。

反馈与支持

如果您有建议或需要特定支持，请加入 Giskard 的 Discord 社区 或在 Giskard 的 GitHub 仓库 上联系我们。