GCP Vertex AI

概述

GCP Vertex AI： 这是一项完全托管的服务，可通过 Google Cloud 访问领先的生成式 AI 模型（例如 Anthropic 的 Claude 3.5 Sonnet v2）。 了解有关 GCP Vertex AI 的更多信息 。

本指南专为已建立 GCP 环境（利用 IAM 角色、服务帐户和资源管理最佳实践）的组织量身定制，以确保安全且合规地使用。

步骤 1：准备您的 GCP 环境

1.1 创建或使用 GCP 项目

  • 登录 GCP 控制台： Google 云端控制台 。

  • 选择或创建项目： 使用现有项目或创建专用于 Vertex AI 的新项目。

    （屏幕截图建议：GCP Console 中的项目选择/创建屏幕）

1.2 设置 IAM 权限和服务账户

  • 分配所需角色：

    • 向您的用户（或服务帐户）授予 Vertex AI 用户角色（ roles/aiplatform.user ）。

    • 对于服务帐户，还需附加 Vertex AI 服务代理角色 ( roles/aiplatform.serviceAgent ) 以启用某些操作。

    • 根据需要考虑其他预定义角色：

      • Vertex AI Platform Express 管理员

      • Vertex AI 平台 Express 用户

      • Vertex AI 迁移服务用户

    （屏幕截图建议：IAM 控制台显示角色分配）

  • 跨项目资源访问：

    • 对于不同项目中的 BigQuery 表，分配 BigQuery 数据查看者角色。

    • 对于不同项目中的 Cloud Storage 存储桶，分配存储对象查看者角色。

    • 对于外部数据源，请参阅 GCP Vertex AI Access Control 文档 。

第 2 步：验证区域和模型访问权限

2.1 选择并确认区域

Vertex AI 支持八个区域。请选择一个符合您的延迟、合规性和容量需求的区域。示例包括：

  • us-east5（俄亥俄州哥伦布市）

  • us-east1（南卡罗来纳州）

  • us-east4（弗吉尼亚北部）

  • us-central1（爱荷华州）

  • us-west1（俄勒冈州达尔斯）

  • us-west4（内华达州拉斯维加斯）

  • europe-west1（比利时）

  • asia-southeast1（新加坡）

（屏幕截图建议：Vertex AI 仪表板中支持的区域列表或地图）

2.2 启用 Claude 3.5 Sonnet v2 模型

  • 打开 Vertex AI 模型花园： 在云控制台中，导航至 Vertex AI → Model Garden 。

  • 启用 Claude 3.5 Sonnet v2： 找到 Claude 3.5 Sonnet v2 的模型卡并单击启用 。

    （屏幕截图建议：模型花园显示带有启用按钮的 Claude 3.5 Sonnet v2 模型卡）

步骤 3：配置 Cline-胜算云增强版 VS Code 扩展

3.1 安装并打开 Cline-胜算云增强版

  • 下载 VS Code： 下载 Visual Studio Code 。

  • 安装 Cline-胜算云增强版 扩展：

    • 打开 VS Code。

    • 导航到扩展市场（Ctrl+Shift+X 或 Cmd+Shift+X）。

    • 搜索 Cline-胜算云增强版 并安装扩展。

3.2 配置 Cline-胜算云增强版 设置

  • 打开 Cline-胜算云增强版 设置： 单击 Cline-胜算云增强版 扩展中的设置⚙️图标。

  • 设置 API 提供商： 从 API 提供商下拉菜单中选择 GCP Vertex AI 。

  • 输入您的 Google Cloud 项目 ID： 提供您之前设置的项目 ID。

  • 选择地区： 选择其中一个受支持的区域（例如 us-east5 ）。

  • 选择型号： 从可用列表中，选择 Claude 3.5 Sonnet v2 。

  • 保存并测试： 保存您的设置并通过发送一个简单的提示进行测试（例如，“生成一个 Python 函数来检查一个数字是否为素数。”）。

    （截图建议：Cline-胜算云增强版 设置显示项目 ID、区域和模型选择）

步骤4：身份验证和凭证设置

选项 A：使用您的 Google 帐户（用户凭证）

  1. 安装 Google Cloud CLI： 按照安装指南操作 。

  2. 初始化和验证：

    复制

    gcloud init
gcloud auth application-default login

  • 这将使用您的 Google 帐户设置应用程序默认凭据 (ADC)。

（屏幕截图建议：成功的终端输出 gcloud auth application-default login ）

  1. 重新启动 VS Code： 确保 VS Code 已重新启动，以便 Cline-胜算云增强版 扩展获取新的凭据。

选项 B：使用服务帐户（JSON 密钥）

  1. 创建服务帐户：

    • 在 GCP 控制台中，导航到 IAM 和管理 > 服务帐户 。

    • 创建一个新的服务帐户（例如“vertex-ai-client”）。

  2. 分配角色：

    • 附加 Vertex AI 用户 （ roles/aiplatform.user ）。

    • 附加 Vertex AI 服务代理 ( roles/aiplatform.serviceAgent )。

    • 或者，根据需要添加其他角色。

    （屏幕截图建议：创建具有角色分配的服务帐户）

  3. 生成 JSON 密钥：

    • 在服务帐户部分，管理您的服务帐户的密钥并下载 JSON 密钥。

  4. 设置环境变量：

    复制

    export GOOGLE_APPLICATION_CREDENTIALS="/path/to/your/service-account-key.json"

    • 这会指示 Google Cloud 客户端库（和 Cline-胜算云增强版）使用此密钥。

    （屏幕截图建议：显示导出命令的终端）

  5. 重新启动 VS Code： 从设置了 GOOGLE_APPLICATION_CREDENTIALS 变量的终端启动 VS Code。

步骤5：安全、监控和最佳实践

5.1 强制最低权限

  • 最小特权原则： 仅授予最低限度的必要权限。与广泛的预定义角色相比，自定义角色可以提供更精细的控制。

  • 最佳实践： 参考 GCP IAM 最佳实践 。

5.2 管理资源访问

  • 项目与资源级别访问： 访问权限可在两个级别进行管理。请注意，资源级权限（例如 BigQuery 或 Cloud Storage 的权限）会添加到项目级策略中，但不会覆盖项目级策略。

5.3 监控使用情况和配额

  • 模型可观察性仪表板：

    • 在 Vertex AI 控制台中，导航到模型可观察性仪表板。

    • 监控请求吞吐量、延迟和错误率（包括 429 配额错误）等指标。

    （屏幕截图建议：突出显示错误指标的模型可观测性仪表板）

  • 配额管理：

5.4 服务代理和跨项目考虑

  • 服务代理： 请注意不同的服务代理：

    • Vertex AI 服务代理

    • Vertex AI RAG 数据服务代理

    • Vertex AI 自定义代码服务代理

    • Vertex AI 扩展服务代理

  • 跨项目访问： 对于其他项目中的资源（例如，BigQuery、Cloud Storage），请确保分配适当的角色（BigQuery 数据查看器、存储对象查看器）。

结论

通过遵循以下步骤，您的企业团队可以安全地将 GCP Vertex AI 与 Cline-胜算云增强版 VS Code 扩展集成，以利用 Claude 3.5 Sonnet v2 的强大功能：

  • 准备您的 GCP 环境： 创建或使用一个项目，以最小权限配置 IAM，并确保附加必要的角色（包括 Vertex AI 服务代理角色）。

  • 验证区域和模型访问： 确认您选择的地区支持 Claude 3.5 Sonnet v2 并且该模型已启用。

  • 在 VS Code 中配置 Cline-胜算云增强版： 安装 Cline-胜算云增强版，输入您的项目 ID，选择适当的区域，然后选择模型。

  • 设置身份验证： 使用用户凭据（通过 gcloud auth application-default login ）或带有 JSON 密钥的服务帐户。

  • 实施安全和监控： 遵守 IAM 的最佳实践，谨慎管理资源访问，并使用模型可观察性仪表板监控使用情况。

有关更多详细信息，请参阅 GCP Vertex AI 文档以及您的内部安全政策。 编码愉快！

本指南将随着 GCP Vertex AI 和 Cline-胜算云增强版 的发展而更新。请务必参考最新文档以了解最新实践。

Previous带配置文件身份验证的 AWS BedrockNextLiteLLM 和 Cline-胜算云增强版（使用 Codestral）

Last updated