LiteLLM 和 Cline（使用 Codestral）

将 LiteLLM 与 Cline 结合使用

本指南演示了如何从 Codestral 模型开始运行 LiteLLM 的演示以便与 Cline 一起使用。

先决条件

• Docker CLI 或 Docker Desktop 安装以在本地运行 LiteLLM 映像

• 对于此示例配置：Codestral API 密钥（不同于 Mistral API 密钥）

设置

1. 创建 .env 文件并填写相应字段

复制

# Tip: Use the following command to generate a random alphanumeric key:
# openssl rand -base64 32 | tr -dc 'A-Za-z0-9' | head -c 32
LITELLM_MASTER_KEY=YOUR_LITELLM_MASTER_KEY
CODESTRAL_API_KEY=YOUR_CODESTRAL_API_KEY

注意：虽然这仅限于本地主机，但将 LITELLM_MASTER_KEY 设置为安全密钥是一种很好的做法

1. 配置

我们需要创建一个 config.yaml 文件来包含我们的 LiteLLM 配置。在本例中，我们只有一个模型，即“codestral-latest”，并将其标记为“codestral”。

复制

model_list:
  - model_name: codestral
    litellm_params:
      model: codestral/codestral-latest
      api_key: os.environ/CODESTRAL_API_KEY

运行演示

1. 启动 LiteLLM docker 容器

复制

解释docker run \
    --env-file .env \
    -v $(pwd)/config.yaml:/app/config.yaml \
    -p 127.0.0.1:4000:4000 \
    ghcr.io/berriai/litellm:main-latest \
    --config /app/config.yaml --detailed_debug

1. 设置 Cline

   一旦 LiteLLM 服务器启动并运行，您就可以在 Cline 中进行设置：

   • 基本 URL 应为 http://0.0.0.0:4000/v1

   • API 密钥应该是您在 .env 中为 LITELLM_MASTER_KEY 设置的密钥

   • 模型 ID 是 codestral 或您在 config.yaml 下命名的任何名称

获取帮助

• LiteLLM 文档
• Mistral AI 控制台
• Cline Discord 社区