LiteLLM 和 Cline-胜算云增强版（使用 Codestral）

将 LiteLLM 与 Cline-胜算云增强版 结合使用

本指南演示了如何从 Codestral 模型开始运行 LiteLLM 的演示以便与 Cline-胜算云增强版 一起使用。

先决条件

  • Docker CLI 或 Docker Desktop 安装以在本地运行 LiteLLM 映像

  • 对于此示例配置：Codestral API 密钥（不同于 Mistral API 密钥）

设置

  1. 创建 .env 文件并填写相应字段

复制

# Tip: Use the following command to generate a random alphanumeric key:
# openssl rand -base64 32 | tr -dc 'A-Za-z0-9' | head -c 32
LITELLM_MASTER_KEY=YOUR_LITELLM_MASTER_KEY
CODESTRAL_API_KEY=YOUR_CODESTRAL_API_KEY

注意：虽然这仅限于本地主机，但将 LITELLM_MASTER_KEY 设置为安全密钥是一种很好的做法

  1. 配置

我们需要创建一个 config.yaml 文件来包含我们的 LiteLLM 配置。在本例中，我们只有一个模型，即“codestral-latest”，并将其标记为“codestral”。

复制

model_list:
  - model_name: codestral
    litellm_params:
      model: codestral/codestral-latest
      api_key: os.environ/CODESTRAL_API_KEY

运行演示

  1. 启动 LiteLLM docker 容器

复制

解释docker run \
    --env-file .env \
    -v $(pwd)/config.yaml:/app/config.yaml \
    -p 127.0.0.1:4000:4000 \
    ghcr.io/berriai/litellm:main-latest \
    --config /app/config.yaml --detailed_debug

  1. 设置 Cline-胜算云增强版

    一旦 LiteLLM 服务器启动并运行，您就可以在 Cline 中进行设置：

    • 基本 URL 应为 http://0.0.0.0:4000/v1

    • API 密钥应该是您在 .env 中为 LITELLM_MASTER_KEY 设置的密钥

    • 模型 ID 是 codestral 或您在 config.yaml 下命名的任何名称

获取帮助

PreviousGCP Vertex AINextAWS Bedrock w/ Credentials Authentication

Last updated