hermes-agent-litellm-vertex-gateway

Hermes Agent — Connect to Local LiteLLM Vertex Proxy

让 Hermes Agent 连接到本地已有的 LiteLLM Vertex Proxy，以使用 Gemini 模型，不影响现有配置。

Situation

本地已部署 LiteLLM Vertex Proxy（http://127.0.0.1:4000），现在需要让 Hermes Agent 在不更改当前配置的情况下，多一个调用本地 Gemini 的选项，并支持临时切换。

---

Prerequisites

1. LiteLLM Vertex Proxy 已运行在 127.0.0.1:4000
2. Proxy 已配置 LITELLM_MASTER_KEY
3. 至少一个 Gemini 模型已暴露（通过 GET /v1/models 可验证）
4. Hermes Agent 已安装并运行在 ~/.hermes/

---

Step 1 — Verify the LiteLLM Proxy

在配置 Hermes 之前，先验证 proxy 可用：

# 1. 检查端口监听
lsof -nP -iTCP:4000 -sTCP:LISTEN

# 2. 获取 master key（从 proxy 项目目录的 .env）
grep LITELLM_MASTER_KEY ~/GitHub-Codebase/litellm-vertex-proxy/.env

# 3. 验证 /v1/models 可访问
curl -s -H "Authorization: Bearer <LITELLM_MASTER_KEY>" http://127.0.0.1:4000/v1/models

# 4. 确认可用模型名
curl -s -H "Authorization: Bearer <LITELLM_MASTER_KEY>" http://127.0.0.1:4000/v1/models \
  | python3 -c "import sys,json; d=json.load(sys.stdin); [print(m['id']) for m in d.get('data',[])]"

输出类似：

gemini-3.1-pro-preview

---

Step 2 — Locate Hermes Config

~/.hermes/config.yaml

---

Step 3 — Add the Provider and Model to config.yaml

# 备份
cp ~/.hermes/config.yaml ~/.hermes/config.yaml.bak.$(date +%Y%m%d%H%M%S)

编辑 ~/.hermes/config.yaml，替换顶部的 model: 和 providers: 块：

model:
  default: gpt-5.4              # 保持原有默认不变
  provider: openai-codex        # 保持原有默认不变
  base_url: https://chatgpt.com/backend-api/codex

providers:
  local-litellm:
    name: local-litellm
    base_url: http://127.0.0.1:4000
    api_key: <LITELLM_MASTER_KEY>
    models:
      - gemini-3.1-pro-preview

⚠️ <LITELLM_MASTER_KEY> 替换为实际值，从 ~/GitHub-Codebase/litellm-vertex-proxy/.env 中读取。 不要把这个 key 打印到聊天里。

---

Step 4 — Restart Hermes Gateway

# 方式 A：如果是 Hermes Agent 运行在终端
# 按 Ctrl+C 停止，然后重新启动

# 方式 B：如果是通过 launchd/systemd 运行
# 查找并重启对应服务
launchctl list | grep hermes
# 或
ps aux | grep hermes

---

Step 5 — Verify the Connection

# 在 Hermes 对话中发送：
/model local-litellm/gemini-3.1-pro-preview