APIrove · 2026 年 10 月 15 日
安装集成包
LlamaIndex 为 OpenAI 兼容端点提供单独的集成包:
python -m pip install -U llama-index-llms-openai-like该包提供 OpenAILike 类。api_base 指向 API 的基础路径,model 则必须与服务端向你的账户开放的模型 ID 一致。
配置 OpenAILike
把 API Key 保存在服务端环境变量里。示例使用占位模型名,请替换为账户可用的模型 ID。
export APIROVE_API_KEY="your-api-key"
export APIROVE_MODEL_ID="your-enabled-model-id"然后在 Python 中配置集成:
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model=os.environ["APIROVE_MODEL_ID"],
api_base="https://apirove.com/v1",
api_key=os.environ["APIROVE_API_KEY"],
context_window=128000, # 请按所选模型的文档限制设置
is_chat_model=True,
is_function_calling_model=False, # 验证工具调用支持后再调整
)
response = llm.complete("Reply with: connection test passed.")
print(str(response))该调用采用官方 API 参考展示的 completion 调用模式。请按你安装的 LlamaIndex 版本和目标模型,确认端点行为符合应用需求。APIrove 文档中的 Base URL 是 https://apirove.com/v1;账户权限和端点说明请查看模型目录与API 文档。
准确设置模型能力
is_chat_model用于说明端点和模型是否使用聊天消息格式。- 只有在具体模型支持应用所需的工具调用时,才将
is_function_calling_model设为 true。 context_window应按所选模型公布的上下文限制填写,不要直接照抄示例值。- 结构化输出、流式传输和其他参数也要针对该模型与端点逐项验证。
验证与排查
- 确认 URL 指向服务要求的 API 基础路径,通常包含
/v1。 - 确认 API Key 属于
api_base指向的服务,且模型 ID 已对账户开放。 - 先发送短聊天请求,检查鉴权、返回格式和账户用量。
- 基础聊天成功后,再分别测试流式传输、工具调用或结构化输出。
- 401:检查密钥是否对目标服务有效。
- 400 或模型不存在:核对 Base URL 路径、模型 ID 和请求格式。
- 没有工具调用:同时核对模型支持情况和
is_function_calling_model设置;URL 兼容不代表工具能力也兼容。
参数与方法请以最新版的 LlamaIndex OpenAILike API 官方参考为准。
本文介绍配置方式,不表示所有模型、LlamaIndex 版本或 APIrove 账户都经过了线上实测。上线前请核实账户权限及每项能力。相关内容还包括 LangChain 自定义 Base URL 接入和OpenAI 兼容 API 入门。