APIrove

首页 / 博客 / LlamaIndex OpenAILike

LLAMAINDEX · API 接入 · 阅读约 5 分钟

用 LlamaIndex OpenAILike 接入 OpenAI 兼容 API

配置 api_base、服务 API Key 和准确的模型 ID,将 LlamaIndex 应用连接到兼容的聊天接口。模型是否支持聊天和工具调用,需要按实际能力声明和验证。

APIrove · 2026 年 10 月 15 日

安装集成包

LlamaIndex 为 OpenAI 兼容端点提供单独的集成包:

python -m pip install -U llama-index-llms-openai-like

该包提供 OpenAILike 类。api_base 指向 API 的基础路径,model 则必须与服务端向你的账户开放的模型 ID 一致。

配置 OpenAILike

把 API Key 保存在服务端环境变量里。示例使用占位模型名,请替换为账户可用的模型 ID。

export APIROVE_API_KEY="your-api-key"
export APIROVE_MODEL_ID="your-enabled-model-id"

然后在 Python 中配置集成:

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model=os.environ["APIROVE_MODEL_ID"],
    api_base="https://apirove.com/v1",
    api_key=os.environ["APIROVE_API_KEY"],
    context_window=128000,  # 请按所选模型的文档限制设置
    is_chat_model=True,
    is_function_calling_model=False,  # 验证工具调用支持后再调整
)

response = llm.complete("Reply with: connection test passed.")
print(str(response))

该调用采用官方 API 参考展示的 completion 调用模式。请按你安装的 LlamaIndex 版本和目标模型,确认端点行为符合应用需求。APIrove 文档中的 Base URL 是 https://apirove.com/v1;账户权限和端点说明请查看模型目录与API 文档。

准确设置模型能力

  • is_chat_model 用于说明端点和模型是否使用聊天消息格式。
  • 只有在具体模型支持应用所需的工具调用时,才将 is_function_calling_model 设为 true。
  • context_window 应按所选模型公布的上下文限制填写,不要直接照抄示例值。
  • 结构化输出、流式传输和其他参数也要针对该模型与端点逐项验证。

验证与排查

  1. 确认 URL 指向服务要求的 API 基础路径,通常包含 /v1。
  2. 确认 API Key 属于 api_base 指向的服务,且模型 ID 已对账户开放。
  3. 先发送短聊天请求,检查鉴权、返回格式和账户用量。
  4. 基础聊天成功后,再分别测试流式传输、工具调用或结构化输出。
  • 401:检查密钥是否对目标服务有效。
  • 400 或模型不存在:核对 Base URL 路径、模型 ID 和请求格式。
  • 没有工具调用:同时核对模型支持情况和 is_function_calling_model 设置;URL 兼容不代表工具能力也兼容。

参数与方法请以最新版的 LlamaIndex OpenAILike API 官方参考为准。

本文介绍配置方式,不表示所有模型、LlamaIndex 版本或 APIrove 账户都经过了线上实测。上线前请核实账户权限及每项能力。相关内容还包括 LangChain 自定义 Base URL 接入和OpenAI 兼容 API 入门。