llm-chat-completions-server 0.1a0 发布

llm-chat-completions-server 0.1a0 发布

llm-chat-completions-server 0.1a0 是一个用于测试 LLM 0.32rc1 新内容寻址日志设计的插件。

LLM 0.32rc1 的一个关键目标，是更好地支持 OpenAI Chat Completions 风格的请求：每次请求都带上不断增长的消息列表，由客户端负责维护对话状态。

示例请求如下：

curl http://localhost:8002/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen3.5-4b",
    "messages": [
      {"role": "user", "content": "Capital of France?"},
      {"role": "assistant", "content": "Paris."},
      {"role": "user", "content": "Germany?"}
    ]
  }'

在这种模式下，随着对话继续，每次请求都会包含更多历史消息。LLM 的新 schema 设计通过对单条消息片段进行哈希，来对这些重复内容进行去重。

安装与运行

可以通过以下命令安装并启动插件：

uv tool install llm --pre
llm install llm-chat-completions-server
llm chat-completions-server -p 9001

运行后，会在本地 9001 端口启动一个服务，将当前环境中通过各类插件安装的 LLM 模型集合暴露为兼容 ChatGPT Completions 的接口。

适用场景

这个插件的主要价值在于：

• 测试 LLM 0.32rc1 的内容寻址日志与消息去重能力；
• 将本地或插件提供的模型通过 Chat Completions 兼容接口统一调用；
• 方便已有 OpenAI Chat Completions 客户端接入本地 LLM 模型集合。

作者还提到，该插件整体由 GPT-5.6 Sol 编写，用于验证其对 OpenAI Chat Completions API 结构的掌握程度。