llm 0.32rc2 发布:默认模型切换并新增 OpenAI 兼容端点命令

Simon Willison2026-08-01 05:02

llm 0.32rc2 更新要点

llm 0.32rc2 在 RC1 之后快速发布,主要修复了一个依赖问题,并加入了两项新功能。

1. 默认模型改为 GPT-5.6 Luna

对于尚未自行设置默认模型的用户,llm 的默认模型现在从 GPT-4o mini 改为 GPT-5.6 Luna。

两者价格对比如下:

模型 输入价格 输出价格
GPT-5.6 Luna 0.20 美元 / 百万 token 1.20 美元 / 百万 token
GPT-4o mini 0.15 美元 / 百万 token 0.60 美元 / 百万 token

GPT-5.6 Luna 是更新的模型,但成本也略高。如果希望切回 GPT-4o mini,可以运行:

llm models default gpt-4o-mini

也可以选择更便宜的 GPT-5 nano,价格为输入 0.05 美元 / 百万 token、输出 0.40 美元 / 百万 token:

llm models default gpt-5-nano

2. 新增 llm openai endpoint 命令

新版本加入了 llm openai endpoint 命令,用于在无需预先配置模型的情况下,直接向任意 OpenAI 兼容端点运行:

  • prompt
  • chat
  • 模型列表查询

这些调用不会被记录到日志中。

这个命令适合测试各种兼容 OpenAI Chat Completions API 的服务,例如本地模型服务。它提供了一种更直接的 CLI 方式,用来快速验证提示词和模型响应。

示例:通过 uvx 直接调用 LM Studio 本地模型,无需先安装 llm:

uvx --pre llm openai endpoint http://127.0.0.1:1234/v1 \
  T llm_version -T llm_time --td \
  -m google/gemma-4-31b 'what is the current LLM version? And the time?'

这个示例会向本地 OpenAI 兼容端点发送请求,并使用工具参数获取当前 llm 版本和时间。

评论

请登录后发表观点

暂无数据