LiteLLM 1.109.0五项迁移怎么做,1.108.5 LTS、1.106.8与1.110.0-rc.1如何区分

陌静君_8250

陌静君_8250

2026-11-16

958人浏览

原创

litellm 1.109.0包含五项明确迁移要求,不能只替换镜像而沿用全部旧配置。同批历史记录还包括1.108.5 lts、1.106.8维护补丁和1.110.0-rc.1候选版,适用基线不同。配置层级、缓存语义、部署限流和lens资源变化,需要与完整版本一起核对,rc能力也不能直接归入稳定分支。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

LiteLLM产品封面

先把字符串fallback目标改成列表

1.109.0要求fallback目标使用模型名称列表。下面是现有fallbacks字段的替换片段,保持它在原配置中的层级;your-primary-model和your-backup-model分别替换为现有model_list中的实际模型组名,不是提供商密钥或固定模型型号:

fallbacks:
  - your-primary-model:
      - your-backup-model

目标值成为列表后,才符合这次迁移要求。模型组存在、路由是否可达和实际故障转移是否成功仍需分别判断,不能把YAML格式正确当作上游调用成功。

LiteLLM 1.109.0官方五项Action required迁移摘要

disk缓存已移除,local不是原来的持久磁盘缓存

仍使用cache_params.type: disk的代理会在启动时失败。若选择本地内存缓存,可把现有litellm_settings中的缓存部分调整为以下片段,其他已有设置保留:

litellm_settings:
  cache: true
  cache_params:
    type: local

local是内存缓存,不保留原磁盘缓存在单机重启后的持久性。需要Redis时应使用redis及对应连接配置,不能只改类型却省略实际连接前提。遗留disk_cache_dir在其他缓存类型旁会被忽略并警告,不会恢复已移除的磁盘后端。

硬rpm上限需要显式的可选检查

仅有enable_pre_call_checks: true不再因部署达到rpm而把它排除。需要继续强制现有部署rpm硬上限时,在router_settings加入或合并这项检查,已有其他optional_pre_call_checks条目保留:

router_settings:
  optional_pre_call_checks:
    - enforce_model_rate_limits

这里的层级是router_settings,而不是litellm_settings。它配合部署已配置的限额工作,不会凭空创建一个rpm数值;超过相应限额时的429属于限流结果,不能简单等同提供商故障。

Gemini采样参数应停止发送或按不支持参数处理

官方迁移针对Gemini 3.6 Flash、3.5 Flash-Lite及更新型号中的temperature、top_p和top_k。可停止发送这些参数,或在代理采用下面的全局处理片段:

Gemini Voice Assistant
Gemini Voice Assistant

{"answer":"基于Gemini Live API的语音AI助手。语音交流,实时回复。适合与AI进行自然语音对话..."}

下载
litellm_settings:
  drop_params: true

drop_params让不受目标模型支持的参数被丢弃,而不是使这些采样控制突然得到支持。全局配置影响范围比单个部署更广,多个litellm_settings片段应合并进同一个映射,不能复制成重复顶层键。仍需核对业务是否依赖那些已经不再生效的控制。

Lens改为独立部署,旧捆绑资源有升级风险

两套LiteLLM Helm图表不再部署Lens。已通过独立Lens图表完成部署、获得实际内外访问地址和两个已有Secret名称后,可在LiteLLM的values中配置连接。以下域名和Secret名称均为占位示例,需替换,内容不是Secret值:

lens:
  enabled: true
  url: "https://lens.example.internal"
  publicUrl: "https://lens.example.com"
  gatewaySecret:
    name: "your-lens-gateway-secret"
  serviceTokenSecret:
    name: "your-lens-service-token-secret"

Secret键默认分别为gateway-secret和service-token。该配置用于把网关指向已部署的Lens,不会自行部署Lens或ClickHouse,也不证明连接和鉴权已经成功。仍启用旧lensWorker模式会导致图表渲染失败;升级还会移除原捆绑Lens、ClickHouse和Secret资源,迁移前必须把现有资源与数据保留方案对应清楚,不能直接把一次升级当作无损迁移。

稳定版新增能力与默认展示应单独记录

1.109.0还加入流式响应中途故障转移续写、用于关闭LiteLLM自身主动获取的LITELLM_OFFLINE_MODE,以及带模型中心、生图和用量信息的Chat UI。Chat页面默认展示,已经保存enable_chat_ui: false的部署仍保持隐藏;默认展示不等于取消账号权限。

LTS、旧补丁与RC修复各属于哪个范围

1.108.5 LTS修复工作负载身份认证在图像编辑、音频、文件、批处理等非聊天路由的401问题,以及ollama_chat/流式并行工具调用索引、Messages API额外丢弃参数和部分FLAC转录计费。1.106.8回移转录计费修复,优先采用提供商有效usage.seconds,再依据可靠测得的时长处理。无法取得可靠长度时代理可能记录零费用,这不代表提供商免费,费用记录仍需对账。

1.104.9和1.103.11另有SpendLogs缺失索引在迁移后创建的回补;1.103.11还改善多副本同时连接同一数据库启动的可靠性。它们是其他维护基线的记录,不能把分支号混成统一升级包。

1.110.0-rc.1仍是候选版,其中total_timeout限制整个非流式请求,并有路由、作用域和Redis相关修复。不能把该限制解释为所有流式请求的总超时,也不能仅凭候选版本号更大就替代既定稳定或LTS部署。各段配置示例只说明迁移结构,真实配置兼容、限流、费用与回退结果仍需分别验收。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

gemini

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

120

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

100

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

60

15

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

2026.11.06

160

12

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

2026.11.06

140

13

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

2026.11.06

120

10

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

2026.11.05

100

12

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

2026.11.05

100

12

DBeaver连接创建与配置教程
DBeaver连接创建与配置教程

本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。

2026.11.04

100

16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Gemini Notebook常见问题解答
Gemini Notebook常见问题解答

共0课时 | 0人学习

Gemini Notebook官方手册
Gemini Notebook官方手册

共0课时 | 0人学习