LiteLLM Rust AI Gateway：推理网关的下一代架构

摘要

LiteLLM 发布 Rust AI Gateway 新架构，将高性能系统编程语言引入 AI 推理网关层。与 vllm v0.23.0 的 DeepSeek-V4 成熟支持、llama.cpp 的多轮性能优化形成「推理基础设施加速」三角——从模型推理引擎到网关代理的全栈性能升级。