11.4K+ Star！LiteLLM：一个多语言模型API的代理，能够使用OpenAI格式调用100多个不同的LLM API

小半 • 2025年2月15日下午10:18 • 技术前沿 • 阅读 182

欢迎关注我，持续获取更多内容，感谢赞&在看~

项目简介

LiteLLM^[1] 是一个多语言模型（LLM）API的代理，它能够使用统一的OpenAI格式调用100多个不同的LLM API。包括但不限于Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate和Groq等。

LiteLLM 的设计目标是简化开发者在使用不同AI模型时的复杂性，并通过统一的接口提供一致的输出。

11.4K+ Star！LiteLLM：一个多语言模型API的代理，能够使用OpenAI格式调用100多个不同的LLM API

项目特点

主要特点

统一的API调用格式：使用OpenAI的API格式，简化了对不同模型的调用。
一致的输出：确保文本响应总是可用并易于访问。
多模型支持：支持调用多个提供商的模型。
重试/回退逻辑：在多个部署之间自动进行错误处理和模型回退。
预算和速率限制：为每个项目、API密钥、模型设置预算和速率限制。

使用场景

开发人员：需要快速集成和测试不同AI模型的开发者。
企业：需要在多个AI服务之间进行负载均衡和成本跟踪的公司。
研究者：需要访问多种AI模型来进行研究和比较的学者。

使用方法

安装

pip install litellm

基本使用

from litellm import completion
import os

# 设置环境变量
os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["COHERE_API_KEY"] = "your-cohere-key"

messages = [{"content": "Hello, how are you?", "role": "user"}]

# OpenAI 模型调用
response = completion(model="gpt-3.5-turbo", messages=messages)

# Cohere 模型调用
response = completion(model="command-nightly", messages=messages)
print(response)

异步调用

from litellm import acompletion
import asyncio

async def test_get_response():
    user_message = "Hello, how are you?"
    messages = [{"content": user_message, "role": "user"}]
    response = await acompletion(model="gpt-3.5-turbo", messages=messages)
    return response

response = asyncio.run(test_get_response())
print(response)

流式响应

LiteLLM 支持流式返回模型响应，通过设置stream=True获得流式迭代器。

from litellm import completion

response = completion(model="gpt-3.5-turbo", messages=messages, stream=True)
for part in response:
    print(part.choices[0].delta.content or "")

日志和可观测性

LiteLLM 提供预定义的回调函数，可以将数据发送到不同的日志和观测平台。

from litellm import completion

# 设置日志工具的环境变量
os.environ["LUNARY_PUBLIC_KEY"] = "your-lunary-public-key"
# 其他日志工具的API密钥...

# 设置回调函数
litellm.success_callback = ["lunary", "langfuse", "athina", "helicone"]  # 日志输入/输出到不同的平台

# OpenAI 模型调用
response = completion(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}])