VI ▾
Lấy khóa API

Các giải pháp thay thế API OpenAI: Những thay đổi trong mã của bạn

Hầu hết các giải pháp thay thế cho API OpenAI sao chép định dạng yêu cầu của OpenAI, nghĩa là việc chuyển đổi thường chỉ là thay đổi cấu hình chứ không phải viết lại. Bài viết này cho bạn thấy chính xác những thay đổi trong mã, những gì có thể hỏng, và nơi một endpoint chỉ một mô hình tương thích OpenAI là phù hợp và nơi không phù hợp.

Cập nhật

Nhiều cáp màu khác nhau cắm vào một cổng kết nối tiêu chuẩn, cho thấy các endpoint API có thể hoán đổi cho nhau
Bốn nền tảng với đám mây, trung tâm mạng, hộp GPU và khối lập phương được liên kết với một số dư trung tâm, để so sánh các tùy chọn mô hình

Những gì một giải pháp thay thế có thể cung cấp

Mọi người tìm kiếm các giải pháp thay thế cho API OpenAI vì nhiều lý do khác nhau: giá cả, quy tắc nội dung, xử lý dữ liệu, khả năng tiếp cận theo khu vực, hoặc mong muốn sử dụng các mô hình trọng số mở. Bất kể lý do là gì, bài kiểm tra đều giống nhau: Giải pháp thay thế có chấp nhận định dạng yêu cầu bạn đang gửi và có trả về định dạng phản hồi mà mã của bạn đang đọc hay không?

Nếu có, các lệnh gọi SDK của bạn không thay đổi. Nếu không, bạn viết một bộ điều hợp một lần, điều này cũng ổn, nhưng đó là chi phí chính của việc chuyển đổi. Phần còn lại của bài viết này giả định trường hợp đầu tiên, một endpoint tương thích OpenAI.

Thay đổi ba dòng mã

Với gói Python chính thức, cấu hình ban đầu có host mặc định và một khóa OpenAI. Đối với giải pháp thay thế, bạn cần đặt ba thứ: base_url, khóa từ nhà cung cấp mới và tên mô hình. Đây là phiên bản hoàn chỉnh cho endpoint này:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredaimodels.com/v1",  # was the default host
    api_key=os.environ["NEW_PROVIDER_KEY"],            # was your OpenAI key
)

r = client.chat.completions.create(
    model="uncensored",                                 # was an OpenAI model name
    messages=[{"role": "user", "content": "Pitch me a plot twist for a mystery."}],
)
print(r.choices[0].message.content)

Điều tương tự cũng hoạt động trong Node bằng cách truyền baseURL vào hàm tạo, trong các gói bọc kiểu LangChain thông qua tùy chọn URL cơ sở của chúng, và trong các công cụ có trường endpoint tùy chỉnh. Trong curl, bạn thay đổi host và tiêu đề:

curl https://api.uncensoredaimodels.com/v1/chat/completions \
  -H "Authorization: Bearer $NEW_PROVIDER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"ping"}]}'

Những gì có thể bị lỗi sau khi chuyển đổi

Tên mô hình

ID mô hình thuộc về nhà cung cấp. Bất cứ thứ gì mã hóa cứng tên mô hình OpenAI cần được cập nhật. Đặt tên trong cấu hình.

Tham số

Các tùy chọn cốt lõi như temperature, top_p, stop và max_tokens được giữ nguyên. Các tùy chọn khác, chẳng hạn như logprobs hoặc một số tùy chọn định dạng phản hồi, phụ thuộc vào nhà cung cấp. Trên điểm cuối này, temperature, top_p, stop, seed và các mức phạt được chuyển tiếp, và chế độ JSON hoạt động với response_format: {"type":"json_object"}.

Chất lượng gọi hàm

Định dạng dây được chia sẻ, nhưng cách một mô hình chọn công cụ và điền đối số khác nhau. Hãy chạy các lược đồ công cụ thực của bạn qua mô hình mới và xác thực đối số trong mã của bạn.

Độ dài ngữ cảnh và cắt ngắn

Thay đổi cửa sổ ngữ cảnh thay đổi lượng lịch sử bạn có thể gửi. Ở đây, cửa sổ là 100.000 token cho prompt cộng với phần hoàn thành.

Lỗi và giới hạn

Các nhà cung cấp sử dụng các giới hạn và mã khác nhau. Điểm cuối này trả về HTTP 429 với rate_limited cho yêu cầu mỗi phút và concurrency cho quá nhiều cùng lúc, và một lỗi 429 với Retry-After: 5 khi quá tải tạm thời. Logic thử lại của bạn nên xử lý lỗi 429 cho bất kỳ nhà cung cấp nào.

Hành vi

Thay đổi lớn nhất không phải là kỹ thuật. Các mô hình khác nhau về giọng điệu, thói quen định dạng và những gì chúng từ chối. Hãy kiểm tra với các prompt thực tế của bạn, không phải các prompt demo.

Nơi một endpoint một mô hình phù hợp

Dịch vụ này là một API văn bản tương thích OpenAI với một mô hình trọng số mở duy nhất, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích sử dụng người trưởng thành hợp pháp. Đây không phải là API chính thức của OpenAI, Meta, Mistral, Qwen, DeepSeek, xAI, Google, Anthropic hoặc bất kỳ nhà cung cấp nào khác, và nó không phải là bộ định tuyến giữa các nhà cung cấp. ID mô hình là uncensored.

Nó phù hợp tốt cho các công việc sau: công cụ tiểu thuyết và nhập vai cho người lớn, ứng dụng bạn đồng hành, trợ lý viết không nên dừng lại giữa cảnh, và các backend nơi hành vi ổn định trên các chủ đề trưởng thành quan trọng hơn việc chọn giữa nhiều mô hình. Nó cũng phù hợp với các nhà phát triển muốn một giá theo token đơn giản và các prompt không được sử dụng để huấn luyện.

Trường hợp không phù hợp

Hãy trung thực về các giới hạn trước khi bạn chuyển lưu lượng truy cập:

  • Chỉ một mô hình. Bạn không thể chọn một mô hình nhỏ hơn, rẻ hơn cho các tác vụ dễ dàng hoặc một mô hình lớn hơn cho các tác vụ khó. Nếu bạn dựa vào việc định tuyến mô hình, bạn cần một nền tảng khác.
  • Chỉ văn bản. Không tạo hình ảnh, âm thanh hoặc video, không có embedding và không có tinh chỉnh. Một ứng dụng truy xuất dữ liệu cần embedding phải lấy chúng từ nơi khác.
  • Không phải sản phẩm chủ lực của nhà cung cấp. Nếu bạn cần một mô hình cụ thể được đặt tên để tuân thủ hoặc benchmark, hãy sử dụng nhà cung cấp đó.
  • Giới hạn cứng. Không có nội dung tình dục liên quan đến người chưa thành niên, bất kể khi nào.

Nhiều nhóm chạy hai endpoint: một nhà cung cấp chính và một nhà cung cấp thứ hai cho nội dung mà nhà cung cấp đầu tiên từ chối. Vì cả hai chia sẻ cùng định dạng, đó là một lượng nhỏ mã, một chuyển đổi cấu hình và dự phòng trên một số lỗi nhất định.

Chi phí: cách so sánh

Hãy kiểm tra giá hiện tại của từng nhà cung cấp và chuyển đổi nó sang định dạng yêu cầu của bạn. Đối với endpoint này, chi phí đầu vào là $0,15 cho mỗi 1M token và đầu ra là $0,50 cho mỗi 1M. Ví dụ: 3.000 token đầu vào và 500 token đầu ra tốn $0,00045 + $0,00025 = $0,0007 cho mỗi lệnh gọi, vậy 10.000 lệnh gọi mỗi tháng tốn $7. Các yêu cầu bị lỗi hoặc bị từ chối không bị tính phí, không có gói đăng ký và tín dụng không bao giờ hết hạn.

Các khoản nạp tiền chạy từ $20 đến $500, bằng tiền mã hóa (USDT trên TRC20, USDC trên Base), với tiền thưởng +5% từ $50, +10% từ $100 và +15% từ $200. Để xem bảng so sánh cách các lựa chọn mô hình khác nhau xếp hạng, hãy xem so sánh các mô hình AI và giá cả. Trang giá cả có danh sách đầy đủ.

Mẫu dự phòng cho hai endpoint

Nếu bạn muốn một endpoint thứ hai cho nội dung mà nhà cung cấp chính của bạn từ chối, hãy giữ cả hai client và chọn theo yêu cầu. Bản phác thảo này gửi một yêu cầu đến nhà cung cấp chính trước và thử endpoint thứ hai khi câu trả lời là một dấu hiệu từ chối bạn xác định, hoặc khi một lệnh gọi thất bại:

import os
from openai import OpenAI

main = OpenAI(api_key=os.environ["MAIN_KEY"])
second = OpenAI(
    base_url="https://api.uncensoredaimodels.com/v1",
    api_key=os.environ["NEW_PROVIDER_KEY"],
)

def ask(messages, main_model, use_second_first=False):
    order = [(second, "uncensored"), (main, main_model)] if use_second_first else [(main, main_model), (second, "uncensored")]
    last = None
    for client, model in order:
        try:
            r = client.chat.completions.create(model=model, messages=messages)
            return r.choices[0].message.content
        except Exception as err:
            last = err
    raise last

Định tuyến theo loại nội dung khi có thể. Một tính năng viết truyện có thể chuyển thẳng sang endpoint thứ hai với use_second_first=True, trong khi trợ lý hóa đơn vẫn ở endpoint chính. Điều đó tránh việc trả tiền cho một lệnh gọi thất bại trước tiên và giữ cho hành vi có thể dự đoán được cho người dùng.

Cách an toàn để kiểm tra

Không di chuyển tất cả lưu lượng truy cập cùng một lúc. Nhận phần dùng thử $0,50 trên trang khóa API, không cần thẻ và kéo dài 7 ngày, sau đó chạy các bước sau:

  1. Phát lại 20 prompt thực tế từ nhật ký của bạn vào endpoint mới.
  2. So sánh các câu trả lời, số lượng token và lỗi với nhà cung cấp hiện tại của bạn.
  3. Buộc 429 và xác nhận việc thử lại của bạn hoạt động.
  4. Gửi 5% lưu lượng truy cập sản xuất qua một cờ tính năng.
  5. Theo dõi tiêu đề X-Balance-USD và tỷ lệ lỗi của bạn trong vài ngày trước khi mở rộng.

tài liệu bao gồm các phương thức, và LLM lập trình không kiểm duyệt hiển thị một trường hợp sử dụng của nhà phát triển chi tiết.

01

Hỏi đáp

Tôi có thể sử dụng SDK OpenAI với nhà cung cấp khác không?

Có, nếu nhà cung cấp tương thích OpenAI. Đặt URL cơ sở, khóa và tên mô hình thành các giá trị của nhà cung cấp mới.

Dịch vụ này có phải là API của OpenAI không?

Không. Đây là một endpoint tương thích OpenAI độc lập, chạy một mô hình trọng số mở, và không phải là API chính thức của OpenAI hay bất kỳ nhà cung cấp nào khác.

Dịch vụ này có hỗ trợ truyền phát và công cụ không?

Có. Truyền phát hoạt động qua SSE với stream: true, và gọi công cụ sử dụng định dạng tiêu chuẩn cho công cụ và tool_calls.

Tôi nên kiểm tra những gì trước khi chuyển đổi?

Tên mô hình, các tham số được hỗ trợ, hành vi gọi hàm, giới hạn cửa sổ ngữ cảnh, xử lý lỗi 429 và, trên hết, cách mô hình trả lời các prompt thực tế của bạn.

Khóa của bạn chỉ cách một bước điền biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API