Alternatywy dla API OpenAI: Co zmienia się w Twoim kodzie
Większość alternatyw dla API OpenAI kopiuje format żądań OpenAI, co oznacza, że przełączenie to często zmiana konfiguracji, a nie przepisywanie kodu. Ten artykuł pokazuje dokładnie, co zmienia się w kodzie, co może się zepsuć i gdzie pojedynczy endpoint kompatybilny z OpenAI jest dobrym rozwiązaniem, a gdzie nie.


Co oferuje alternatywa
Ludzie szukają alternatyw dla API OpenAI z różnych powodów: cena, zasady dotyczące treści, obsługa danych, dostępność regionalna lub chęć użycia modeli o otwartych wagach. Niezależnie od powodu, stosuje się ten sam test. Czy alternatywa przyjmuje format zapytania, który już wysyłasz, i zwraca format odpowiedzi, który Twój kod już odczytuje?
Jeśli tak, wywołania Twojego SDK nie ulegają zmianie. Jeśli nie, piszesz adapter raz, co też jest w porządku, ale to główny koszt przełączenia. Reszta tego artykułu zakłada pierwszy przypadek, czyli endpoint kompatybilny z OpenAI.
Zmiana w trzech liniach
W oficjalnym pakiecie Python oryginalna konfiguracja ma domyślny host i klucz OpenAI. Dla alternatywy ustawiasz trzy rzeczy: base_url, klucz od nowego dostawcy i nazwę modelu. Oto gotowa wersja dla tego endpointu:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredaimodels.com/v1", # was the default host
api_key=os.environ["NEW_PROVIDER_KEY"], # was your OpenAI key
)
r = client.chat.completions.create(
model="uncensored", # was an OpenAI model name
messages=[{"role": "user", "content": "Pitch me a plot twist for a mystery."}],
)
print(r.choices[0].message.content)
To samo działa w Node.js przez przekazanie baseURL do konstruktora, w wrapperach w stylu LangChain przez opcję base URL oraz w narzędziach mających pole custom endpoint. W curl zmieniasz host i nagłówek:
curl https://api.uncensoredaimodels.com/v1/chat/completions \
-H "Authorization: Bearer $NEW_PROVIDER_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"ping"}]}'Co może się zepsuć po przełączeniu
Nazwy modeli
ID modeli należą do dostawcy. Wszystko, co hardkoduje nazwę modelu OpenAI, wymaga aktualizacji. Umieść nazwę w konfiguracji.
Parametry
Podstawowe opcje takie jak temperature, top_p, stop i max_tokens przenoszą się bez zmian. Inne, takie jak logprobs czy pewne opcje formatu odpowiedzi, zależą od dostawcy. Na tym endpointzie temperature, top_p, stop, seed i penalties są przekazywane dalej, a tryb JSON działa z response_format: {"type":"json_object"}.
Jakość wywoływania funkcji
Format przesyłania danych jest wspólny, ale to, jak dobrze model wybiera funkcje i wypełnia argumenty, się różni. Przetestuj swoje rzeczywiste schematy funkcji na nowym modelu i waliduj argumenty w kodzie.
Długość kontekstu i obcinanie
Zmiana okna kontekstu zmienia ilość historii, którą możesz wysłać. Tutaj okno wynosi 100 000 tokenów dla promptu plus uzupełnienia.
Błędy i limity
Dostawcy stosują różne limity i kody. Ten zwraca HTTP 429 z rate_limited dla żądań na minutę i concurrency dla zbyt wielu naraz oraz 429 z Retry-After: 5 przy tymczasowym przeciążeniu. Twoja logika ponawiania powinna obsługiwać 429 dla dowolnego dostawcy.
Zachowanie
Największą zmianą nie jest ta techniczna. Modele różnią się tonem, nawykami formatowania i tym, co odrzucają. Przetestuj na swoich rzeczywistych promptach, nie tych demonstracyjnych.
Gdzie pasuje endpoint z jednym modelem
Ta usługa to API tekstowe kompatybilne z OpenAI z pojedynczym modelem o otwartych wagach, obsługiwane przez niezależnego dostawcę i dostrojone do odpowiadania bez odrzuceń treści dla użytkowników dorosłych. Nie jest to oficjalne API OpenAI, Meta, Mistral, Qwen, DeepSeek, xAI, Google, Anthropic ani żadnego innego dostawcy i nie jest routerem między dostawcami. ID modelu to uncensored.
Świetnie sprawdza się w tych zadaniach: narzędzia do fikcji i odgrywania ról dla dorosłych, aplikacje towarzyskie, asystenci pisarscy, którzy nie powinni przerywać w połowie sceny oraz backendy, gdzie stabilne zachowanie na dojrzałych tematach jest ważniejsze niż wybór między wieloma modelami. Pasuje też do deweloperów, którzy chcą prostą cenę za token i prompty nie używane do trenowania.
Gdzie się nie sprawdza
Bądź szczery co do limitów przed przeniesieniem ruchu:
- Tylko jeden model. Nie możesz wybrać mniejszego, tańszego modelu do łatwych zadań lub większego do trudnych. Jeśli polegasz na routingu modeli, potrzebujesz innej platformy.
- Tylko tekst. Brak generowania obrazów, audio lub wideo, brak embeddingów i brak dopracowywania. Aplikacja wyszukiwania potrzebująca embeddingów musi je pozyskać gdzie indziej.
- Nie flagowy produkt dostawcy. Jeśli potrzebujesz konkretnego nazwanego modelu do zgodności lub benchmarków, użyj dostawcy tego modelu.
- Twarde ograniczenie. Treści seksualne z udziałem nieletnich są zawsze zabronione.
Wiele zespołów uruchamia dwa endpointy: głównego dostawcę i drugi do treści, które pierwszy odrzuca. Ponieważ oba dzielą ten sam format, jest to niewielka ilość kodu, przełączenie konfiguracji i fallback przy pewnych błędach.
Koszt: jak porównywać
Sprawdź bieżące ceny każdego dostawcy i przelicz je na format Twojego żądania. Dla tego endpointu koszt inputu to $0,15 za 1 mln tokenów, a outputu $0,50 za 1 mln. Przykład: 3000 tokenów inputu i 500 outputu kosztuje $0,00045 + $0,00025 = $0,0007 za wywołanie, więc 10 000 wywołań miesięcznie to koszt $7. Nieudane lub odrzucone żądania nie są rozliczane, nie ma subskrypcji, a kredyt nie wygasa.
Doładowania wynoszą od $20 do $500, kryptowalutami (USDT na TRC20, USDC na Base), z bonusem +5% od $50, +10% od $100 i +15% od $200. Tabela porównująca różne wybory modeli znajduje się w porównaniu modeli AI i cen. Pełna lista jest na stronie z cenami.
Wzorzec fallback dla dwóch endpointów
Jeśli chcesz drugi endpoint do treści odrzucanych przez głównego dostawcę, zachowaj oba klienty i wybieraj per żądanie. Ten szkic wysyła żądanie najpierw do głównego dostawcy i próbuje drugiego, gdy odpowiedź to marker odrzucenia, który zdefiniujesz, lub gdy wywołanie się nie powiedzie:
import os
from openai import OpenAI
main = OpenAI(api_key=os.environ["MAIN_KEY"])
second = OpenAI(
base_url="https://api.uncensoredaimodels.com/v1",
api_key=os.environ["NEW_PROVIDER_KEY"],
)
def ask(messages, main_model, use_second_first=False):
order = [(second, "uncensored"), (main, main_model)] if use_second_first else [(main, main_model), (second, "uncensored")]
last = None
for client, model in order:
try:
r = client.chat.completions.create(model=model, messages=messages)
return r.choices[0].message.content
except Exception as err:
last = err
raise last
Routuj po typie treści, gdzie to możliwe. Funkcja pisania opowiadań może iść od razu na drugi endpoint z use_second_first=True, podczas gdy asystent billingowy zostaje na głównym. To unika płacenia za jedno nieudane wywołanie i utrzymuje przewidywalne zachowanie dla użytkowników.
Bezpieczny sposób testowania
Nie przenoś całego ruchu naraz. Zdobądź próbę za $0,50 na stronie klucza API, która nie wymaga karty i trwa 7 dni, a następnie wykonaj te kroki:
- Odtwórz 20 rzeczywistych promptów z Twoich logów na nowy endpoint.
- Porównaj odpowiedzi, liczbę tokenów i błędy z obecnym dostawcą.
- Wymuś błąd 429 i potwierdź, że ponowna próba działa.
- Wyślij 5% ruchu produkcyjnego przez flagę funkcji.
- Obserwuj nagłówek
X-Balance-USDi swój wskaźnik błędów przez kilka dni przed poszerzeniem.
Dokumentacja opisuje metody, a LLM do kodowania bez cenzury pokazuje szczegółowy przykład użycia przez dewelopera.
Więcej przewodników
Pytania i odpowiedzi
Czy mogę użyć SDK OpenAI z innym dostawcą?
Tak, jeśli dostawca jest kompatybilny z OpenAI. Ustaw bazowy URL, klucz i nazwę modelu na wartości nowego dostawcy.
Czy to jest API OpenAI?
Nie. To niezależny endpoint kompatybilny z OpenAI obsługujący jeden model o otwartych wagach i nie jest oficjalnym API OpenAI ani żadnego innego dostawcy.
Czy obsługuje strumieniowanie i narzędzia?
Tak. Strumieniowanie działa przez SSE z stream: true, a wywoływanie funkcji korzysta ze standardowego formatu tools i tool_calls.
Co sprawdzić przed przełączeniem?
Nazwy modeli, obsługiwane parametry, zachowanie przy wywoływaniu funkcji, limity okna kontekstu, obsługa błędów 429 i przede wszystkim to, jak model odpowiada na Twoje rzeczywiste prompty.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.