PL ▾
Pobierz klucz API

Alternatywy dla API OpenAI: Co zmienia się w Twoim kodzie

Większość alternatyw dla API OpenAI kopiuje format żądań OpenAI, co oznacza, że przełączenie to często zmiana konfiguracji, a nie przepisywanie kodu. Ten artykuł pokazuje dokładnie, co zmienia się w kodzie, co może się zepsuć i gdzie pojedynczy endpoint kompatybilny z OpenAI jest dobrym rozwiązaniem, a gdzie nie.

Zaktualizowano

Kilka kolorowych kabli podłączonych do jednego portu złącza standardowego, pokazujące wymienne endpointy API
Cztery platformy z chmurą, centrum sieciowym, skrzynką GPU i kostką połączonymi z centralnym saldem, do porównania opcji modeli

Co oferuje alternatywa

Ludzie szukają alternatyw dla API OpenAI z różnych powodów: cena, zasady dotyczące treści, obsługa danych, dostępność regionalna lub chęć użycia modeli o otwartych wagach. Niezależnie od powodu, stosuje się ten sam test. Czy alternatywa przyjmuje format zapytania, który już wysyłasz, i zwraca format odpowiedzi, który Twój kod już odczytuje?

Jeśli tak, wywołania Twojego SDK nie ulegają zmianie. Jeśli nie, piszesz adapter raz, co też jest w porządku, ale to główny koszt przełączenia. Reszta tego artykułu zakłada pierwszy przypadek, czyli endpoint kompatybilny z OpenAI.

Zmiana w trzech liniach

W oficjalnym pakiecie Python oryginalna konfiguracja ma domyślny host i klucz OpenAI. Dla alternatywy ustawiasz trzy rzeczy: base_url, klucz od nowego dostawcy i nazwę modelu. Oto gotowa wersja dla tego endpointu:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredaimodels.com/v1",  # was the default host
    api_key=os.environ["NEW_PROVIDER_KEY"],            # was your OpenAI key
)

r = client.chat.completions.create(
    model="uncensored",                                 # was an OpenAI model name
    messages=[{"role": "user", "content": "Pitch me a plot twist for a mystery."}],
)
print(r.choices[0].message.content)

To samo działa w Node.js przez przekazanie baseURL do konstruktora, w wrapperach w stylu LangChain przez opcję base URL oraz w narzędziach mających pole custom endpoint. W curl zmieniasz host i nagłówek:

curl https://api.uncensoredaimodels.com/v1/chat/completions \
  -H "Authorization: Bearer $NEW_PROVIDER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"ping"}]}'

Co może się zepsuć po przełączeniu

Nazwy modeli

ID modeli należą do dostawcy. Wszystko, co hardkoduje nazwę modelu OpenAI, wymaga aktualizacji. Umieść nazwę w konfiguracji.

Parametry

Podstawowe opcje takie jak temperature, top_p, stop i max_tokens przenoszą się bez zmian. Inne, takie jak logprobs czy pewne opcje formatu odpowiedzi, zależą od dostawcy. Na tym endpointzie temperature, top_p, stop, seed i penalties są przekazywane dalej, a tryb JSON działa z response_format: {"type":"json_object"}.

Jakość wywoływania funkcji

Format przesyłania danych jest wspólny, ale to, jak dobrze model wybiera funkcje i wypełnia argumenty, się różni. Przetestuj swoje rzeczywiste schematy funkcji na nowym modelu i waliduj argumenty w kodzie.

Długość kontekstu i obcinanie

Zmiana okna kontekstu zmienia ilość historii, którą możesz wysłać. Tutaj okno wynosi 100 000 tokenów dla promptu plus uzupełnienia.

Błędy i limity

Dostawcy stosują różne limity i kody. Ten zwraca HTTP 429 z rate_limited dla żądań na minutę i concurrency dla zbyt wielu naraz oraz 429 z Retry-After: 5 przy tymczasowym przeciążeniu. Twoja logika ponawiania powinna obsługiwać 429 dla dowolnego dostawcy.

Zachowanie

Największą zmianą nie jest ta techniczna. Modele różnią się tonem, nawykami formatowania i tym, co odrzucają. Przetestuj na swoich rzeczywistych promptach, nie tych demonstracyjnych.

Gdzie pasuje endpoint z jednym modelem

Ta usługa to API tekstowe kompatybilne z OpenAI z pojedynczym modelem o otwartych wagach, obsługiwane przez niezależnego dostawcę i dostrojone do odpowiadania bez odrzuceń treści dla użytkowników dorosłych. Nie jest to oficjalne API OpenAI, Meta, Mistral, Qwen, DeepSeek, xAI, Google, Anthropic ani żadnego innego dostawcy i nie jest routerem między dostawcami. ID modelu to uncensored.

Świetnie sprawdza się w tych zadaniach: narzędzia do fikcji i odgrywania ról dla dorosłych, aplikacje towarzyskie, asystenci pisarscy, którzy nie powinni przerywać w połowie sceny oraz backendy, gdzie stabilne zachowanie na dojrzałych tematach jest ważniejsze niż wybór między wieloma modelami. Pasuje też do deweloperów, którzy chcą prostą cenę za token i prompty nie używane do trenowania.

Gdzie się nie sprawdza

Bądź szczery co do limitów przed przeniesieniem ruchu:

  • Tylko jeden model. Nie możesz wybrać mniejszego, tańszego modelu do łatwych zadań lub większego do trudnych. Jeśli polegasz na routingu modeli, potrzebujesz innej platformy.
  • Tylko tekst. Brak generowania obrazów, audio lub wideo, brak embeddingów i brak dopracowywania. Aplikacja wyszukiwania potrzebująca embeddingów musi je pozyskać gdzie indziej.
  • Nie flagowy produkt dostawcy. Jeśli potrzebujesz konkretnego nazwanego modelu do zgodności lub benchmarków, użyj dostawcy tego modelu.
  • Twarde ograniczenie. Treści seksualne z udziałem nieletnich są zawsze zabronione.

Wiele zespołów uruchamia dwa endpointy: głównego dostawcę i drugi do treści, które pierwszy odrzuca. Ponieważ oba dzielą ten sam format, jest to niewielka ilość kodu, przełączenie konfiguracji i fallback przy pewnych błędach.

Koszt: jak porównywać

Sprawdź bieżące ceny każdego dostawcy i przelicz je na format Twojego żądania. Dla tego endpointu koszt inputu to $0,15 za 1 mln tokenów, a outputu $0,50 za 1 mln. Przykład: 3000 tokenów inputu i 500 outputu kosztuje $0,00045 + $0,00025 = $0,0007 za wywołanie, więc 10 000 wywołań miesięcznie to koszt $7. Nieudane lub odrzucone żądania nie są rozliczane, nie ma subskrypcji, a kredyt nie wygasa.

Doładowania wynoszą od $20 do $500, kryptowalutami (USDT na TRC20, USDC na Base), z bonusem +5% od $50, +10% od $100 i +15% od $200. Tabela porównująca różne wybory modeli znajduje się w porównaniu modeli AI i cen. Pełna lista jest na stronie z cenami.

Wzorzec fallback dla dwóch endpointów

Jeśli chcesz drugi endpoint do treści odrzucanych przez głównego dostawcę, zachowaj oba klienty i wybieraj per żądanie. Ten szkic wysyła żądanie najpierw do głównego dostawcy i próbuje drugiego, gdy odpowiedź to marker odrzucenia, który zdefiniujesz, lub gdy wywołanie się nie powiedzie:

import os
from openai import OpenAI

main = OpenAI(api_key=os.environ["MAIN_KEY"])
second = OpenAI(
    base_url="https://api.uncensoredaimodels.com/v1",
    api_key=os.environ["NEW_PROVIDER_KEY"],
)

def ask(messages, main_model, use_second_first=False):
    order = [(second, "uncensored"), (main, main_model)] if use_second_first else [(main, main_model), (second, "uncensored")]
    last = None
    for client, model in order:
        try:
            r = client.chat.completions.create(model=model, messages=messages)
            return r.choices[0].message.content
        except Exception as err:
            last = err
    raise last

Routuj po typie treści, gdzie to możliwe. Funkcja pisania opowiadań może iść od razu na drugi endpoint z use_second_first=True, podczas gdy asystent billingowy zostaje na głównym. To unika płacenia za jedno nieudane wywołanie i utrzymuje przewidywalne zachowanie dla użytkowników.

Bezpieczny sposób testowania

Nie przenoś całego ruchu naraz. Zdobądź próbę za $0,50 na stronie klucza API, która nie wymaga karty i trwa 7 dni, a następnie wykonaj te kroki:

  1. Odtwórz 20 rzeczywistych promptów z Twoich logów na nowy endpoint.
  2. Porównaj odpowiedzi, liczbę tokenów i błędy z obecnym dostawcą.
  3. Wymuś błąd 429 i potwierdź, że ponowna próba działa.
  4. Wyślij 5% ruchu produkcyjnego przez flagę funkcji.
  5. Obserwuj nagłówek X-Balance-USD i swój wskaźnik błędów przez kilka dni przed poszerzeniem.

Dokumentacja opisuje metody, a LLM do kodowania bez cenzury pokazuje szczegółowy przykład użycia przez dewelopera.

01

Pytania i odpowiedzi

Czy mogę użyć SDK OpenAI z innym dostawcą?

Tak, jeśli dostawca jest kompatybilny z OpenAI. Ustaw bazowy URL, klucz i nazwę modelu na wartości nowego dostawcy.

Czy to jest API OpenAI?

Nie. To niezależny endpoint kompatybilny z OpenAI obsługujący jeden model o otwartych wagach i nie jest oficjalnym API OpenAI ani żadnego innego dostawcy.

Czy obsługuje strumieniowanie i narzędzia?

Tak. Strumieniowanie działa przez SSE z stream: true, a wywoływanie funkcji korzysta ze standardowego formatu tools i tool_calls.

Co sprawdzić przed przełączeniem?

Nazwy modeli, obsługiwane parametry, zachowanie przy wywoływaniu funkcji, limity okna kontekstu, obsługa błędów 429 i przede wszystkim to, jak model odpowiada na Twoje rzeczywiste prompty.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API