RU ▾
Получить API-ключ

Альтернативы OpenAI API: что меняется в коде

Большинство альтернатив API OpenAI копируют формат запросов OpenAI, что означает: переключение часто требует лишь изменения конфигурации, а не переписывания кода. В этой статье показано, что именно меняется в коде, что может сломаться и где одно-модельный OpenAI-совместимый эндпоинт подходит хорошо, а где нет.

Обновлено

Несколько цветных кабелей, подключенных к одному стандартному порту, демонстрирующих взаимозаменяемость API-эндпоинтов
Четыре платформы с облаком, сетевым хабом, GPU-боксом и кубом, подключёнными к центральному балансу, для сравнения вариантов моделей

Что может предложить альтернатива

Люди ищут альтернативы API OpenAI по разным причинам: цена, правила контента, обработка данных, региональная доступность или желание использовать модели с открытыми весами. Независимо от причины, применяется один и тот же тест. Принимает ли альтернатива формат запроса, который вы уже отправляете, и возвращает ли она формат ответа, который уже читает ваш код?

Если да, вызовы вашего SDK не изменятся. Если нет, вам нужно один раз написать адаптер, что тоже нормально, но это основная стоимость переключения. В остальной части статьи предполагается первый случай, то есть OpenAI-совместимый эндпоинт.

Изменения в трёх строках

С официальным пакетом Python исходная настройка использует хост по умолчанию и ключ OpenAI. Для альтернативы вы устанавливаете три вещи: base_url, ключ от нового провайдера и имя модели. Вот готовая версия для этого эндпоинта:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredaimodels.com/v1",  # was the default host
    api_key=os.environ["NEW_PROVIDER_KEY"],            # was your OpenAI key
)

r = client.chat.completions.create(
    model="uncensored",                                 # was an OpenAI model name
    messages=[{"role": "user", "content": "Pitch me a plot twist for a mystery."}],
)
print(r.choices[0].message.content)

То же самое работает в Node.js путём передачи baseURL в конструктор, в обёртках в стиле LangChain через их опцию базового URL и в инструментах, имеющих поле пользовательского эндпоинта. В curl вы меняете хост и заголовок:

curl https://api.uncensoredaimodels.com/v1/chat/completions \
  -H "Authorization: Bearer $NEW_PROVIDER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"ping"}]}'

Что может сломаться после переключения

Имена моделей

Идентификаторы моделей принадлежат провайдеру. Всё, что жёстко кодирует имя модели OpenAI, нужно обновить. Вынесите имя в конфигурацию.

Параметры

Основные параметры, такие как temperature, top_p, stop и max_tokens, переносятся. Другие, такие как logprobs или некоторые параметры формата ответа, зависят от провайдера. На этом эндпоинте temperature, top_p, stop, seed и штрафы передаются напрямую, а JSON-режим работает с response_format: {"type":"json_object"}.

Качество вызова инструментов

Формат передачи данных общий, но то, насколько хорошо модель выбирает функции и заполняет аргументы, различается. Прогоните ваши реальные схемы функций через новую модель и проверьте аргументы в коде.

Длина контекста и усечение

Изменение контекстного окна меняет объём истории, который вы можете отправить. Здесь окно составляет 100 000 токенов для промпта плюс завершения.

Ошибки и лимиты

Провайдеры используют разные лимиты и коды. Этот возвращает HTTP 429 с rate_limited для запросов в минуту и concurrency для одновременных запросов, а также 429 с Retry-After: 5 при временной перегрузке. Ваша логика повторных попыток должна обрабатывать 429 для любого провайдера.

Поведение

Самое большое изменение — не техническое. Модели различаются по тону, привычкам форматирования и тому, что они отказываются делать. Тестируйте с вашими реальными промптами, а не демо-версиями.

Где подходит одно-модельный эндпоинт

Этот сервис — текстовое API, совместимое с OpenAI, с одной моделью с открытыми весами, от независимого провайдера и настроенное на ответы без отказов по контенту для законного использования взрослыми. Это не официальное API OpenAI, Meta, Mistral, Qwen, DeepSeek, xAI, Google, Anthropic или любого другого поставщика, и это не маршрутизатор между поставщиками. Идентификатор модели — uncensored.

Он хорошо подходит для этих задач: инструменты для фантастики и ролевых игр для взрослых, приложения-компаньоны, помощники для письма, которые не должны останавливаться на полуслове, и бэкенды, где стабильное поведение на зрелые темы важнее, чем выбор между множеством моделей. Он также подходит разработчикам, которым нужна простая цена за токен и промпты, не используемые для обучения.

Там, где не подходит

Будьте честны относительно ограничений перед переносом трафика:

  • Только одна модель. Вы не можете выбрать меньшую, более дешёвую модель для лёгких задач или более крупную для сложных. Если вы полагаетесь на маршрутизацию моделей, вам нужна другая платформа.
  • Только текст. Нет генерации изображений, аудио или видео, нет эмбеддингов и нет дообучения. Приложению для поиска, которому нужны эмбеддинги, необходимо получать их из других источников.
  • Не флагман вендора. Если вам нужна конкретная именованная модель для соответствия требованиям или бенчмарков, используйте этого вендора.
  • Жёсткое ограничение. Никакого сексуального контента с участием несовершеннолетних, никогда.

Многие команды запускают два эндпоинта: основного провайдера и второй для контента, который первый отклоняет. Поскольку оба разделяют один формат, это небольшое количество кода, переключение конфигурации и резервирование при определённых ошибках.

Стоимость: как сравнивать

Проверьте текущие тарифы каждого провайдера и приведите их к форме вашего запроса. Для этого эндпоинта входные токены стоят $0,15 за 1 млн, а выходные — $0,50 за 1 млн. Пример: 3 000 входных и 500 выходных токенов обходятся в $0,00045 + $0,00025 = $0,0007 за вызов, поэтому 10 000 вызовов в месяц обойдутся в $7. За неудачные или отклонённые запросы не берётся плата, нет подписки, а баланс не сгорает.

Пополнение от $20 до $500, криптовалютой (USDT на TRC20, USDC на Base), с бонусом +5% от $50, +10% от $100 и +15% от $200. Чтобы сравнить различные варианты моделей, см. сравнение AI-моделей и цен. Полный список доступен на странице с ценами.

Шаблон резервирования для двух эндпоинтов

Если вам нужен второй эндпоинт для контента, который отклоняет ваш основной провайдер, сохраните оба клиента и выбирайте их для каждого запроса. Этот эскиз отправляет запрос основному провайдеру сначала и пробует второй, когда ответ — маркер отказа, который вы определяете, или когда вызов завершается ошибкой:

import os
from openai import OpenAI

main = OpenAI(api_key=os.environ["MAIN_KEY"])
second = OpenAI(
    base_url="https://api.uncensoredaimodels.com/v1",
    api_key=os.environ["NEW_PROVIDER_KEY"],
)

def ask(messages, main_model, use_second_first=False):
    order = [(second, "uncensored"), (main, main_model)] if use_second_first else [(main, main_model), (second, "uncensored")]
    last = None
    for client, model in order:
        try:
            r = client.chat.completions.create(model=model, messages=messages)
            return r.choices[0].message.content
        except Exception as err:
            last = err
    raise last

Маршрутизируйте по типу контента, где это возможно. Функцию написания историй можно сразу направить на второй эндпоинт с use_second_first=True, в то время как помощник по биллингу остаётся на основном. Это позволяет избежать оплаты за неудачный вызов сначала и сохраняет предсказуемое поведение для пользователей.

Безопасный способ тестирования

Не переводите весь трафик сразу. Получите $0,50 пробного кредита на странице API-ключа, для чего не нужна карта и срок действия — 7 дней, затем выполните эти шаги:

  1. Воспроизведите 20 реальных промптов из ваших журналов на новом эндпоинте.
  2. Сравните ответы, подсчёт токенов и сбои с вашим текущим провайдером.
  3. Спровоцируйте ошибку 429 и подтвердите, что повторная попытка работает.
  4. Направьте 5% производственного трафика через feature flag.
  5. Следите за заголовком X-Balance-USD и вашей частотой ошибок в течение нескольких дней перед расширением.

Документация описывает методы, а LLM для кода без цензуры подробно показывает один вариант использования разработчиком.

01

Вопросы и ответы

Можно ли использовать SDK OpenAI с другим провайдером?

Да, если провайдер совместим с OpenAI. Укажите базовый URL, ключ и имя модели, соответствующие значениям нового провайдера.

Это API от OpenAI?

Нет. Это независимый эндпоинт, совместимый с OpenAI, работающий на базе одной модели с открытыми весами; это не официальное API от OpenAI или любого другого поставщика.

Поддерживается ли потоковая передача и инструменты?

Да. Потоковая передача работает через SSE с параметром stream: true, а вызов инструментов использует стандартные форматы tools и tool_calls.

Что нужно проверить перед переключением?

Имена моделей, поддерживаемые параметры, поведение при вызове инструментов, ограничения контекста, обработку ошибок 429 и, прежде всего, то, как модель отвечает на ваши реальные промпты.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ