TH ▾
รับคีย์ API

ทางเลือก API OpenAI: โค้ดของคุณเปลี่ยนอย่างไร

ทางเลือก API OpenAI ส่วนใหญ่คัดลอกโครงสร้างคำขอของ OpenAI ซึ่งหมายความว่าเปลี่ยนเพียงการตั้งค่า ไม่ใช่การเขียนโค้ดใหม่ บทความนี้แสดงสิ่งที่เปลี่ยนแปลงในโค้ด สิ่งที่ทำให้ระบบขัดข้อง และที่ที่เอนด์พอยต์ที่เข้ากันได้กับ OpenAIซึ่งให้บริการโมเดลเดียว เหมาะและไม่เหมาะกับที่ใด

อัปเดต

สายเคเบิลสีต่างๆ เสียบเข้ากับพอร์ตคอนเนกเตอร์มาตรฐานหนึ่งพอร์ต แสดงถึงเอนด์พอยต์ API ที่เปลี่ยนแทนกันได้
แพลตฟอร์มสี่แห่งที่มีคลาวด์ ศูนย์เครือข่าย กล่อง GPU และลูกบาศก์ที่เชื่อมต่อกับยอดคงเหลือกลาง เพื่อเปรียบเทียบตัวเลือกโมเดล

สิ่งที่ตัวเลือกอื่นนำเสนอ

ผู้คนมองหาทางเลือก API OpenAI ด้วยเหตุผลต่างๆ: ราคา, กฎเนื้อหา, การจัดการข้อมูล, ความพร้อมในภูมิภาค หรือความต้องการใช้โมเดลแบบเปิดน้ำหนัก ไม่ว่าเหตุผลใด การทดสอบเดียวกันใช้ได้: ทางเลือกยอมรับโครงสร้างคำขอที่คุณส่งอยู่แล้วหรือไม่ และส่งกลับโครงสร้างการตอบกลับที่โค้ดของคุณอ่านอยู่แล้วหรือไม่

หากใช่ การเรียกใช้ SDK ของคุณไม่เปลี่ยนแปลง หากไม่ใช่ คุณต้องเขียนตัวปรับแต่งหนึ่งครั้ง ซึ่งก็ถือว่าใช้ได้ แต่เป็นต้นทุนหลักในการเปลี่ยน API บทความนี้สมมติกรณีแรก คือเอนด์พอยต์ที่เข้ากันได้กับ OpenAI

การเปลี่ยนแปลงสามบรรทัด

ด้วยแพ็กเกจ Python ทางการ การตั้งค่าเดิมมีโฮสต์เริ่มต้นและคีย์ API OpenAI สำหรับทางเลือก คุณตั้งค่าสามสิ่ง: base_url, คีย์จากผู้ให้บริการใหม่ และชื่อโมเดล นี่คือเวอร์ชันที่เสร็จแล้วสำหรับเอนด์พอยต์นี้:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredaimodels.com/v1",  # was the default host
    api_key=os.environ["NEW_PROVIDER_KEY"],            # was your OpenAI key
)

r = client.chat.completions.create(
    model="uncensored",                                 # was an OpenAI model name
    messages=[{"role": "user", "content": "Pitch me a plot twist for a mystery."}],
)
print(r.choices[0].message.content)

สิ่งเดียวกันนี้ทำได้ใน Node โดยส่ง baseURL ไปยังคอนสตรัคเตอร์ ใน wrapper แบบ LangChain ผ่านตัวเลือก base URL และในเครื่องมือที่มีฟิลด์เอนด์พอยต์แบบกำหนดเอง ใน curl คุณเปลี่ยนโฮสต์และเฮดเดอร์:

curl https://api.uncensoredaimodels.com/v1/chat/completions \
  -H "Authorization: Bearer $NEW_PROVIDER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"ping"}]}'

สิ่งที่อาจพังหลังจากการเปลี่ยน

ชื่อโมเดล

โมเดล ID เป็นของผู้ให้บริการ สิ่งใดก็ตามที่ระบุชื่อโมเดลของ OpenAI แบบตายตัวต้องอัปเดต ให้ใส่ชื่อไว้ในค่ากำหนด

พารามิเตอร์

ตัวเลือกหลักเช่น temperature, top_p, stop และ max_tokens ส่งผ่านได้ ตัวเลือกอื่นเช่น logprobs หรือตัวเลือก response-format บางอย่างขึ้นอยู่กับผู้ให้บริการ เอนด์พอยต์นี้ส่งผ่าน temperature, top_p, stop, seed และ penalties และโหมด JSON ทำงานกับ response_format: {"type":"json_object"}

คุณภาพการเรียกใช้เครื่องมือ

รูปแบบการส่งข้อมูลนั้นเหมือนกัน แต่ความสามารถของโมเดลในการเลือกฟังก์ชันและเติมอาร์กิวเมนต์นั้นแตกต่างกัน ให้ทดสอบสคีมาฟังก์ชันจริงของคุณผ่านโมเดลใหม่ และตรวจสอบอาร์กิวเมนต์ในโค้ดของคุณ

ความยาวบริบทและการตัดทอน

การเปลี่ยนแปลงหน้าต่างบริบทเปลี่ยนปริมาณประวัติที่คุณสามารถส่งได้ ที่นี่หน้าต่างคือ 100,000 โทเคนสำหรับพรอมต์รวมกับการสร้างคำตอบ

ข้อผิดพลาดและขีดจำกัด

ผู้ให้บริการใช้ขีดจำกัดและรหัสต่างกัน เอนด์พอยต์นี้ส่ง HTTP 429 พร้อม rate_limited สำหรับคำขอต่อนาที และ concurrency สำหรับคำขอพร้อมกันมากเกินไป และ 429 พร้อม Retry-After: 5 เมื่อโหลดเกินชั่วคราว ตรรกะการเรียกซ้ำของคุณควรจัดการ 429 สำหรับผู้ให้บริการใดๆ

พฤติกรรม

การเปลี่ยนแปลงที่ใหญ่ที่สุดไม่ใช่เรื่องทางเทคนิค โมเดลแตกต่างกันในน้ำเสียง รูปแบบการจัดรูปแบบ และสิ่งที่พวกมันปฏิเสธ ให้ทดสอบด้วยพรอมต์จริงของคุณ ไม่ใช่พรอมต์ตัวอย่าง

ที่ที่เอนด์พอยต์โมเดลเดียวเหมาะสม

บริการนี้เป็น API ข้อความที่เข้ากันได้กับ OpenAI โดยมีโมเดลแบบเปิดน้ำหนักเดียว ดำเนินการโดยผู้ให้บริการอิสระและปรับแต่งเพื่อตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API ทางการของ OpenAI, Meta, Mistral, Qwen, DeepSeek, xAI, Google, Anthropic หรือผู้ขายรายอื่น และไม่ใช่ตัวกระจายการรับส่งข้อมูลข้ามผู้ขาย โมเดล ID คือ uncensored

บริการนี้เหมาะสำหรับงานเหล่านี้: เครื่องมือนิยายและบทบาทสมมติสำหรับผู้ใหญ่ แอปเพื่อน ผู้ช่วยเขียนที่ไม่ควรหยุดกลางฉาก และแบ็กเอนด์ที่พฤติกรรมที่มั่นคงในธีมผู้ใหญ่สำคัญกว่าการเลือกโมเดลหลายตัว นอกจากนี้ยังเหมาะสำหรับนักพัฒนาที่ต้องการราคาต่อโทเคนที่เรียบง่ายและพรอมต์ที่ไม่ถูกใช้สำหรับการฝึก

กรณีที่ไม่เหมาะสม

เป็นจริงเกี่ยวกับขีดจำกัดก่อนที่คุณจะเปลี่ยนการรับส่งข้อมูล:

  • มีโมเดลเดียวเท่านั้น คุณไม่สามารถเลือกโมเดลที่เล็กกว่าและถูกกว่าสำหรับงานง่ายหรือโมเดลที่ใหญ่กว่าสำหรับงานยากได้ หากคุณพึ่งพาการกำหนดเส้นทางโมเดล คุณต้องการแพลตฟอร์มอื่น
  • ข้อความเท่านั้น ไม่มีการสร้างภาพ เสียง หรือวิดีโอ ไม่มีการสร้าง embeddings และไม่มีการปรับแต่ง แอปพลิเคชันที่ต้องการ embeddings ต้องรับจากที่อื่น
  • ไม่ใช่ผลิตภัณฑ์หลักของผู้จัดจำหน่าย หากคุณต้องการโมเดลเฉพาะชื่อสำหรับการปฏิบัติตามข้อกำหนดหรือการทดสอบมาตรฐาน ให้ใช้ผู้จัดจำหน่ายนั้น
  • ขีดจำกัดแข็ง ไม่มีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์เลย

ทีมจำนวนมากใช้งานสองเอนด์พอยต์: ผู้ให้บริการหลักและอีกอันสำหรับเนื้อหาที่ผู้ให้บริการหลักปฏิเสธ เนื่องจากทั้งสองใช้รูปแบบเดียวกัน การสลับจึงใช้โค้ดเพียงเล็กน้อย การเปลี่ยนค่า config และการจัดการ fallback เมื่อเกิดข้อผิดพลาดบางประเภท

ต้นทุน: วิธีการเปรียบเทียบ

ตรวจสอบราคาปัจจุบันของผู้ให้บริการแต่ละรายและแปลงเป็นรูปแบบคำขอของคุณ สำหรับเอนด์พอยต์นี้ ค่าอินพุตคือ $0.15 ต่อ 1M โทเคน และเอาต์พุต $0.50 ต่อ 1M ตัวอย่าง: 3,000 โทเคนอินพุตและ 500 โทเคนเอาต์พุตมีค่าใช้จ่าย $0.00045 + $0.00025 = $0.0007 ต่อการเรียกใช้ ดังนั้น 10,000 การเรียกใช้ต่อเดือนมีค่าใช้จ่าย $7 คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน ไม่มีสมาชิก และเครดิตไม่หมดอายุ

การเติมเงินมีตั้งแต่ $20 ถึง $500 โดยคริปโต (USDT บน TRC20, USDC บน Base) พร้อมโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 สำหรับตารางเปรียบเทียบตัวเลือกโมเดลต่างๆ ดู การเปรียบเทียบโมเดล AI และราคา หน้า ราคา มีรายการเต็ม

รูปแบบ fallback สำหรับสองเอนด์พอยต์

หากคุณต้องการเอนด์พอยต์สำรองสำหรับเนื้อหาที่ผู้ให้บริการหลักปฏิเสธ ให้เก็บไคลเอนต์ทั้งสองและเลือกตามคำขอ ตัวอย่างนี้ส่งคำขอไปยังผู้ให้บริการหลักก่อน และลองใช้เอนด์พอยต์ที่สองเมื่อได้รับเครื่องหมายปฏิเสธที่คุณกำหนด หรือเมื่อการเรียกใช้ล้มเหลว:

import os
from openai import OpenAI

main = OpenAI(api_key=os.environ["MAIN_KEY"])
second = OpenAI(
    base_url="https://api.uncensoredaimodels.com/v1",
    api_key=os.environ["NEW_PROVIDER_KEY"],
)

def ask(messages, main_model, use_second_first=False):
    order = [(second, "uncensored"), (main, main_model)] if use_second_first else [(main, main_model), (second, "uncensored")]
    last = None
    for client, model in order:
        try:
            r = client.chat.completions.create(model=model, messages=messages)
            return r.choices[0].message.content
        except Exception as err:
            last = err
    raise last

จัดเส้นทางตามประเภทเนื้อหาเมื่อทำได้ ฟีเจอร์เขียนเรื่องราวสามารถไปที่เอนด์พอยต์ที่สองโดยตรงด้วย use_second_first=True ในขณะที่ผู้ช่วยบิลลิ่งยังคงอยู่บนเอนด์พอยต์หลัก สิ่งนี้หลีกเลี่ยงการจ่ายสำหรับการเรียกใช้ที่ล้มเหลวและทำให้พฤติกรรมของผู้ใช้คาดเดาได้

วิธีการทดสอบที่ปลอดภัย

อย่าเปลี่ยนการจราจรทั้งหมดในครั้งเดียว รับเครดิตทดลองใช้ $0.50 ที่ หน้าคีย์ API ซึ่งไม่ต้องใช้บัตรและใช้งานได้ 7 วัน จากนั้นดำเนินการขั้นตอนเหล่านี้:

  1. เล่นซ้ำพรอมต์จริง 20 รายการจากบันทึกของคุณกับเอนด์พอยต์ใหม่
  2. เปรียบเทียบคำตอบ จำนวนโทเคน และอัตราความล้มเหลวกับผู้ให้บริการปัจจุบันของคุณ
  3. บังคับให้เกิดสถานะ 429 และยืนยันว่าการลองซ้ำของคุณทำงานได้
  4. ส่งการรับส่งข้อมูล 5% จากสภาพแวดล้อมการผลิตผ่านฟีเจอร์แฟลก
  5. ติดตามส่วนหัว X-Balance-USD และอัตราข้อผิดพลาดของคุณเป็นเวลาหลายวันก่อนขยายการรับส่งข้อมูล

เอกสาร ครอบคลุมวิธีการ และ LLM สำหรับเขียนโค้ดแบบไม่เซ็นเซอร์ แสดงการใช้งานของผู้พัฒนาหนึ่งรายโดยละเอียด

01

ถาม-ตอบ

สามารถใช้ SDK ของ OpenAIกับผู้ให้บริการรายอื่นได้หรือไม่?

ใช่ หากผู้ให้บริการเข้ากันได้กับ OpenAI ตั้งค่า base URL, คีย์ และชื่อโมเดลเป็นค่าของผู้ให้บริการใหม่

บริการนี้คือ API ของ OpenAI หรือไม่?

ไม่ มันเป็นเอนด์พอยต์ที่เข้ากันได้กับ OpenAI ซึ่งเป็นอิสระซึ่งรันโมเดลแบบเปิดน้ำหนักหนึ่งโมเดล และไม่ใช่ API ทางการของ OpenAI หรือผู้ให้บริการรายอื่น

รองรับสตรีมมิงและเครื่องมือหรือไม่?

ใช่ การสตรีมทำงานผ่าน SSE ด้วย stream: true และการเรียกใช้ฟังก์ชันใช้รูปแบบเครื่องมือและ tool_calls มาตรฐาน

ควรตรวจสอบอะไรก่อนเปลี่ยน

ชื่อโมเดล พารามิเตอร์ที่รองรับ พฤติกรรมการเรียกใช้เครื่องมือ ขีดจำกัดบริบท การจัดการข้อผิดพลาดสำหรับ 429 และเหนือสิ่งอื่นใดคือวิธีที่โมเดลตอบกลับพรอมต์จริงของคุณ

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ เปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API