Asünkroonimistaotlused

Mudelvärava asünkroonimisrežiim salvestab järeldustöö püsivasse MariaDB järjekorda ja tagastab kohe päringu ID. Sõltumatu sub2proxy töötajad nõuavad rendilepinguga järjekorda pandud töökohti ja mahajäetud rendilepingud saab pärast protsessi taaskäivitamist tagasi saada. Lõpetatud tulemus loetakse numbrilt Partner API või edastatakse profiilis konfigureeritud tagasihelistamisse.

Asünkroonimisrežiimi toetatakse:

• POST /v1/chat/completions
• POST /v1/messages
• POST /v1/responses
• POST /v1/images/generations

Asünkroonimistaotlusi ei saa kasutada stream: true.

Järjekorrataotlus

Lisage laiendus Model Gate "async": true muidu kehtivale taotlusele.

Taotlus

curl https://api.model-gate.com/v1/responses \
  -H "Authorization: Bearer mg_live_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short release summary.",
    "async": true,
    "stream": false
  }'

Vastus - 202

{
  "request_id": "01KZ...",
  "status": "queued",
  "result_url": "https://p-api.model-gate.com/api/v1/requests/01KZ..."
}

The async väli eemaldatakse enne päringu saatmist ülesvoolu. Mudeli alias lahendatakse enne töö järjekorda panemist selle kanooniliseks mudeliks. Töötaja kinnitab võtme uuesti ja täidab sama mudelivärava päringu/arvestustuuma sünkroonse järeldusena. Järjekorraread ei sisalda API-võtme saladust. Natiivne asünkrooniline hinnakujundus on muutumatu ega kasuta pakettpäringu hinnakoefitsienti.

Enne kui töötaja üksuse taotleb, kontrollib ta MariaDB-s jooksvat kontojääki ja praegust lähtestatavat võtme/rühma kulukasutust. Kui konto saldo ei ole positiivne või konfigureeritud võtme/grupi kululimiit on juba ammendatud, jääb üksus alles queued ja ei kuluta hukkamiskatset. Hilisem täiendamine, kasutuse lähtestamine või limiidi suurendamine muudab üksuse automaatselt sobivaks. Model Gate ei reserveeri hinnangulist taotluse maksumust: juba vastuvõtu läbinud töödel lubatakse lõpetada ja arveldada kogu tegelik tegelik maksumus, isegi kui samaaegne töö muudab lõppsaldo negatiivseks või ületab veidi kululimiiti. Seejärel blokeeritakse uued täitmised, kuni konto on taas kõlblik.

Taastamise semantika

Vastupidav järjekord annab vähemalt üks kord taastumine, mitte täpselt ühekordne täitmine. Kui töötaja protsess peatub pärast seda, kui ülesvoolu teenusepakkuja on päringu vastu võtnud, kuid enne, kui Model Gate asünkroonimise tulemuse püsivalt salvestab, aegub rendileping lõpuks ja teine ​​töötaja võib sama Model Gate'i päringu ID-d uuesti proovida. Arveldus on kaitstud topeltdeebeti eest, kuid rakendused, mis põhjustavad mudelitööriistade kaudu väliseid kõrvalmõjusid, peaksid muutma need kõrvalmõjud idempotentseks.

Too tulemus

Kasutage samale Model Gate'i kontole kuuluvat võtit Partner API.

Taotlus

curl https://p-api.model-gate.com/api/v1/requests/01KZ... \
  -H "Authorization: Bearer mg_partner_..."

Vastus — töötlemine

{
  "data": {
    "request_id": "01KZ...",
    "status": "processing",
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": null,
    "expires_at": "2026-08-06 10:00:00"
  }
}

Vastus – täidetud

{
  "data": {
    "request_id": "01KZ...",
    "status": "completed",
    "response_status": 200,
    "response_headers": {
      "content-type": ["application/json"]
    },
    "response": {
      "id": "resp_...",
      "object": "response",
      "status": "completed"
    },
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": "2026-08-05 10:00:03",
    "expires_at": "2026-08-06 10:00:00"
  }
}

Tulemuse lõpp-punkt tagastab täieliku salvestatud ülesvoolu keha kuni expires_at. Välisriigi, aegunud või tundmatu päringu ID tagastab 404.

Vead

{
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_async_stream_combination",
    "message": "Async requests cannot be streamed."
  }
}

Toetamata lõpp-punktid naasevad async_not_supported.

Tagasihelistamised

Lõpetatud asünkroonimistulemused pannakse püsivalt järjekorda, et need edastatakse profiilis konfigureeritud tagasihelistamise URL-ile. Tagasihelistamisel on oma töötaja/uuesti proovimise järjekord ja seetõttu ei oota see teist Model API päringut. Hooldus ühildab ka terminali asünkroonimise read taotluste ajalooga ja taastab puuduva lõpetamise tagasihelistamise pärast töötaja kokkujooksmist. Vaata Tagasihelistamised allkirja kontrollimiseks, korduskatseteks ja idempotentsuse juhendamiseks.