Asinhronie pieprasījumi

Modeļa vārtu asinhronais režīms saglabā secinājumu darbu ilgstošajā MariaDB rindā un nekavējoties atgriež pieprasījuma ID. Neatkarīga sub2proxy strādnieki pieprasa rindas darbus ar nomas līgumiem, un pamestos nomas līgumus var atgūt pēc procesa restartēšanas. Pabeigtais rezultāts tiek nolasīts no Partner API vai piegādāts profilā konfigurētajam atzvanīšanas numuram.

Asinhronais režīms tiek atbalstīts:

• POST /v1/chat/completions
• POST /v1/messages
• POST /v1/responses
• POST /v1/images/generations

Asinhronos pieprasījumus nevar izmantot stream: true.

Rindas pieprasījums

Pievienojiet paplašinājumu Model Gate "async": true uz citādi pamatotu pieprasījumu.

Pieprasīt

curl https://api.model-gate.com/v1/responses \
  -H "Authorization: Bearer mg_live_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short release summary.",
    "async": true,
    "stream": false
  }'

Atbilde — 202

{
  "request_id": "01KZ...",
  "status": "queued",
  "result_url": "https://p-api.model-gate.com/api/v1/requests/01KZ..."
}

The async lauks tiek noņemts, pirms pieprasījums tiek nosūtīts augšup. Modeļa aizstājvārds tiek atrisināts atbilstoši tā kanoniskajam modelim, pirms darbs tiek ievietots rindā. Darbinieks atkārtoti apstiprina atslēgu un izpilda to pašu Model Gate pieprasījumu/uzskaites kodolu kā sinhrono secinājumu. Rindas rindās nav API atslēgas noslēpuma. Vietējā asinhronā cena nav mainīta, un tajā netiek izmantots pakešu pieprasījuma cenas koeficients.

Pirms darbinieks pieprasa preci, tas pārbauda pašreizējo konta atlikumu un pašreizējo atiestatāmo atslēgas/grupas tēriņu lietojumu MariaDB. Ja konta atlikums nav pozitīvs vai konfigurētais atslēgas/grupas tēriņu ierobežojums jau ir izsmelts, vienums paliek. queued un nepatērē izpildes mēģinājumu. Vēlāka papildināšana, lietojuma atiestatīšana vai ierobežojuma palielināšana padara vienumu piemērotu automātiski. Model Gate nerezervē aptuvenās pieprasījuma izmaksas: darbu, kas jau ir nokārtots, ir atļauts pabeigt un nokārtot visas faktiskās izmaksas, pat ja vienlaicīga darba rezultātā gala bilance ir negatīva vai nedaudz pārsniedz tēriņu ierobežojumu. Pēc tam jaunas izpildes tiek bloķētas, līdz konts atkal ir piemērots.

Atkopšanas semantika

Izturīgā rinda nodrošina vismaz vienreizēja atveseļošanās, ne gluži vienreiz izpildīts. Ja darbinieka process apstājas pēc tam, kad augšējais pakalpojumu sniedzējs ir pieņēmis pieprasījumu, bet pirms Model Gate ilgstoši saglabā asinhrono rezultātu, nomas termiņš beidzot beidzas un cits darbinieks var atkārtoti mēģināt izmantot to pašu Model Gate pieprasījuma ID. Norēķini ir aizsargāti pret dubulto debetu, taču lietojumprogrammām, kas rada ārējas blakusparādības, izmantojot modeļu rīkus, šīs blakusparādības jāpadara idempotiskas.

Izgūt rezultātu

Izmantojiet atslēgu Partner API, kas pieder tam pašam Model Gate kontam.

Pieprasīt

curl https://p-api.model-gate.com/api/v1/requests/01KZ... \
  -H "Authorization: Bearer mg_partner_..."

Atbilde — apstrāde

{
  "data": {
    "request_id": "01KZ...",
    "status": "processing",
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": null,
    "expires_at": "2026-08-06 10:00:00"
  }
}

Atbilde — pabeigta

{
  "data": {
    "request_id": "01KZ...",
    "status": "completed",
    "response_status": 200,
    "response_headers": {
      "content-type": ["application/json"]
    },
    "response": {
      "id": "resp_...",
      "object": "response",
      "status": "completed"
    },
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": "2026-08-05 10:00:03",
    "expires_at": "2026-08-06 10:00:00"
  }
}

Rezultāta galapunkts atgriež visu saglabāto augšpusi līdz expires_at. Atgriežas ārvalsts pieprasījuma ID, kuram beidzies derīguma termiņš vai nezināms pieprasījuma ID 404.

Kļūdas

{
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_async_stream_combination",
    "message": "Async requests cannot be streamed."
  }
}

Atgriežas neatbalstīti galapunkti async_not_supported.

Atzvani

Pabeigtie asinhronie rezultāti tiek ilgstoši ievietoti rindā, lai tos piegādātu uz profilā konfigurēto atzvanīšanas URL. Atzvanīšanas piegādei ir sava darbinieka/atkārtotā mēģinājuma rinda, un tāpēc tā negaida citu modeļa API pieprasījumu. Uzturēšana arī saskaņo termināļa asinhronās rindas ar pieprasījumu vēsturi un atkopj trūkstošo pabeigšanas atzvanīšanu pēc darbinieka avārijas. Skat Atzvani paraksta pārbaudei, mēģinājumiem un idempotences norādījumiem.