Asynkroniseringsbegäranden

Model Gate async mode lagrar ett slutledningsjobb i den hållbara MariaDB-kön och returnerar omedelbart ett begäran-ID. Oberoende sub2proxy arbetare gör anspråk på köade jobb med leasingavtal, och övergivna leasingavtal kan återställas efter en omstart av processen. Det slutförda resultatet läses från Partner API eller levereras till återuppringningen som konfigurerats i Profil.

Asynkronläge stöds för:

• POST /v1/chat/completions
• POST /v1/messages
• POST /v1/responses
• POST /v1/images/generations

Asynkroniseringsförfrågningar kan inte användas stream: true.

Köförfrågan

Lägg till tillägget Model Gate "async": true till en i övrigt giltig begäran.

Begäran

curl https://api.model-gate.com/v1/responses \
  -H "Authorization: Bearer mg_live_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short release summary.",
    "async": true,
    "stream": false
  }'

Svar - 202

{
  "request_id": "01KZ...",
  "status": "queued",
  "result_url": "https://p-api.model-gate.com/api/v1/requests/01KZ..."
}

De async fältet tas bort innan begäran skickas uppströms. Ett modellalias löses till sin kanoniska modell innan jobbet köas. Arbetaren omvaliderar nyckeln och kör genom samma Model Gate-förfrågan/redovisningskärna som synkron slutledning. Körader innehåller ingen API-nyckelhemlighet. Native async-prissättning är oförändrad och använder inte batchbegäran-priskoefficienten.

Innan en arbetare gör anspråk på en vara kontrollerar den aktuellt kontosaldo och den nuvarande återställningsbara nyckeln/grupputgifterna i MariaDB. Om kontosaldot inte är positivt, eller om en konfigurerad nyckel-/grupputgiftsgräns redan är förbrukad, finns artikeln kvar queued och konsumerar inte ett avrättningsförsök. En senare påfyllning, användningsåterställning eller gränshöjning gör varan kvalificerad automatiskt. Model Gate reserverar inte en beräknad kostnad för begäran: arbete som redan har passerat antagningen tillåts avsluta och reglera sin totala faktiska kostnad, även när samtidigt arbete gör att det slutliga saldot är negativt eller något överstiger en utgiftsgräns. Nya körningar blockeras sedan tills kontot är kvalificerat igen.

Återställningssemantik

Den hållbara kön ger återhämtning åtminstone en gång, inte exakt-engångsutförande. Om en arbetsprocess avbryts efter att en uppströmsleverantör accepterat en begäran men innan Model Gate varaktigt lagrar asynkroniseringsresultatet, löper hyresavtalet slutligen ut och en annan arbetare kan försöka igen med samma Model Gate-begäran-ID. Avräkning skyddas mot dubbeldebitering, men applikationer som orsakar externa biverkningar genom modellverktyg bör göra dessa biverkningar idempotenta.

Hämta resultat

Använd en Partner API-nyckel som tillhör samma Model Gate-konto.

Begäran

curl https://p-api.model-gate.com/api/v1/requests/01KZ... \
  -H "Authorization: Bearer mg_partner_..."

Svar — bearbetning

{
  "data": {
    "request_id": "01KZ...",
    "status": "processing",
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": null,
    "expires_at": "2026-08-06 10:00:00"
  }
}

Svar — avslutat

{
  "data": {
    "request_id": "01KZ...",
    "status": "completed",
    "response_status": 200,
    "response_headers": {
      "content-type": ["application/json"]
    },
    "response": {
      "id": "resp_...",
      "object": "response",
      "status": "completed"
    },
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": "2026-08-05 10:00:03",
    "expires_at": "2026-08-06 10:00:00"
  }
}

Resultatändpunkten returnerar hela den lagrade uppströmskroppen tills expires_at. Ett utländskt, utgånget eller okänt begäran-ID returneras 404.

Fel

{
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_async_stream_combination",
    "message": "Async requests cannot be streamed."
  }
}

Slutpunkter som inte stöds återvänder async_not_supported.

Återuppringningar

Slutförda asynkroniseringsresultat ställs varaktigt i kö för leverans till den återuppringnings-URL som konfigurerats i Profil. Återuppringningsleverans har sin egen arbetar-/försökskö och väntar därför inte på en annan modell-API-förfrågan. Underhåll stämmer också av rader för asynkronisering av terminaler till förfrågningshistorik och återställer en saknad slutförd återuppringning efter en arbetarkrasch. Se Återuppringningar för signaturverifiering, återförsök och vägledning om idempotens.