Asynkroniseringsforespørsler

Model Gate asynkronmodus lagrer en inferensjobb i den holdbare MariaDB-køen og returnerer umiddelbart en forespørsels-ID. Selvstendig sub2proxy arbeidere krever jobber i kø med leieavtaler, og forlatte leieavtaler kan gjenopprettes etter en omstart av prosessen. Det fullførte resultatet leses fra Partner API eller leveres til tilbakeringingen som er konfigurert i profil.

Asynkronmodus støttes for:

• POST /v1/chat/completions
• POST /v1/messages
• POST /v1/responses
• POST /v1/images/generations

Asynkrone forespørsler kan ikke brukes stream: true.

Køforespørsel

Legg til Model Gate-utvidelsen "async": true til en ellers gyldig forespørsel.

Forespørsel

curl https://api.model-gate.com/v1/responses \
  -H "Authorization: Bearer mg_live_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short release summary.",
    "async": true,
    "stream": false
  }'

Svar - 202

{
  "request_id": "01KZ...",
  "status": "queued",
  "result_url": "https://p-api.model-gate.com/api/v1/requests/01KZ..."
}

De async feltet fjernes før forespørselen sendes oppstrøms. Et modellalias blir løst til sin kanoniske modell før jobben settes i kø. Arbeideren validerer nøkkelen på nytt og kjører gjennom den samme Model Gate-forespørselen/regnskapskjernen som synkron inferens. Kørader inneholder ingen API-nøkkelhemmelighet. Innebygd async-prising er uendret og bruker ikke batchforespørselspriskoeffisienten.

Før en arbeider gjør krav på en vare, sjekker den gjeldende kontosaldo og gjeldende bruk av nullstillbar nøkkel/gruppeforbruk i MariaDB. Hvis kontosaldoen ikke er positiv, eller en konfigurert nøkkel-/gruppeforbruksgrense allerede er oppbrukt, forblir varen queued og bruker ikke et henrettelsesforsøk. En senere påfylling, tilbakestilling av bruk eller grenseøkning gjør varen automatisk kvalifisert. Model Gate reserverer ikke en estimert forespørselskostnad: arbeid som allerede har passert opptak, får fullføre og gjøre opp hele den faktiske kostnaden, selv når samtidig arbeid gjør den endelige saldoen negativ eller litt over en forbruksgrense. Nye henrettelser blir deretter blokkert til kontoen er kvalifisert igjen.

Gjenopprettingssemantikk

Den slitesterke køen gir restitusjon minst én gang, ikke eksakt én gang utførelse. Hvis en arbeidsprosess stopper etter at en oppstrømsleverandør har akseptert en forespørsel, men før Model Gate lagrer asynkresultatet varig, utløper leieavtalen til slutt, og en annen arbeider kan prøve samme Model Gate-forespørsels-ID på nytt. Oppgjør er beskyttet mot dobbel debet, men applikasjoner som forårsaker eksterne bivirkninger gjennom modellverktøy bør gjøre disse bivirkningene idempotente.

Hent resultat

Bruk en Partner API-nøkkel som tilhører den samme Model Gate-kontoen.

Forespørsel

curl https://p-api.model-gate.com/api/v1/requests/01KZ... \
  -H "Authorization: Bearer mg_partner_..."

Svar — behandling

{
  "data": {
    "request_id": "01KZ...",
    "status": "processing",
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": null,
    "expires_at": "2026-08-06 10:00:00"
  }
}

Svar — fullført

{
  "data": {
    "request_id": "01KZ...",
    "status": "completed",
    "response_status": 200,
    "response_headers": {
      "content-type": ["application/json"]
    },
    "response": {
      "id": "resp_...",
      "object": "response",
      "status": "completed"
    },
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": "2026-08-05 10:00:03",
    "expires_at": "2026-08-06 10:00:00"
  }
}

Resultatendepunktet returnerer hele den lagrede oppstrømskroppen til expires_at. En utenlandsk, utløpt eller ukjent forespørsels-ID returneres 404.

Feil

{
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_async_stream_combination",
    "message": "Async requests cannot be streamed."
  }
}

Ustøttede endepunkter returnerer async_not_supported.

Tilbakeringinger

Fullførte asynkroniseringsresultater stilles varig i kø for levering til tilbakeringings-URLen som er konfigurert i profil. Tilbakeringingslevering har sin egen arbeider-/forsøkskø og venter derfor ikke på en ny modell-API-forespørsel. Vedlikehold avstemmer også terminalasynkroniseringsrader med forespørselshistorikk og gjenoppretter en manglende tilbakeringing etter en arbeiderkrasj. Se Tilbakeringinger for signaturverifisering, gjenforsøk og veiledning om idempotens.