Asynkroniseringsanmodninger

Model Gate async-tilstand gemmer et inferensjob i den holdbare MariaDB-kø og returnerer straks et anmodnings-id. Uafhængig sub2proxy arbejdere gør krav på job i kø med lejekontrakter, og opgivne lejemål kan inddrives efter en genstart af processen. Det færdige resultat læses fra Partner API eller leveres til det tilbagekald, der er konfigureret i Profil.

Asynkron tilstand understøttes til:

• POST /v1/chat/completions
• POST /v1/messages
• POST /v1/responses
• POST /v1/images/generations

Asynkroniseringsanmodninger kan ikke bruges stream: true.

Anmodning om kø

Tilføj Model Gate-udvidelsen "async": true til en ellers gyldig anmodning.

Anmodning

curl https://api.model-gate.com/v1/responses \
  -H "Authorization: Bearer mg_live_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short release summary.",
    "async": true,
    "stream": false
  }'

Svar - 202

{
  "request_id": "01KZ...",
  "status": "queued",
  "result_url": "https://p-api.model-gate.com/api/v1/requests/01KZ..."
}

De async felt fjernes, før anmodningen sendes opstrøms. Et modelalias løses til sin kanoniske model, før jobbet sættes i kø. Arbejderen genvaliderer nøglen og udfører den samme Model Gate-anmodning/regnskabskerne som synkron inferens. Kørækker indeholder ingen API-nøglehemmelighed. Native async-priser er uændrede og bruger ikke batch-anmodningspriskoefficienten.

Før en arbejder gør krav på en vare, tjekker den den aktuelle kontosaldo og den aktuelle nulstillelige nøgle/gruppeforbrug i MariaDB. Hvis kontosaldoen ikke er positiv, eller en konfigureret nøgle-/gruppeforbrugsgrænse allerede er opbrugt, forbliver varen queued og bruger ikke et henrettelsesforsøg. En senere opfyldning, nulstilling af forbrug eller en grænseforøgelse gør varen automatisk kvalificeret. Model Gate reserverer ikke en estimeret anmodningsomkostning: Arbejde, der allerede har bestået optagelsen, får lov til at afslutte og afregne dets fulde faktiske omkostninger, selv når samtidig arbejde gør den endelige saldo negativ eller lidt overstiger en forbrugsgrænse. Nye henrettelser blokeres derefter, indtil kontoen er kvalificeret igen.

Recovery semantik

Den holdbare kø giver opsving mindst én gang, ikke præcis-engangsudførelse. Hvis en arbejdsproces stopper, efter at en upstream-udbyder har accepteret en anmodning, men før Model Gate varigt lagrer async-resultatet, udløber lejekontrakten til sidst, og en anden arbejder kan prøve det samme Model Gate-anmodnings-id igen. Afregning er beskyttet mod dobbeltdebitering, men applikationer, der forårsager eksterne bivirkninger gennem modelværktøjer, bør gøre disse bivirkninger idempotente.

Hent resultat

Brug en Partner API-nøgle, der tilhører den samme Model Gate-konto.

Anmodning

curl https://p-api.model-gate.com/api/v1/requests/01KZ... \
  -H "Authorization: Bearer mg_partner_..."

Svar — behandling

{
  "data": {
    "request_id": "01KZ...",
    "status": "processing",
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": null,
    "expires_at": "2026-08-06 10:00:00"
  }
}

Svar — afsluttet

{
  "data": {
    "request_id": "01KZ...",
    "status": "completed",
    "response_status": 200,
    "response_headers": {
      "content-type": ["application/json"]
    },
    "response": {
      "id": "resp_...",
      "object": "response",
      "status": "completed"
    },
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": "2026-08-05 10:00:03",
    "expires_at": "2026-08-06 10:00:00"
  }
}

Resultatendepunktet returnerer hele den lagrede opstrøms krop indtil expires_at. Et udenlandsk, udløbet eller ukendt anmodnings-id returneres 404.

Fejl

{
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_async_stream_combination",
    "message": "Async requests cannot be streamed."
  }
}

Ikke-understøttede slutpunkter vender tilbage async_not_supported.

Tilbagekald

Fuldførte asynkroniseringsresultater stilles varigt i kø til levering til den tilbagekalds-URL, der er konfigureret i Profil. Tilbagekaldslevering har sin egen arbejder-/genforsøgskø og venter derfor ikke på endnu en Model API-anmodning. Vedligeholdelse afstemmer også terminalasynkroniseringsrækker med anmodningshistorik og genopretter et manglende tilbagekald efter en arbejdernedbrud. Se Tilbagekald til signaturbekræftelse, genforsøg og vejledning om idempotens.