Sol·licituds asíncrones

El mode asíncron de Model Gate emmagatzema un treball d'inferència a la duradora cua MariaDB i retorna immediatament un ID de sol·licitud. Independent sub2proxy els treballadors reclamen feines a la cua amb contractes d'arrendament i els arrendaments abandonats es poden recuperar després de reiniciar el procés. El resultat completat es llegeix del Partner API o es lliura a la devolució de trucada configurada al perfil.

El mode asíncron és compatible amb:

• POST /v1/chat/completions
• POST /v1/messages
• POST /v1/responses
• POST /v1/images/generations

Les sol·licituds asíncrones no es poden utilitzar stream: true.

Sol·licitud de cua

Afegiu l'extensió Model Gate "async": true a una sol·licitud d'una altra manera vàlida.

Sol·licitud

curl https://api.model-gate.com/v1/responses \
  -H "Authorization: Bearer mg_live_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short release summary.",
    "async": true,
    "stream": false
  }'

Resposta - 202

{
  "request_id": "01KZ...",
  "status": "queued",
  "result_url": "https://p-api.model-gate.com/api/v1/requests/01KZ..."
}

El async s'elimina el camp abans que la sol·licitud s'enviï aigües amunt. Un àlies de model es resol al seu model canònic abans que el treball estigui a la cua. El treballador torna a validar la clau i s'executa a través del mateix nucli de sol·licitud/comptabilitat de Model Gate com a inferència sincrònica. Les files de la cua no contenen cap secret de clau de l'API. El preu asíncron natiu no canvia i no utilitza el coeficient de preu de la sol·licitud per lots.

Abans que un treballador reclami un article, comprova el saldo actual del compte i l'ús actual de la despesa de la clau o del grup que es pot restablir a MariaDB. Si el saldo del compte no és positiu o ja s'ha esgotat un límit de despesa de clau/grup configurat, l'element es manté queued i no consumeix cap intent d'execució. Una recàrrega posterior, un restabliment d'ús o un augment del límit fa que l'article sigui apte automàticament. Model Gate no reserva un cost de sol·licitud estimat: els treballs que ja han superat l'admissió poden acabar i liquidar el seu cost real complet, fins i tot quan el treball concurrent fa que el saldo final sigui negatiu o superi lleugerament un límit de despesa. Les noves execucions es bloquegen fins que el compte torni a ser apte.

Semàntica de recuperació

La cua duradora ofereix recuperació almenys una vegada, no exactament una execució. Si un procés de treball s'atura després que un proveïdor d'amunt acceptés una sol·licitud, però abans que Model Gate emmagatzemi de manera duradora el resultat asíncronitzat, el contracte d'arrendament caduca i un altre treballador pot tornar a intentar el mateix ID de sol·licitud de Model Gate. La liquidació està protegida contra el doble dèbit, però les aplicacions que causen efectes secundaris externs mitjançant eines de model haurien de fer que aquests efectes secundaris siguin idempotents.

Recuperar el resultat

Utilitzeu una clau Partner API que pertany al mateix compte de Model Gate.

Sol·licitud

curl https://p-api.model-gate.com/api/v1/requests/01KZ... \
  -H "Authorization: Bearer mg_partner_..."

Resposta - processament

{
  "data": {
    "request_id": "01KZ...",
    "status": "processing",
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": null,
    "expires_at": "2026-08-06 10:00:00"
  }
}

Resposta: completada

{
  "data": {
    "request_id": "01KZ...",
    "status": "completed",
    "response_status": 200,
    "response_headers": {
      "content-type": ["application/json"]
    },
    "response": {
      "id": "resp_...",
      "object": "response",
      "status": "completed"
    },
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": "2026-08-05 10:00:03",
    "expires_at": "2026-08-06 10:00:00"
  }
}

El punt final del resultat retorna el cos complet emmagatzemat aigües amunt fins que expires_at. Torna un identificador de sol·licitud estranger, caducat o desconegut 404.

Errors

{
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_async_stream_combination",
    "message": "Async requests cannot be streamed."
  }
}

Els punts finals no admesos tornen async_not_supported.

Devolució de trucades

Els resultats aixíncrons completats es posen a la cua de manera duradora per ser lliurats a l'URL de retorn de trucada configurat al perfil. L'entrega de devolució de trucada té la seva pròpia cua de treballador/reintent i, per tant, no espera una altra sol·licitud d'API de model. El manteniment també concilia les files asíncrones del terminal amb l'historial de sol·licituds i recupera una devolució de trucada de finalització que falta després d'un accident del treballador. Mireu Devolució de trucades per a la verificació de la signatura, els reintents i la guia d'idempotència.