Solicitudes asíncronas

El modo asíncrono de Model Gate almacena un trabajo de inferencia en la cola duradera de MariaDB y devuelve inmediatamente un ID de solicitud. Independiente sub2proxy los trabajadores reclaman trabajos en cola con arrendamientos, y los arrendamientos abandonados se pueden recuperar después de reiniciar el proceso. El resultado completo se lee desde el Partner API o se entrega a la devolución de llamada configurada en Perfil.

El modo asíncrono es compatible con:

• POST /v1/chat/completions
• POST /v1/messages
• POST /v1/responses
• POST /v1/images/generations

Las solicitudes asíncronas no pueden usarse stream: true.

Solicitud de cola

Agregue la extensión Model Gate "async": true a una solicitud que de otro modo sería válida.

Pedido

curl https://api.model-gate.com/v1/responses \
  -H "Authorization: Bearer mg_live_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short release summary.",
    "async": true,
    "stream": false
  }'

Respuesta - 202

{
  "request_id": "01KZ...",
  "status": "queued",
  "result_url": "https://p-api.model-gate.com/api/v1/requests/01KZ..."
}

El async El campo se elimina antes de que la solicitud se envíe en sentido ascendente. Un alias de modelo se resuelve en su modelo canónico antes de que el trabajo se ponga en cola. El trabajador vuelve a validar la clave y la ejecuta a través del mismo núcleo de contabilidad/solicitud de Model Gate como inferencia sincrónica. Las filas de la cola no contienen ningún secreto de clave API. El precio asíncrono nativo no cambia y no utiliza el coeficiente de precio de solicitud por lotes.

Antes de que un trabajador reclame un artículo, verifica el saldo de la cuenta actual y el uso actual del gasto grupal/clave reiniciable en MariaDB. Si el saldo de la cuenta no es positivo, o el límite de gasto de grupo/clave configurado ya está agotado, el artículo permanece queued y no consume un intento de ejecución. Una recarga posterior, un restablecimiento de uso o un aumento de límite hacen que el artículo sea elegible automáticamente. Model Gate no reserva un costo de solicitud estimado: el trabajo que ya pasó la admisión puede terminar y liquidar su costo real completo, incluso cuando el trabajo simultáneo hace que el saldo final sea negativo o exceda ligeramente un límite de gasto. Luego se bloquean las nuevas ejecuciones hasta que la cuenta vuelva a ser elegible.

Semántica de recuperación

La cola duradera proporciona recuperación al menos una vez, no exactamente una ejecución. Si un proceso de trabajo se detiene después de que un proveedor ascendente aceptó una solicitud pero antes de que Model Gate almacene de forma duradera el resultado asíncrono, el contrato de arrendamiento eventualmente expira y otro trabajador puede volver a intentar el mismo ID de solicitud de Model Gate. La liquidación está protegida contra el doble débito, pero las aplicaciones que causan efectos secundarios externos a través de herramientas modelo deberían hacer que esos efectos secundarios sean idempotentes.

Recuperar resultado

Utilice una clave Partner API que pertenezca a la misma cuenta de Model Gate.

Pedido

curl https://p-api.model-gate.com/api/v1/requests/01KZ... \
  -H "Authorization: Bearer mg_partner_..."

Respuesta: procesamiento

{
  "data": {
    "request_id": "01KZ...",
    "status": "processing",
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": null,
    "expires_at": "2026-08-06 10:00:00"
  }
}

Respuesta: completada

{
  "data": {
    "request_id": "01KZ...",
    "status": "completed",
    "response_status": 200,
    "response_headers": {
      "content-type": ["application/json"]
    },
    "response": {
      "id": "resp_...",
      "object": "response",
      "status": "completed"
    },
    "created_at": "2026-08-05 10:00:00",
    "started_at": "2026-08-05 10:00:01",
    "completed_at": "2026-08-05 10:00:03",
    "expires_at": "2026-08-06 10:00:00"
  }
}

El punto final de resultado devuelve el cuerpo ascendente almacenado completo hasta expires_at. Se devuelve un ID de solicitud extranjero, vencido o desconocido. 404.

Errores

{
  "error": {
    "type": "invalid_request_error",
    "code": "invalid_async_stream_combination",
    "message": "Async requests cannot be streamed."
  }
}

Devolución de puntos finales no admitidos async_not_supported.

Devoluciones de llamada

Los resultados asincrónicos completados se ponen en cola de forma duradera para su entrega a la URL de devolución de llamada configurada en Perfil. La entrega de devolución de llamada tiene su propia cola de trabajadores/reintentos y, por lo tanto, no espera otra solicitud de API del modelo. El mantenimiento también concilia las filas asíncronas del terminal en el historial de solicitudes y recupera una devolución de llamada de finalización faltante después de una falla del trabajador. Ver Devoluciones de llamada para verificación de firmas, reintentos y orientación sobre idempotencia.