Claude Message Batches

Esošās partijas lasīšanas/vadības darbības joprojām ir pieejamas nulles bilancē citādi derīgam aktīvam akreditācijas datiem, taču POST /v1/messages/batches nepieciešama jauna pozitīva bilance/tēriņu ievade, pirms tiek saglabātas jebkuras darba/preces rindas. Tāpēc nulles bilances atslēga nevar izveidot jaunu Claude partiju vai patērēt MariaDB saglabāšanas krātuvi. Faktiskās preces atkārtoti pārbauda uzņemšanu, kad darbinieki tās pieprasa, un gaida ilgstošā rindā, ja līdzekļi vēlāk tiek iztērēti. Ievade tiek pakāpeniski atšifrēta pa vienumam, nevis ielādēta kā pilnīgs 256 MB atmiņā esošais JSON dokuments, un katra lietotāja aktīvā darba/rindas vienumu kvotas ir saistītas ar krātuves ļaunprātīgu izmantošanu neatkarīgi no rēķina.

Model Gate ievieš ar Anthropic saderīgu Message Batches API https://api.model-gate.com. Tas ir saderības slānis: Model Gate partiju uzglabā ilgstoši un izpilda katru vienumu, izmantojot parasto Model Gate. /v1/messages ceļš. Tā dara nē iesniedziet pakalpojumu sniedzēja vietējo antropisko partiju augšup pa straumi.

Izmantojiet parasto modeļa API atslēgu (mg_live_...). Katra prece tiek uzskaitīta kā individuāls pieprasījums ar request_mode=batch, batch_protocol=claude, partijas ID un tā custom_id.

Straumēšana paketē netiek atbalstīta. Modeļu aizstājvārdi tiek atrisināti, pirms vienums tiek ievietots rindā.

Izveidojiet ziņojumu grupu

Pieprasīt

curl https://api.model-gate.com/v1/messages/batches \
  -H "x-api-key: mg_live_..." \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "requests": [
      {
        "custom_id": "summary-1",
        "params": {
          "model": "ch-47",
          "max_tokens": 256,
          "messages": [{"role":"user","content":"Summarize this text."}]
        }
      }
    ]
  }'

Atbilde — 200

{
  "id": "msgbatch_01K...",
  "type": "message_batch",
  "processing_status": "in_progress",
  "request_counts": {
    "processing": 1,
    "succeeded": 0,
    "errored": 0,
    "canceled": 0,
    "expired": 0
  },
  "ended_at": null,
  "created_at": "2026-08-13T08:30:00Z",
  "expires_at": "2026-08-14T08:30:00Z",
  "cancel_initiated_at": null,
  "results_url": null
}

Izgūt partiju

Pieprasīt

curl https://api.model-gate.com/v1/messages/batches/msgbatch_01K... \
  -H "x-api-key: mg_live_..."

Atbilde — beigusies

{
  "id": "msgbatch_01K...",
  "type": "message_batch",
  "processing_status": "ended",
  "request_counts": {
    "processing": 0,
    "succeeded": 1,
    "errored": 0,
    "canceled": 0,
    "expired": 0
  },
  "ended_at": "2026-08-13T08:30:04Z",
  "results_url": "https://api.model-gate.com/v1/messages/batches/msgbatch_01K.../results"
}

Lasīt rezultātus

Rezultāti tiek atgriezti kā JSON rindas. Nedomājiet, ka lietojumprogrammu loģika ir atkarīga no sākotnējās ievades secības; spēļu rezultāti pēc custom_id.

Pieprasīt

curl https://api.model-gate.com/v1/messages/batches/msgbatch_01K.../results \
  -H "x-api-key: mg_live_..."

Atbilde — 200

{"custom_id":"summary-1","result":{"type":"succeeded","message":{"id":"msg_...","type":"message","role":"assistant","content":[{"type":"text","text":"..."}]}}}

Uzskaitiet partijas

limit pēc noklusējuma uz 20 un tam jābūt no 1 uz 100. Izmantot after_id vai before_id kursora lapināšanai; nesūtiet abus vienā pieprasījumā.

Pieprasīt

curl "https://api.model-gate.com/v1/messages/batches?limit=20&after_id=msgbatch_01K..." \
  -H "x-api-key: mg_live_..."

Atbilde — 200

{
  "data": [],
  "has_more": false,
  "first_id": null,
  "last_id": null
}

Atcelt partiju

Atcelšana aptur rindā esošo vienumu pieprasīšanu. Vienuma apstrāde var tikt pabeigta.

Pieprasīt

curl -X POST https://api.model-gate.com/v1/messages/batches/msgbatch_01K.../cancel \
  -H "x-api-key: mg_live_..."

Atbilde — 200

{
  "id": "msgbatch_01K...",
  "type": "message_batch",
  "processing_status": "canceling",
  "request_counts": {
    "processing": 1,
    "succeeded": 0,
    "errored": 0,
    "canceled": 0,
    "expired": 0
  }
}

Dzēst pabeigtu partiju

Dzēšana tiek pieņemta tikai pēc tam, kad partija ir sasniegusi termināļa stāvokli.

Pieprasīt

curl -X DELETE https://api.model-gate.com/v1/messages/batches/msgbatch_01K... \
  -H "x-api-key: mg_live_..."

Atbilde — 200

{
  "id": "msgbatch_01K...",
  "type": "message_batch_deleted"
}

Atkopšanas semantika

Pakešu vienumi izmanto to pašu noturīgo rindu kā vietējie asinhronizācijas pieprasījumi. Atveseļošanās ir vismaz vienu reizi, ne tieši vienreiz: pēc strādnieka avārijas pamesto nomas līgumu var atgūt, un vienumu var atkal nosūtīt augšup pa straumi, ja pirmā augšupējā atbilde netika ilgstoši saglabāta. Modeļa vārtu pieprasījuma ID paliek stabils visos atkārtotos mēģinājumos, un norēķinu sargi neļauj veikt otro konta debetu jau pabeigtam pieprasījumam.

Katra prece tiek pieņemta tieši pirms darbinieks to pieprasa. Citādi derīgi vienumi paliek rindā, kamēr tekošā konta atlikums nav pozitīvs vai atslēgas/grupas atiestatāmais tēriņu limits jau ir izsmelts; līdzekļu gaidīšana nepatērē mēģinājumu vai neatzīmē preci kā neveiksmīgu. Vēlāka papildināšana, lietojuma atiestatīšana vai ierobežojuma palielināšana automātiski atsāk atbilstošos rindā esošos vienumus. Model Gate nerezervē sliktākā gadījuma partijas izmaksas, tāpēc vienlaikus pieņemtās preces var beigties ar negatīvu galīgo bilanci vai nelielu tēriņu limita pārsniegumu; tiek glabāti tikai nākamie jauni priekšmeti.

Cenu noteikšana un grāmatvedība

Katrs partijas vienums izmanto vienu un to pašu modeļa maršrutēšanu, marķiera uzskaiti, cenu momentuzņēmumu, lietojuma novērtēšanu, API atslēgas/grupas ierobežojumus un norēķinu loģiku kā parastu Model Gate pieprasījumu. Administrators var konfigurēt a Partijas pieprasījuma cenas koeficients konta cenu veidnē. Noklusējums ir 1.

Piemēram, ar parasto Model Gate cenu 0.02 un partijas koeficientu 0.5, faktiskais konta debets ir 0.01. Saglabātā oficiālā pakalpojumu sniedzēja atsauces summa netiek reizināta ar šo Model Gate partijas koeficientu. Vietējie pieprasījumi, izmantojot "async": true arī netiek ietekmētas.

Ja koeficients atšķiras no 1, tas ir redzams lapā Modeļu cenas un /v1/models kā batch_pricing plus efektīvais batch_cost likmes.

Kļūdas

Nederīgs vai dublikāts custom_id, nezināms modelis, stream:true, ligzdots async:true, pārāk liels pieprasījums vai nederīgs pamatteksts atgriež normālu antropiskā stila kļūdas atbildi.

{
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "message": "summary-1: stream=true is not supported inside a batch"
  }
}