Claude Message Batches

Olemasolevad partii lugemise/juhtimise toimingud jäävad muidu kehtiva aktiivse mandaadi jaoks kättesaadavaks nullbilansi korral, kuid POST /v1/messages/batches nõuab värske positiivse saldo/kulu registreerimist, enne kui töö/üksuse ridu salvestatakse. Seetõttu ei saa nullbilansi võti luua uut Claude'i partii ega tarbida MariaDB säilitusmälu. Tegelikud kaubad kontrollivad uuesti sissepääsu, kui töötajad need nõuavad, ja ootavad püsivas järjekorras, kui raha hiljem ammendub. Sisend dekodeeritakse järk-järgult üksuste kaupa, mitte laaditakse täieliku 256 MB mälusisese JSON-dokumendina, ja kasutajapõhised aktiivse töö/järjekorras oleva üksuse kvoodid on seotud salvestusruumi väärkasutusega, sõltumata arveldamisest.

Model Gate juurutab Anthropic-ühilduva sõnumipartiide API https://api.model-gate.com. See on ühilduvuskiht: Model Gate salvestab partii püsivalt ja täidab iga üksuse tavalise Model Gate'i kaudu /v1/messages tee. On küll mitte esitama teenusepakkuja päritolu Anthropic partii ülesvoolu.

Kasutage tavalist Model API võtit (mg_live_...). Iga kaup võetakse arvesse individuaalse päringuna request_mode=batch, batch_protocol=claude, partii ID ja selle custom_id.

Voogesitust partii sees ei toetata. Mudelinimed lahendatakse enne üksuse järjekorda panemist.

Looge sõnumipakett

Taotlus

curl https://api.model-gate.com/v1/messages/batches \
  -H "x-api-key: mg_live_..." \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{
    "requests": [
      {
        "custom_id": "summary-1",
        "params": {
          "model": "ch-47",
          "max_tokens": 256,
          "messages": [{"role":"user","content":"Summarize this text."}]
        }
      }
    ]
  }'

Vastus - 200

{
  "id": "msgbatch_01K...",
  "type": "message_batch",
  "processing_status": "in_progress",
  "request_counts": {
    "processing": 1,
    "succeeded": 0,
    "errored": 0,
    "canceled": 0,
    "expired": 0
  },
  "ended_at": null,
  "created_at": "2026-08-13T08:30:00Z",
  "expires_at": "2026-08-14T08:30:00Z",
  "cancel_initiated_at": null,
  "results_url": null
}

Tooge partii

Taotlus

curl https://api.model-gate.com/v1/messages/batches/msgbatch_01K... \
  -H "x-api-key: mg_live_..."

Vastus — lõppes

{
  "id": "msgbatch_01K...",
  "type": "message_batch",
  "processing_status": "ended",
  "request_counts": {
    "processing": 0,
    "succeeded": 1,
    "errored": 0,
    "canceled": 0,
    "expired": 0
  },
  "ended_at": "2026-08-13T08:30:04Z",
  "results_url": "https://api.model-gate.com/v1/messages/batches/msgbatch_01K.../results"
}

Lugege tulemusi

Tulemused tagastatakse JSON-i ridadena. Ärge eeldage, et rakenduse loogika sõltub algsest sisestusjärjekorrast; matši tulemused poolt custom_id.

Taotlus

curl https://api.model-gate.com/v1/messages/batches/msgbatch_01K.../results \
  -H "x-api-key: mg_live_..."

Vastus - 200

{"custom_id":"summary-1","result":{"type":"succeeded","message":{"id":"msg_...","type":"message","role":"assistant","content":[{"type":"text","text":"..."}]}}}

Loetlege partiid

limit vaikimisi 20 ja peab olema pärit 1 juurde 100. Kasuta after_id või before_id kursori lehekülgede muutmiseks; ära saada mõlemat ühe päringuga.

Taotlus

curl "https://api.model-gate.com/v1/messages/batches?limit=20&after_id=msgbatch_01K..." \
  -H "x-api-key: mg_live_..."

Vastus - 200

{
  "data": [],
  "has_more": false,
  "first_id": null,
  "last_id": null
}

Tühista partii

Loobumine peatab järjekorras olevate üksuste nõude esitamise. Juba töödeldud üksus võib lõppeda.

Taotlus

curl -X POST https://api.model-gate.com/v1/messages/batches/msgbatch_01K.../cancel \
  -H "x-api-key: mg_live_..."

Vastus - 200

{
  "id": "msgbatch_01K...",
  "type": "message_batch",
  "processing_status": "canceling",
  "request_counts": {
    "processing": 1,
    "succeeded": 0,
    "errored": 0,
    "canceled": 0,
    "expired": 0
  }
}

Lõpetatud partii kustutamine

Kustutamine aktsepteeritakse alles pärast seda, kui partii on jõudnud terminali olekusse.

Taotlus

curl -X DELETE https://api.model-gate.com/v1/messages/batches/msgbatch_01K... \
  -H "x-api-key: mg_live_..."

Vastus - 200

{
  "id": "msgbatch_01K...",
  "type": "message_batch_deleted"
}

Taastamise semantika

Pakettüksused kasutavad sama püsivat järjekorda kui natiivsed asünkroonimistaotlused. Taastumine on vähemalt üks kord, mitte täpselt üks kord: pärast töötaja õnnetust saab hüljatud rendilepingu tagasi nõuda ja üksuse võidakse uuesti ülesvoolu saata, kui esimest ülesvoolu vastust ei salvestatud püsivalt. Mudelvärava päringu ID jääb korduskatsete ajal stabiilseks ja arveldusvalvurid takistavad juba lõpetatud päringu puhul teist konto debiteerimist.

Iga üksus võetakse vastu vahetult enne, kui töötaja selle vastu võtab. Vastasel juhul jäävad kehtivad kaubad järjekorda, kuni jooksevkonto saldo pole positiivne või kui võtme/grupi lähtestatav kululimiit on juba ammendatud; raha ootamine ei kuluta katset ega märgi kaupa ebaõnnestunuks. Hilisem täiendamine, kasutuse lähtestamine või limiidi suurendamine jätkab automaatselt järjekorda sobivaid üksusi. Model Gate ei reserveeri halvima juhu partii maksumust, nii et samaaegselt vastuvõetud kaubad võivad lõppeda negatiivse lõppsaldo või väikese kululimiidi ületusega; hoitakse ainult järgnevaid uusi objekte.

Hinnakujundus ja raamatupidamine

Iga partii üksus kasutab sama mudeli marsruutimist, märgiarvestust, hinna hetktõmmist, kasutuse hindamist, API-võtme/grupi limiite ja arveldusloogikat nagu tavaline mudelvärava päring. Administraator võib konfigureerida a Partiipäringu hinnakoefitsient konto hinnakujunduse mallil. Vaikimisi on 1.

Näiteks tavalise Model Gate kuluga 0.02 ja partii koefitsient 0.5, on tegelik konto deebet 0.01. Salvestatud ametliku teenusepakkuja võrdlussummat selle Model Gate'i partii koefitsiendiga ei korruta. Omapäringuid kasutades "async": true ei ole samuti mõjutatud.

Kui koefitsient erineb 1, on see näidatud mudelihindade lehel ja /v1/models nagu batch_pricing pluss tõhus batch_cost määrad.

Vead

Kehtetu või duplikaat custom_id, tundmatu mudel, stream:true, pesastatud async:true, liiga suur päring või kehtetu sisu tagastab tavalise antroopilises stiilis veavastuse.

{
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "message": "summary-1: stream=true is not supported inside a batch"
  }
}