Cloudflare je dodao Web Search API beta na AI Gateway, proširujući pristupnik od zaključivanja modela na vanjske alate koje AI aplikacije sve više pozivaju uz modele. Novi API, najavljen 2. listopada, omogućuje razvojnim programerima slanje zahtjeva za pretraživanje kroz isti Cloudflare AI Gateway sloj koji se koristi za usmjeravanje pružatelja, evidentiranje i vidljivost naplate.
Prilikom pokretanja, Web Search API podržava Ceramic.ai, Exa i Linkup. Cloudflareova dokumentacija pružatelja navodi Ceramic.ai kao zadanog pružatelja i prikazuje cijene na razini pružatelja od 0,25 USD za 1000 zahtjeva za Ceramic.ai, 7,00 USD za 1000 zahtjeva za Exa i 5,00 USD za 1000 zahtjeva za Linkup. Cloudflare kaže da se zahtjevi naplaćuju kreditima AI Gatewaya po kataloškoj cijeni pružatelja usluga, bez dodatnih marža.
Praktična promjena nije samo u tome što korisnici Cloudflarea mogu pozvati pretragu API. Mnogi timovi već koriste pretraživanje weba, API-je za dohvaćanje, alate preglednika ili prilagođene alate za indeksiranje negdje u nizu svojih agenata. Promjena je u tome što se pretraga povlači u isti administrativni sloj kao i pozivi modela. Za agente za izgradnju timova, pomoćnike u istraživanju, tijekove rada za usklađivanje, alate za obogaćivanje prodaje ili sustave podrške, pretraživanje uživo sada postaje pristupni promet, a ne zasebna integracija s odvojenim zapisima i fakturama.
Što se promijenilo
Cloudflare AI Gateway prelazi iz jednostavnog proxyja zahtjeva u širi multi-model AI API sloj pristupnika. Nedavne značajke pristupnika usmjerene su na usmjeravanje modela, izbore naplate davatelja usluga i mogućnost promatranja zahtjeva za LLM. Pretraživanje weba API proširuje tu kontrolnu površinu na uzemljenje poziva: API može usmjeravati do podržanih davatelja usluga pretraživanja dok bilježi zahtjeve u zapisnike AI Gatewaya.
To je važno jer su dohvaćanje i web uzemljenje sada dio troškova i pouzdanosti proizvodnje AI, a ne izborni dodatak. Agent korisničke podrške može koristiti model za rasuđivanje, pružatelja usluge pretraživanja za trenutne informacije i bazu podataka ili SaaS API za privatni kontekst. Ako se tim pozivima upravlja odvojeno, inženjerski i financijski timovi gube jasan uvid u punu cijenu tijeka rada. Postavljanjem pretraživanja iza AI Gatewaya, Cloudflare tretira pretraživanje kao drugu upravljanu ovisnost u putu zahtjeva AI.
Pokretanje također daje programerima normaliziranu početnu točku za usporedbu pružatelja usluga. Ceramic.ai, Exa i Linkup razlikuju se po cijeni, ponašanju indeksa i pozicioniranju proizvoda. Sloj pristupnika ne uklanja te razlike, ali ih može olakšati promatranje i zamjenu tijekom testiranja. Najočitiji primjer je cijena: na temelju Cloudflareovih navedenih cijena pružatelja usluga, Exa je daleko skuplji po 1000 zahtjeva od Ceramic.ai, dok Linkup sjedi između njih. Za velika opterećenja agenata to širenje može biti značajno.
Zašto bi tvrtke trebale brinuti
Za tvrtke, pretraživanje weba API dio je većeg pomaka s integracije API jednog modela prema AI API kontrolnoj ravni. Operativno pitanje više nije samo koji model daje najbolji odgovor. To je koji model, pružatelj usluge pretraživanja, put dohvaćanja i redoslijed alata trebaju biti dopušteni za dati tim, kupca, zemljopis ili klasu podataka.
Pretraživanje weba uživo stvara poseban izazov upravljanja. Za razliku od poziva statičkog modela, zahtjev za pretraživanje može izložiti tekst upita pružatelju treće strane i vratiti web-sadržaj s neizvjesnom pouzdanošću, licenciranjem ili karakteristikama pravila. Davatelj usluge pretraživanja također može utjecati na konačni model odgovora kontrolirajući koji će se izvori pojaviti. To znači da je odabir pružatelja i odluka o trošku i riziku.
Cloudflareova integracija bilježenja pomaže u reviziji. Ako se zahtjevi za pretraživanje pojave u zapisnicima AI Gatewaya, timovi mogu provjeriti koje aplikacije traže odgovore na otvorenom webu, koliko često zovu svakog pružatelja usluga i gdje se akumuliraju troškovi.To je korisno za sigurnosni pregled, analizu incidenata i upravljanje troškovima LLM-a, posebno kada agenti upućuju višestruke pozive alatima po zahtjevu korisnika.
Tvrdnja o naplati bez marže također je relevantna. Gateway proizvodi često stvaraju kompromis između operativne pogodnosti i neprozirnosti cijena. Cloudflare pozicionira Web pretraživanje API kao korištenje s popisom dobavljača koji se naplaćuje putem kredita AI Gatewaya. Timovi će i dalje morati potvrditi vlastite efektivne troškove, popuste i kreditno računovodstvo, ali javna struktura olakšava modeliranje potrošnje za pretraživanje nego skupni ili neotkriveni sustav označavanja.
Utjecaj na razvojne programere
Razvojni programeri koji grade agentske sustave trebali bi ovo tretirati kao novu površinu alata, a ne samo još jednu HTTP krajnju točku. Pozivi pretraživanja zahtijevaju odabir pružatelja usluga, rukovanje vremenskim ograničenjem, filtriranje rezultata, pravilo ponovnog pokušaja i atribuciju u zapisnicima. Pretraživanje API koje prolazi kroz gateway može pojednostaviti dio te instalacije, ali ne uklanja potrebu za pažljivim osmišljavanjem ponašanja agenta pri dohvaćanju.
Neposredna prilika je čišći eksperiment. Tim može testirati Ceramic.ai, Exa i Linkup kroz isti pristupni put i usporediti cijenu, latenciju, kvalitetu odgovora i pokrivenost izvora pod stvarnim radnim opterećenjima. To je korisnije od usporedbe demonstracija pružatelja usluga u izolaciji. Također olakšava odlučivanje kada se pretraživanje uopće isplati koristiti. Za neke tijekove rada možda je potrebna samo predmemorirana dokumentacija ili interna baza znanja; drugi trebaju svježe web rezultate i mogu opravdati dodatni trošak.
Ova značajka također može utjecati na platformske timove koji pokreću zajedničku AI infrastrukturu za više grupa proizvoda. Ako jedan tim gradi lagani radni tijek klasifikacije, a drugi gradi pomoćnika za istraživanje pregledavanja, njihovi profili korištenja pretraživanja bit će vrlo različiti. Centralizirani zapisnici pristupnika daju vlasnicima platformi bolju priliku za dodjeljivanje potrošnje, otkrivanje petlji alata i postavljanje granica pravila oko kojih se pružatelji mogu koristiti u proizvodnji.
Ono što ostaje neizvjesno
Glavna nesigurnost je rukovanje podacima na razini pružatelja. Paket istraživanja bilježi očitu nepodudarnost između dnevnika promjena Cloudflarea i dokumentacije pružatelja usluga o statusu Exa Zero Data Retention. Timovi u reguliranim djelatnostima trebaju provjeriti uvjete zadržavanja izravno prije slanja osjetljivih upita putem bilo kojeg pružatelja usluge pretraživanja, čak i kada se zahtjev usmjerava kroz pristupnik.
Kvaliteta je još jedno otvoreno pitanje. Performanse pružatelja usluga pretraživanja uvelike ovise o vrsti upita, zahtjevima svježine, pokrivenosti domene, ponašanju u rangiranju i načinu na koji nizvodni model koristi dohvaćene isječke. Beta daje programerima prikladan način testiranja, ali ne utvrđuje da je jedan pružatelj najbolji za sva radna opterećenja agenata.
Ipak, smjer je jasan: pristupnici umjetne inteligencije šire se s pristupa modelu na okolne usluge koje čine aplikacije umjetne inteligencije korisnima. Pretraživanje, usmjeravanje, naplata i vidljivost postaju dijelovi istog skupa. Za tvrtke, to čini arhitekturu pristupnika manje o uštedi nekoliko sati integracije, a više o održavanju kontrole nad rastućim skupom ovisnosti AI.