Kompanija OpenAI je 11. septembra 2026. godine predstavila Habitat — sopstvenu platformu za onlajn skladištenje podataka namenjenu servisima ChatGPT, OpenAI API, Codex i internim servisima. Ona omogućava brz i pouzdan pristup podacima koji su, između ostalog, neophodni za prijavljivanje u sistem, učitavanje podešavanja za Codex i pokretanje razgovora u okviru ChatGPT-a.
Habitat obrađuje više od 70 miliona zahteva u sekundi i opslužuje proizvode koje koristi preko milijardu ljudi nedeljno. Platforma funkcioniše u gotovo 40 regiona i čuva više od 500 PB podataka.
Sistem obezbeđuje jedinstveni sloj za pristup servisima Azure Cosmos DB, Valkey keševima, Blob Storage-u, Nanobase-u i drugim skladištima. Habitat je zadužen za rutiranje, keširanje, autorizaciju, enkripciju, izolaciju korisnika (tenant-a), smeštaj podataka i ograničavanje opterećenja na komponente nižeg nivoa.
Projekat je započet 2023. godine kao klijentska biblioteka u Python-u, povezana sa Azure Cosmos DB-om. OpenAI ga je kasnije transformisao u centralizovani servis. To je pojednostavilo raspoređivanje, nadzor sistema, reviziju i primenu bezbednosnih politika.
Habitat koristi ograničen NoSQL API sa objektima i vezama umesto proizvoljnih SQL upita. Takav pristup čini opterećenje predvidljivijim i smanjuje rizik od zahtevnih upita koji bi mogli da preopterete onlajn skladište. Za složene upite, OpenAI koristi zasebnu oflajn reprezentaciju podataka u sistemu Rockset. Promene tamo stižu putem CDC-a gotovo u realnom vremenu, tako da su analitička i pretraživačka opterećenja izolovana od onlajn skladišta.
Tokom skaliranja sistema Habitat, OpenAI je otklanjao kašnjenja asyncio planerima i neravnotežu veza u Python aiohttp biblioteci, kao i smanjivao rizik od preopterećenja sistema nižeg nivoa. U tu svrhu korišćeni su ponovna upotreba veza u FIFO režimu, Envoy, HTTP/2, multipleksiranje, bazeni veza, ograničenja i mehanizmi „circuit breaker”.
Na svom vrhuncu, Python verzija Habitat-a obrađivala je više od 20 miliona zahteva u sekundi. Postala je druga po broju procesorskih jezgara i četvrta po obimu Envoy usluga kompanije OpenAI.
U drugom kvartalu 2026. godine, dva inženjera su, uz podršku modela Codex i GPT-5.5, prepisala Habitat sa Python-a na Rust. U trenutku objavljivanja, Rust verzija je obrađivala 95% produkcionih zahteva, koristeći procesor šest puta, a memoriju 15 puta efikasnije. Takođe je obezbeđivala manja prosečna i „tail” kašnjenja (kašnjenja u gornjem procentilu). OpenAI je planirao da u narednim nedeljama u potpunosti odustane od Python verzije.
Habitat ostaje interna infrastrukturna platforma kompanije OpenAI. Kompanija nije navela da je on dostupan kao poseban javni proizvod.
Izvor: OpenAI
0 Коментари