Terminal X i GPT‑6.1: 88,6% slaganja s iskusnim investitorima
Eval Agent kompanije Terminal X ocjenjuje rezultate prema 54 kriterija i uz GPT‑6.1 Sol otkriva 25% više odstupanja od mandata fonda.
25%
Viša stopa otkrivanja odgovora agenata koji odstupaju od mandata fonda uz GPT‑6.1 Sol u odnosu na sljedeći najbolji model
2,4 mil. USD
Uštede jednog klijenta na godišnjem nivou u radnim tokovima za dubinsku analizu i ulaganja
+220 baznih poena
Veće slaganje agenata s ljudskim ocjenjivačima uz GPT‑6.1 Sol u odnosu na sljedeći najbolji model
30%
Niži trošak po upitu uz GPT‑6.1 Sol u odnosu na sljedeći najbolji model
Investicijska firma gradi svoju prednost iz posla u posao, ali znanje na kojem se zasniva svaka odluka obično ostaje u glavama nekolicine iskusnih investitora. Kada oni odu, firma se suočava s onim što Terminal X(otvara se u novom prozoru) naziva dugom institucionalnog pamćenja: može zadržati dokumente, ali gubi rezonovanje koje stoji iza njih.
Operativni sistem Capital Memory kompanije Terminal X osmišljen je da smanji taj dug. Inženjeri kompanije koji rade direktno kod klijenata, nekadašnji stručnjaci za finansije i investicije u kompanijama JPMorgan i Blackstone, sarađuju s investicijskim timovima svakog klijenta, projektuju arhitekturu agenata i ugrađuju način investiranja firme u agente koji su u njenom vlasništvu i rade na njenoj infrastrukturi ili u njenom oblaku.
Modeli kompanije OpenAI, uključujući GPT‑6.1 Sol i GPT‑6 Luna, zaduženi su za rezonovanje unutar tih agenata. A Eval Agent kompanije Terminal X ocjenjuje rezultate rada agenata prema standardima firme. GPT‑6.1 Sol pomogao je alatu Eval Agent da otkrije oko 25% više preporuka koje odstupaju od mandata fonda, a iste radne tokove izvršavao je uz približno 30% niži trošak po upitu od sljedećeg najboljeg modela.
„Rezonovanje nad dugim kontekstom i efikasno korištenje tokena u modelu GPT-6.1 Sol omogućavaju nam da razvijamo detaljnije evaluacijske procese. To pomaže našim alatima Eval Agent da investicijske procjene učine mjerljivim i podložnim reviziji.“
Za svakog klijenta Terminal X razvija agente osmišljene da investiraju onako kako to rade najbolji investitori te firme. Inženjeri kompanije Terminal X provode sedmice kod klijenta, rekonstruirajući postupke iza memoranduma kojima firma vjeruje i bilježeći procese koji nikada nisu zapisani, poput načina na koji kreditni tim provjerava zajmoprimca ili izvora koje tim za zajednička ulaganja konsultuje prije izrade memoranduma.
Ti se procesi zatim ugrađuju u stotine agenata, prilagođenih klasi imovine i strategiji, s podagentima za svaku fazu ulaganja. GPT‑6.1 Sol preuzima faze koje zahtijevaju prosuđivanje i ogroman kontekstni prozor: objedinjavanje investicijske teze, prepoznavanje ključnih faktora i procjenu usklađenosti s mandatom firme. GPT‑6 Luna izvršava korake velikog obima u kojima je efikasno korištenje tokena važnije od dubine analize.
Agenti rade unutar privatne podatkovne sobe svake firme, namjenskog okruženja u kojem preduzeća dijele osjetljive investicijske podatke i upravljaju njima. Agenti obrađuju dokumente na engleskom, korejskom, japanskom i kineskom jeziku, a naučeno pohranjuju u memoriju firme: zapis s praćenjem verzija o tome kako određeni tim donosi određenu vrstu odluka, uključujući njegove ranije analize, odluke odbora, upute za radne tokove i stavove firme.
Inženjeri pretvaraju svaki memorijski zapis u ponovljiv radni tok na platformi Terminal X, gdje se svaki upit u produkciji može revidirati uz potpuni trag: poduzete korake, pronađene izvore, korišteni model i rezonovanje.
Prema navodima kompanije Terminal X, klijenti ovim pristupom ostvaruju značajne uštede. Među njima je i jedna firma za ulaganje privatnog kapitala koja je prijavila uštedu od 2,4 miliona dolara na godišnjem nivou zahvaljujući automatizaciji radnih tokova za dubinsku analizu i izradu investicijskih memoranduma.
Kako bi provjeravao odgovore agenata prema standardima same firme, Terminal X razvio je Eval Agent. To je koordinirani radni tok zasnovan na modelu GPT‑6.1 Sol i drugim modelima kompanije OpenAI, osmišljen da svaki rezultat rada agenta pregleda onako kako potpredsjednik firme pregleda rad analitičara.
Eval Agent provjerava svaki rezultat prema skupu od 54 kriterija. Pritom postavlja pitanja: Jesu li brojke, podaci o uporedivim kompanijama, konsenzusne procjene i citati preuzeti iz odgovarajućih izvora? Je li obrazloženje uvjerljivo? Je li preporuka usklađena sa stavom firme?
Svaka provjera završava prolaznom ili negativnom ocjenom. Svaka negativna ocjena uključuje obrazloženje u jednom redu i bolji izvor ili ispravljeni tekst te postaje zapis u memoriji. Naprimjer, propušteni izvor, pogrešno odabrana uporediva kompanija ili teza koja odstupa od stava firme ugrađuju se u novu uputu za radni tok ili novi testni slučaj za taj tim.
„Svaki odgovor se ocjenjuje, a svaka ispravka analitičara uči sistem još ponešto o tome kako firma radi“, kaže Ken Lee, suosnivač i tehnički direktor kompanije Terminal X. „Dakle, što ga firma duže koristi, to više razmišlja poput njenog tima.“
Terminal X bira modele na osnovu rezultata vlastitih evaluacija. U 500 ocijenjenih procjena, Eval Agent zasnovan na modelu GPT‑6.1 Sol slagao se s iskusnim ljudskim ocjenjivačem u 88,6% slučajeva, u odnosu na 86,4% za sljedeći najbolji model, što predstavlja poboljšanje od 220 baznih poena.
Jedna vrsta greške u čijem je otkrivanju GPT‑6.1 Sol bio uspješniji jeste odstupanje od investicijskog stila. Naprimjer, mandat fonda za preuzimanja jeste da pronađe kompanije kojima se trguje ispod neto vrijednosti imovine (NAV) radi preuzimanja i povlačenja s berze, procijeni njihovo poslovanje i strukturira finansiranje. Kada modeli scenarija ukažu na preokret na tržištu, preporuke za poslove počinju se usmjeravati na ulaganje u dug kompanija u teškoćama ili na finansiranje radi njihovog spašavanja. Eval Agent zasnovan na modelu GPT‑6.1 Sol otkrio je oko 25% više takvih odstupanja nego sljedeći najbolji model.
Efikasno korištenje tokena pri radu s dugim kontekstom u modelu GPT‑6.1 Sol omogućilo je kompaniji Terminal X da razvije radni tok za detaljniju provjeru unutar istog budžeta. Teza se prvo provjerava u odnosu na mandat fonda, a zatim u odnosu na njegove nedavne poslove. Neizvjesne procjene provjeravaju se ponovo, a agent usklađuje rezultate prije izvještavanja.
Ta detaljnija provjera označila je kao sporne poslove koje je uporediv model odobrio nakon samo jedne provjere. GPT‑6.1 Sol također je izvršavao iste radne tokove uz oko 30% niži trošak po upitu od sljedećeg najboljeg modela, pri sličnoj brzini.
Koristeći GPT‑6.1 Sol i GPT‑6 Luna, Terminal X izgradio je 1.700 memorijskih zapisa za firme, izvršio više od milion prilagođenih radnih tokova i dostigao broj sedmično aktivnih korisnika koji odgovara 81% mjesečno aktivnih korisnika.
Sljedeći korak kompanije Terminal X jeste proširenje memorijskih zapisa firmi s timova na pojedince, kako bi se zabilježili standardi koje svaki investicijski stručnjak primjenjuje u praksi, a ne samo njihov opis.
Za Hyuna, suosnivača i izvršnog direktora kompanije Terminal X, upravo je to suština: „Firme koje budu prednjačile u narednoj deceniji imat će vlastito znanje o donošenju odluka pohranjeno u obliku podataka. Naš je posao da to znanje učinimo mjerljivim, kako bi se moglo sačuvati, unaprijediti i ponovo koristiti.“
