Comet, platforma za MLOps je najavila strateško partnerstvo s tvrtkom Snowflake kako bi razvijali inovativna rješenja za izgradnju novih modela strojnog učenja (ML) ubrzanim tempom, a s ciljem boljeg donošenja odluka temeljenih na podacima koje generiraju ML sustavi.
U priopćenju se navodi da će Snowflake integrirati Cometova rješenja u svoju platformu, što će u konačnici omogućiti programerima praćenje i iteriranje upita i skupova podataka.
Comet se nadada će ova integracija olakšati praćenje modela i njihovu izvedbu, te pružati bolju vidljivost i razumijevanje procesa i utjecaja promjena podataka na izvedbu modela. Iskorištavanjem podataka unutar Snowflake platforme će omogućiti korisnicima mnogo jednostavniji i transparentniji razvoj modela.
Brže obučavanje, implementacija i nadzor modela
Kombinacija Snowflake Data Cloud-a i Comet ML platforme omogućit će korisnicima diljem svijeta značajno brže izgradnju, obuku, implementaciju i nadzor modela, navodi se u priopćenju.
Sinergija dva sustava može doprinijeti konstantnom poboljšavanju modela i u konačnici premostiti jaz između eksperimentiranja i njihove implementacije, što i jest jedno od ključnih obećanja ML-a – sposobnost učenja i prilagodbe tijekom vremena. Jasno iteracija između skupova podataka i modela omogućuje organizacijama definiranje operativnih koraka za rješavanje promjena podataka i njihov utjecaj na modele u proizvodnji.
Novu ponudu tvrtke Comet slijedi nedavno predstavljanje skupa alata namijenjenih ubrzavanju radnih tokova za znanstvenike podataka koji rade s velikim jezičnim modelima (LLM).
Poboljšavanje ML modela kroz feedback
Kad god programeri izvrše upit za izvlačenje skupova podataka iz Snowflakea za svoje ML modele, Comet može zabilježiti, iterirati i izravno povezati te upite s rezultirajućim modelima.
Mendels je rekao da ovaj pristup pruža nekoliko prednosti, uključujući povećanu reproduktivnost, suradnju, mogućnost provjere i iterativno poboljšanje.
“Integracija između Cometa i Snowflakea ima za cilj pružiti snažan, transparentan i učinkovit okvir za razvoj ML-a omogućujući praćenje i verzioniranje upita i skupova podataka iz Snowflakea unutar samog Snowflakea”, objasnio je za VentureBeat. “Verzioniranjem SQL upita i skupova podataka, znanstvenici podataka uvijek mogu pratiti točnu verziju podataka koja je korištena za obuku određene verzije modela. To je ključno za reprodukciju modela.”
Povezivanje promjena u izvedbi modela s promjenama podataka
U ML-u, obučavajući podaci jednako su važni kao i sam model. Promjene u podacima, poput uvođenja novih značajki, rješavanje nedostajućih vrijednosti ili promjene u raspodjeli podataka, mogu duboko utjecati na performanse modela.
Tvrtka navodi da praćenjem podrijetla modela postaje moguće uspostaviti vezu između promjena u izvedbi modela i određenih promjena u podacima. To ne samo da pomaže u otklanjanju pogrešaka i razumijevanju izvedbe, već vodi i poboljšanju kvalitete podataka i inženjeringu značajki.
Mendels je rekao da praćenje upita i podataka tijekom vremena može stvoriti povratnu petlju koja potiče kontinuirano poboljšanje u oba segmenta upravljanja podacima i razvoja modela.
“Podrijetlo modela može olakšati suradnju unutar tima znanstvenika podataka, jer omogućuje svima da razumiju povijest modela i način na koji je razvijen bez potrebe za opsežnom dokumentacijom”, rekao je Mendels. “To je posebno korisno kada članovi tima odlaze ili kada novi članovi pristupaju timu, omogućavajući besprijekuran prijenos znanja.”
