Netflix parantaa suositusalgoritmejaan ja ennustaa uusien ohjelmien menestystä käyttämällä valtavia tietomääriä. Koska koneoppimisessa käytettävien dataputkien hallinta suuressa mittakaavassa on vaikeaa ja aikaa vievää, Netflix kehitti Metaflow-nimisen työkalun tehostaakseen datatieteilijöiden tuottavuutta. Codemate on tehnyt yhteistyötä Netflixin kanssa tehdäkseen Metaflowsta tehokkaamman ja käyttökelpoisemman suunnittelemalla ja kehittelemällä sen ensimmäisen graafisen käyttöliittymän.
Miksi Metaflow luotiin?
Data auttaa Netflixiä ratkaisemaan monimutkaisia ongelmia ja haasteita, joita olisi lähes mahdotonta selvittää ilman suuria tietomääriä. Netflixin datatieteilijät käyttävät Metaflow’ta kehittämään algoritmeja, joiden avulla voidaan tehdä entistä parempia päätöksia niin liiketoiminnan, kuin Netflixin käyttäjien näkökulmasta.
Codemate on ollut Netflixin Metaflow-kehityskumppani keväästä 2020 lähtien. Codemate kehitti Metaflown ensimmäisen graafisen käyttöliittymän (GUI) lähtökohtanaan datatieteilijöiden tarpeet ja toiveet. Kehityksen ansiosta Netflixin datatieteilijät voivat entistä paremmin keskittyä mallintamiseen ja käyttää Metaflown graafista käyttöliittymää koneoppimisen työjonojen automatisointiin, seurantaan ja hallintaan.
Codemate suunnitteli graafisen käyttöliittymän toimimaan yhdessä Amazon Web Servicesin (AWS) kanssa. Samalla laadittiin selkeä dokumentaatio GUI-projektista, mikä mahdollistaa sujuvan avoimen lähdekoodin julkaisun. Alustava palaute Netflixin datatutkijoilta on ollut erittäin myönteistä, sillä GUI:n on koettu säästävän huomattavasti käyttäjien aikaa.
Täydellisen tuotteen jäljillä
Netflix oli asettanut projektille korkean tason tavoitteet. He tarvitsivat esimerkiksi graafisen käyttöliittymän joka vastaa muun muassa ”Mitä tapahtuu tai on tapahtunut, kun ML-malleja ajetaan”? GUI:n pitäisi tuntua näppärältä ja sen pitäisi kestää yli 100 000 tehtävää ja jopa miljoonaa ajoa. Lisäksi sen pitäisi olla helppo ottaa käyttöön. Käytimme näitä tavoitteita ohjaavina periaatteina tuotteen määrittelyssä, suunnittelussa ja toimittamisessa.
Kokosimme ketterän tiimin, jonka vastuulla oli suunnitella ja kehittää tuote, joka täyttää nämä kriteerit. Läheisen yhteistyön ja toistuvien palautekierrosten avulla Netflix ML-tiimin kanssa kehitimme asteittain käyttöliittymää vastaamaan heidän täsmällisiä tarpeitaan. 16 kuukautta kestäneen projektin aikana joitakin ominaisuuksia vaihdettiin alustavan palautteen perusteella ja iteroitiin, kunnes ne olivat täydellisiä.
Metaflow UI-julkaisu
Koska Codemate oli pääkumppani Metaflow-käyttöliittymän suunnittelussa ja kehittämisessä, Netflix päätti järjestää julkaisutapahtuman kanssamme. Tässä videossa Netflixin Brett Rose esittelee Metaflow-käyttöliittymää toiminnassa ja Codematen suunnittelija Teemu Kemppainen käy läpi käyttäjäkulun ja suunnitteluprosessin. Ville Tuulos Outerboundsista antaa tärkeitä tietoja ja käytännön vinkkejä Metaflown käytön aloittamiseen ja sen laajentamiseen liitännäisten avulla.
Tulokset
Koska Metaflow on avoimen lähdekoodin projekti, koko maailman datatiedeyhteisö voi nyt käyttää työkalua. Palaute on ollut hämmästyttävän positiivista ja Netflix ML-tiimi on lisännyt tuottavuuttaan merkittävästi. Tämä tarkoittaa paremmin yhteensopivia ohjelmasuosituksia sinulle ja minulle.
“I’d like to give a really big thanks and shout-out to Codemate. They’ve been an amazing partner. The design work was excellent and through several development iterations they really delivered an excellent product.”
Brett Rose
Manager of ML infrastructure at Netflix
Haluatko kuulla lisää?
Kysy Toni Piiraiselta lisää ML/AI:sta, datatieteestä tai avoimen lähdekoodin kehityksestä
