Kaikki referenssit Netflix on yksi maailman dataohjautuvimmista yrityksistä. Kun päätetään, mitä sisältöä tuotetaan tai mitä sarjoja suositellaan käyttäjälle, taustalla pyörii tuhansia kokeiluja ja koneoppimismalleja. Tätä työtä tukemaan Netflix kehitti Metaflown – avoimen lähdekoodin työkalupaketin datatieteilijöille työnkulkujen hallintaan.
Vaikka Metaflow’n komentorivityökalut olivat tehokkaita, suurten työnkulkujen seuraaminen niiden kautta oli työlästä. Datatieteilijät tarvitsivat selkeämmän ja reaaliaikaisemman näkymän työnkulkuihinsa – tavan havaita virheet nopeammin ja jakaa tietoa sujuvammin kollegoiden kesken. Tässä vaiheessa Codemate kutsuttiin mukaan.
Haaste: Miten hallita tuhansia ajoja tehokkaasti?
Yksittäinen koneoppimiskokeilu Netflixillä voi sisältää satoja tai tuhansia ajoja. Näiden seuraaminen pelkän komentorivin kautta teki kokonaiskuvan hahmottamisesta vaikeaa – ja virheiden paikantamisesta vielä vaikeampaa.
Metaflow-tiimi halusi käyttöliittymän, joka olisi nopea, intuitiivinen ja informatiivinen, mutta ei hidastaisi taustalla pyörivää järjestelmää. Tavoitteena oli parantaa datatieteilijöiden päivittäistä työskentelyä – ilman kompromisseja suorituskyvyssä.
Metaflow UI – suunnittelu ja toteutus yhteistyössä Codematen kanssa
Codematen ja Netflixin insinöörien tiivis yhteistyö johti ensimmäisen Metaflow UI:n suunnitteluun ja rakentamiseen. Uusi graafinen käyttöliittymä tarjoaa lähes reaaliaikaisen visuaalisen näkymän työnkulkuihin (workflows), tehden monimutkaisesta prosessista helpommin hahmotettavan.
Netflix määritteli projektin alkuvaiheessa kolme keskeistä tavoitetta, jotka ohjasivat koko suunnittelua ja toteutusta:
- Käyttöliittymän on vastattava yksinkertaiseen mutta olennaiseen kysymykseen: “Mitä tapahtuu, tai on tapahtunut, kun ML-malleja ajetaan?”
- Sen on pysyttävä responsiivisena, vaikka yksittäinen ajo sisältäisi yli 100 000 tehtävää ja miljoonia aikaisempia ajoja olisi tallennettuna.
- Sen on oltava helppo ottaa käyttöön ja ottaa käyttöön organisaation sisällä.
Nämä periaatteet näkyvät lopputuloksessa: käyttöliittymä, jossa työnkulkujen seuraaminen, virheiden paikantaminen ja tilan jakaminen kollegoille käy nopeasti – ilman järjestelmän kuormittamista.
Metaflow UI julkaistiin avoimena lähdekoodina, ja sen kehitys jatkuu yhteisön voimin.
Tulokset: Arkea helpottava työkalu Netflixin datatiimille
Uusi käyttöliittymä on nopeasti vakiinnuttanut asemansa Netflixin datatieteilijöiden työkalupakissa. Kokeilujen seuraaminen on helpompaa, virheet löytyvät nopeammin ja yhteistyö kollegoiden kanssa on sujuvampaa.
Netflixin ML-infrastruktuurista vastaava johtaja Brett Rose kiteyttää:
“Iso kiitos Codematelle. He ovat olleet loistava kumppani. Suunnittelutyö oli erinomaista, ja useiden kehityskierrosten kautta he toimittivat todella laadukkaan tuotteen.”
Brett Rose
Manager of ML infrastructure at Netflix
Työkalu toimii nyt Netflixin tuotantokuormassa, yli miljoona työnkulkua ajetaan sen kautta, ja sen arvo on osoitettu käytännössä. Tarina ei kuitenkaan pääty tähän: myös laajempi Metaflow-yhteisö voi nyt hyödyntää UI:ta omassa työssään.
Katso, miltä Metaflow UI näyttää käytännössä
Koska Codemate oli keskeinen kumppani käyttöliittymän suunnittelussa ja kehittämisessä, päätimme järjestää julkaisutilaisuuden yhdessä Netflixin kanssa. Tallenteella:
- Ville Tuulos (Outerbounds), yksi Metaflow’n alkuperäisistä kehittäjistä ja nykyinen Outerboundsin toimitusjohtaja, kertoo vinkkejä UI:n käyttöönottoon ja laajentamiseen lisäosien avulla
- Brett Rose (Netflix) esittelee Metaflow UI:n toimintaa käytännössä
- Teemu Kemppainen (Codemate) avaa käyttöliittymän käyttäjäpolkua ja suunnitteluratkaisuja
Katso tallenne ja kuule suoraan Netflixiltä, Codematelta ja Outerboundsilta, miten käyttöliittymä syntyi.
Usein kysytyt kysymykset:
Mikä on Metaflow UI?
Avoimen lähdekoodin graafinen käyttöliittymä Metaflow-työnkulkujen seurantaan ja virheiden selvittämiseen lähes reaaliajassa.
Toimiiko se tuotantoympäristössä?
Kyllä. Netflix käyttää UI:ta tuotantomittakaavassa – käyttöliittymä ei hidasta taustalla pyöriviä ajoja.
Voiko sen integroida omaan loki- tai valvontajärjestelmään?
Kyllä. Tuki löytyy lisäosien ja ulkoisten linkkien kautta (esim. Kubernetes, CloudWatch, DataDog).
Mikä on Outerbounds?
Yritys, jonka perustajina ovat entiset Netflixin insinöörit, mukaan lukien Metaflow’n luoja Ville Tuulos. Outerbounds kehittää Metaflow’ta eteenpäin ja tekee yhteistyötä Codematen kaltaisten kumppanien kanssa yhteisön tukemiseksi.
Haluatko kuulla lisää?
Kysy Tonilta lisää ML/AI:sta, datatieteestä tai avoimen lähdekoodin kehityksestä
