Prodavnice funkcija organizuju obradu podataka koja pokreće modele mašinskog učenja. Da bi podržali obuku modela i zaključak proizvodnje, ML modeli imaju specifične potrebe za pristupom podacima. Prodavnica funkcija deluje kao most između neobrađenih podataka i interfejsa modela. Prodavnice funkcija omogućavaju naučnicima podataka da automatizuju obradu vrednosti funkcija, proizvedu skupove podataka za obuku i ponude funkcije na mreži sa nivoima usluga ocene proizvodnje, čime se kreira ova apstrakcija.
Koja je svrha prodavnice funkcija?
Prodavnice funkcija rešavaju ove probleme tako što omogućavaju timovima podataka da:
- Kolaborativno kreirajte biblioteku funkcija koja koristi standardne definicije funkcija.
- Pomoću samo nekoliko redova koda možete da generišete precizne skupove podataka za obuku.
- Primenite funkcije u proizvodnju u realnom vremenu prateći najbolje inženjerske prakse DevOps-a.
- Deljenje funkcija, otkrivanje i ponovno korišćenje u celoj organizaciji
Komponente prodavnice funkcija
Budući da je prodavnica funkcija novi koncept, precizna definicija se neprekidno menja. Slede česte funkcije prodavnice funkcija:
- Kôd kontrolisan verzijom je definisan kao karakteristike u registru funkcija. Registar funkcija je centralizovani katalog svih definicija funkcija i metapodataka. On omogućava naučnicima koji se bave podacima da pronađu, traže i sarađuju na novim funkcijama.
- Skladišta funkcija organizuju cevovode podataka da bi pretvorili sirove podatke u vrednosti funkcija. Oni mogu da troše grupne, protočne i podatke u realnom vremenu da bi uklopili prethodni kontekst sa najaktuelnijim informacijama.
- Prodavnice funkcija nude i onlajn skladište za preuzimanje sa niskim kašnjenjem u obimu i skladištenje van mreže za ekonomično čuvanje prethodnih skupova podataka koji se čuvaju u skladištu funkcija.
- Prodavnice funkcija obezbeđuju krajnju tačku API-ja za serviranje onlajn vrednosti funkcija sa malim kašnjenjem.
- Prodavnice funkcija prate kvalitet podataka, kao i operativne indikatore. Oni mogu da provere tačnost podataka i otkriju pomeranje podataka. Oni takođe paze na ključne indikatore vezane za funkcije skladištenja (kapacitet, ustajalost), kao i funkciju koja služi (latencija, protok).
Šta treba uzeti u obzir prilikom izbora prodavnice funkcija
Korisnici sada mogu da biraju između širokog spektra proizvoda iz prodavnice funkcija. AWS, Databricks, Google Cloud, Tecton i Feast (open source) su samo nekoliko primera. Međutim, ne smatraju se sve prodavnice funkcija ekvivalentnim. Prilikom izbora ponude, korisnik bi trebalo da razmotri sledeće faktore:
- Integracije i ekosistem: Neke prodavnice funkcija su snažno povezane sa jedinstvenim okruženjem. AWS SageMaker prodavnica funkcija je, na primer, dizajnirana da lepo funkcioniše sa SageMaker ekosistemom. Druge prodavnice funkcija, kao što su Feast ili Hopsworks, nisu povezane sa određenim ekosistemom i rade preko oblaka. Da li ste posvećeni određenom okruženju ili tražite prilagodljivije rešenje?
- Infrastruktura podataka: Većina prodavnica funkcija izgrađena je za organizovanje tokova podataka preko postojeće infrastrukture. Na primer, prodavnica funkcija Databricks namenjena je za pokretanje na Delta Lake-u. Neka skladišta funkcija imaju arhitekturu podataka, kao što su skladište objekata i skladišta ključnih vrednosti. Želite li da prenamenite postojeću infrastrukturu podataka ili da izgradite novu infrastrukturu podataka iz temelja?
- Model isporuke: Neke prodavnice funkcija dostupne su kao usluge kojima se u potpunosti upravlja. Druge prodavnice funkcija zahtevaju samostalno raspoređivanje i upravljanje. Da li više volite potpuno upravljane usluge ili slobodu samoupravljajućih rešenja?
- Opseg upravljanja funkcijama: Većina prodavnica funkcija odnosi se na rešavanje problema serviranja. One nude standardni metod za skladištenje i serviranje vrednosti funkcija, ali tim vrednostima funkcija se mora rukovati izvan skladišta funkcija. Druge prodavnice funkcija, kao što je Databricks, upravljaju celokupnim trajanjem funkcije, uključujući transformacije funkcija i automatizovane cevovode. Ovo poslednje je veoma zgodno za obavljanje sofisticiranih promena kao što su striming ili funkcije u realnom vremenu.
