V nasledujúcom desaťročí bude rola dátového vedca, ako ju poznáme, vyzerať veľmi odlišne ako dnes. Ale nebojte sa, nikto nepredpovedá stratu zamestnania zmenil pracovných miest.
Vedci v oblasti údajov budú v poriadku - podľa Úradu pre štatistiku práce sa predpokladá, že do roku 2029 bude táto úloha rásť na nadpriemernej úrovni. Avšak pokrok v technológii bude impulzom pre obrovský posun v zodpovednosti vedca v oblasti údajov a v oblasti ochrany údajov. spôsobom, akým podniky pristupujú k analytike ako celku. A túto revolúciu povedú nástroje AutoML, ktoré pomáhajú automatizovať potrubie strojového učenia od nespracovaných údajov po použiteľný model.
O 10 rokov budú mať vedci v oblasti údajov úplne odlišné súbory zručností a nástrojov, ale ich funkcia zostane rovnaká: slúžiť ako sebavedomí a kompetentní technologickí sprievodcovia, ktorí dokážu porozumieť komplexným údajom pri riešení obchodných problémov.
AutoML demokratizuje dátovú vedu
Až donedávna boli algoritmy a procesy strojového učenia takmer výlučne doménou tradičnejších rolí v oblasti dátových vied - tých s formálnym vzdelaním a pokročilým stupňom alebo pracujúcich pre veľké technologické korporácie. Vedci zaoberajúci sa údajmi hrajú neoceniteľnú úlohu v každej časti vývojového spektra strojového učenia. Ich úloha sa však časom stane kolaboratívnejšou a strategickejšou. S nástrojmi ako AutoML na automatizáciu niektorých svojich akademickejších schopností sa vedci v oblasti údajov môžu zamerať na vedenie organizácií smerom k riešeniam obchodných problémov prostredníctvom údajov.
V mnohých ohľadoch je to preto, lebo AutoML demokratizuje úsilie pri zavádzaní strojového učenia do praxe. Predajcovia od začínajúcich až po cloudové hyperskalery zaviedli riešenia, ktoré vývojári môžu používať a experimentovať s nimi bez veľkej vzdelávacej alebo zážitkovej bariéry vstupu. Podobne sú niektoré aplikácie AutoML dostatočne intuitívne a jednoduché na to, aby si netechnickí pracovníci mohli vyskúšať riešenie problémov vo svojich vlastných oddeleniach - napríklad v organizáciách vytvoriť svojho druhu „dátového vedca pre občanov“.
Aby sme preskúmali možnosti, ktoré tieto typy nástrojov odomknú vývojárom aj dátovým vedcom, musíme najskôr pochopiť súčasný stav dátovej vedy, ktorá sa týka vývoja strojového učenia. Je to najjednoduchšie pochopiť, ak sa umiestni na stupnicu zrelosti.
Menšie organizácie a podniky s tradičnejšími úlohami zodpovednými za digitálnu transformáciu (t. J. nie klasicky vyškolení vedci v oblasti údajov) zvyčajne spadajú na tento koniec tejto stupnice. Práve teraz sú najväčšími zákazníkmi pre aplikácie strojového učenia sa z krabice, ktoré sú viac zamerané na publikum, ktoré nie je oboznámené so zložitosťami strojového učenia.
- Klady: Tieto aplikácie na kľúč majú tendenciu byť ľahko implementovateľné a relatívne lacné a ľahko nasaditeľné. Pre menšie spoločnosti s veľmi špecifickým procesom automatizácie alebo zlepšovania existuje na trhu pravdepodobne niekoľko životaschopných možností. Vďaka nízkej prekážke vstupu sú tieto aplikácie ideálne pre dátových vedcov, ktorí sa prvýkrát prebrodia v strojovom učení. Pretože niektoré z aplikácií sú také intuitívne, umožňujú dokonca netechnickým zamestnancom šancu experimentovať s automatizáciou a pokročilými dátovými schopnosťami - čo môže v organizácii predstavovať hodnotný karanténny priestor.
- Zápory: Táto trieda aplikácií strojového učenia je notoricky nepružná. Aj keď sa dajú ľahko implementovať, nie je možné ich ľahko prispôsobiť. Preto nemusí byť pre určité aplikácie možné určité úrovne presnosti. Ďalej je možné tieto aplikácie výrazne obmedziť tým, že sa spoliehajú na predcvičené modely a údaje.
Medzi príklady týchto aplikácií patria Amazon Comprehend, Amazon Lex a Amazon Forecast od Amazon Web Services a Azure Speech Services a Azure Language Understanding (LUIS) od Microsoft Azure. Tieto nástroje sú často dostatočné na to, aby narastajúci počet vedcov v oblasti dát mohli podniknúť prvé kroky v strojovom učení a uviesť ich organizácie ďalej v spektre vyspelosti.
Prispôsobiteľné riešenia s AutoML
Organizácie s veľkými, ale relatívne bežnými súbormi údajov - myslite na údaje o transakciách zákazníkov alebo na metriky marketingových e-mailov - potrebujú väčšiu flexibilitu pri využívaní strojového učenia na riešenie problémov. Zadajte AutoML. AutoML vykonáva kroky pracovného toku manuálneho strojového učenia (zisťovanie údajov, analýza prieskumných údajov, ladenie hyperparametrov atď.) A kondenzuje ich do konfigurovateľného stohu.
- Klady: Aplikácie AutoML umožňujú spustiť viac experimentov s údajmi vo väčšom priestore. Skutočnou superveľmocou AutoML je však dostupnosť - je možné vytvoriť vlastné konfigurácie a pomerne ľahko vylepšiť vstupy. Navyše, AutoML sa nevyrába výhradne s dátovými vedcami ako publikom. Vývojári môžu tiež ľahko manipulovať v karanténe a implementovať prvky strojového učenia do svojich vlastných produktov alebo projektov.
- Zápory: Aj keď sa to blíži, obmedzenia AutoML znamenajú, že presnosť výstupov bude ťažké dokončiť. Z tohto dôvodu vedci zaoberajúci sa uchovávaním titulov a údajov prenášajúcich karty často pozerajú nadol na aplikácie vytvorené pomocou AutoML - aj keď sú výsledky dostatočne presné na to, aby vyriešili daný problém.
Medzi príklady týchto aplikácií patrí Amazon SageMaker AutoPilot alebo Google Cloud AutoML. Vedci zaoberajúci sa údajmi o desať rokov budú nepochybne musieť poznať nástroje ako tieto. Rovnako ako vývojár, ktorý ovláda viac programovacích jazykov, budú musieť mať vedci v oblasti údajov znalosť viacerých prostredí AutoML, aby mohli byť považovaní za špičkové talenty.
„Ručne valcované“ a domáce riešenia strojového učenia
V najväčších podnikových podnikoch a spoločnostiach Fortune 500 sa momentálne vyvíja väčšina pokročilých a patentovaných aplikácií strojového učenia. Vedci zaoberajúci sa údajmi v týchto organizáciách sú súčasťou veľkých tímov, ktoré zdokonaľujú algoritmy strojového učenia pomocou historických údajov spoločnosti a vytvárajú tieto aplikácie od základov. Zákazkové aplikácie, ako sú tieto, sú možné iba so značnými zdrojmi a talentom, a preto sú výplaty a riziká také veľké.
- Klady: Ako každá aplikácia od nuly, aj vlastné strojové učenie je „najmodernejšie“ a je založené na dôkladnom pochopení daného problému. Je to tiež presnejšie - aj keď len s malými okrajmi - ako riešenia AutoML a hotové riešenia strojového učenia.
- Zápory: Získať vlastnú aplikáciu strojového učenia na dosiahnutie určitých prahov presnosti môže byť nesmierne ťažké a tímy dátových vedcov si to často vyžaduje ťažké zdvíhanie. Vlastné možnosti strojového učenia sú navyše časovo najnáročnejšie a najdrahšie sa vyvíjajú.
Príkladom ručného riešenia strojového učenia je začať s prázdnym notebookom Jupyter, manuálnym importom údajov a následným vykonaním každého kroku od prieskumnej analýzy údajov až po vyladenie modelu ručne. To sa často dosiahne napísaním vlastného kódu pomocou rámcov strojového učenia otvoreného zdroja, ako sú Scikit-learn, TensorFlow, PyTorch a mnoho ďalších. Tento prístup vyžaduje vysoký stupeň skúseností i intuície, ale môže priniesť výsledky, ktoré často prekonajú služby strojového učenia na kľúč aj AutoML.
Nástroje ako AutoML v nasledujúcich 10 rokoch presunú úlohy a zodpovednosti v oblasti dátových vied. AutoML preberá bremeno vývoja strojového učenia od nuly od vedcov zaoberajúcich sa dátami a namiesto toho dáva možnosti technológie strojového učenia priamo do rúk iným riešiteľom problémov. S časom, ktorý bude mať čas sústrediť sa na to, čo vedia - údaje a samotné vstupy - budú vedci pracujúci s údajmi o desaťročie slúžiť ako cennejší sprievodcovia pre svoje organizácie.
Eric Miller slúži ako senior riaditeľ technickej stratégie v spoločnosti Rackspace, kde poskytuje vedenie v oblasti strategického poradenstva s preukázateľnými skúsenosťami z budovania praxe v ekosystéme Amazon Partner Network (APN).Eric, uznávaný technologický líder s 20 rokmi preukázaného úspechu v podnikovom IT, viedol niekoľko iniciatív AWS a architektúry riešení, vrátane hodnotiaceho partnerského programu AWS Well Architected Framework (WAF), programu Amazon EC2 pro Windows Server AWS Service Delivery Program a širokej škály prepísaní AWS pre organizácie s miliardami dolárov.
—
Nové technologické fórum poskytuje miesto na preskúmanie a diskusiu o vznikajúcich podnikových technológiách v nebývalej hĺbke a šírke. Výber je subjektívny, založený na našom výbere technológií, ktoré považujeme za dôležité a pre čitateľov najväčší záujem. neprijíma marketingové záruky na zverejnenie a vyhradzuje si právo upravovať všetok prispievaný obsah. Všetky otázky posielajte na adresu [email protected].
