Zašto se poduzeća s TensorFlowa okreću prema PyTorchu

Podkategorija strojnog učenja, duboko učenje koristi višeslojne neuronske mreže za automatizaciju povijesno teških strojnih zadataka - poput prepoznavanja slika, obrade prirodnog jezika (NLP) i strojnog prevođenja - u opsegu.

TensorFlow, koji je iz Googlea izašao 2015. godine, najpopularniji je okvir za duboko učenje otvorenog koda i za istraživanje i za posao. No, PyTorch, koji se pojavio na Facebooku 2016. godine, brzo ga je sustigao, zahvaljujući poboljšanjima u jednostavnosti upotrebe i primjeni koje pokreće zajednica za širi spektar slučajeva korištenja.

PyTorch bilježi posebno snažno usvajanje u automobilskoj industriji - gdje se može primijeniti na pilot sustave autonomne vožnje poput Tesle i Lyfta Razina 5. Okvir se također koristi za klasifikaciju sadržaja i preporuke u medijskim tvrtkama te kao pomoć u podršci robotima u industrijskoj primjeni.

Joe Spisak, voditelj proizvoda za umjetnu inteligenciju na Facebooku AI, rekao je da, iako je zadovoljan povećanjem usvajanja PyTorcha u poduzećima, još uvijek treba puno raditi na postizanju šireg usvajanja u industriji.

"Sljedeći val usvajanja doći će s omogućavanjem upravljanja životnim ciklusom, MLOps i Kubeflow cjevovodima i zajednicom oko toga", rekao je. "Za one na početku putovanja alati su prilično dobri, a za početak koriste upravljane usluge i neke otvorene kodove s nečim poput SageMaker-a na AWS-u ili Azure ML-u."

Disney: Prepoznavanje animiranih lica u filmovima

Od 2012. godine inženjeri i znanstvenici podataka u medijskom divu Disneyu grade ono što tvrtka naziva Content Genome, grafikon znanja koji spaja metapodatke sadržaja kako bi se pokrenuli programi pretraživanja i personalizacije temeljeni na strojnom učenju u Disneyevoj masivnoj knjižnici sadržaja.

„Ovi metapodaci poboljšavaju alate koje Disneyevi pripovjedači koriste za stvaranje sadržaja; nadahnuti iterativnu kreativnost u pripovijedanju; osnažiti korisnička iskustva kroz mehanizme za preporuke, digitalnu navigaciju i otkrivanje sadržaja; i omogućiti poslovnu inteligenciju ”, napisali su Disneyevi programeri Miquel Àngel Farré, Anthony Accardo, Marc Junyent, Monica Alfaro i Cesc Guitart u blogu u srpnju.

Prije nego što se to moglo dogoditi, Disney je morao uložiti u ogroman projekt anotiranja sadržaja, okrenuvši se svojim znanstvenicima za obradu podataka kako bi obučili automatizirani cjevovod za označavanje pomoću modela dubokog učenja za prepoznavanje slika kako bi identificirali ogromne količine slika ljudi, likova i lokacija.

Disneyevi inženjeri započeli su eksperimentiranjem s različitim okvirima, uključujući TensorFlow, ali odlučili su se konsolidirati oko PyTorcha 2019. Inženjeri su prešli s konvencionalnog deskriptora značajki orijentiranih gradijenata (HOG) i popularnih modela vektorskih strojeva (SVM) na verziju arhitektura otkrivanja objekata nazvana regijama s konvolucijskim neuronskim mrežama (R-CNN). Potonje je više pogodovalo rukovanju kombinacijama živih radnji, animacija i vizualnih efekata uobičajenih u Disneyjevom sadržaju.

"Teško je definirati što je lice u crtiću, pa smo prešli na metode dubokog učenja pomoću detektora predmeta i koristili učenje transfera", objasnila je inženjerka Disneyevog istraživanja Monica Alfaro. Nakon što je obrađeno samo nekoliko tisuća lica, novi je model već široko identificirao lica u sva tri slučaja korištenja. U proizvodnju je krenuo u siječnju 2020.

"Sada koristimo samo jedan model za tri vrste lica i to je sjajno kandidirati se za Marvelov film poput Avengersa, gdje treba prepoznati i Iron Mana i Tonyja Starka, ili bilo kojeg lika koji nosi masku", rekla je.

Kako se inženjeri bave tako velikom količinom video podataka da bi paralelno trenirali i pokrenuli model, također su željeli raditi na skupim GPU-ima visokih performansi prilikom prelaska u proizvodnju.

Prelazak s CPU-a omogućio je inženjerima bržu ponovnu obuku i ažuriranje modela. Također je ubrzao raspodjelu rezultata raznim skupinama diljem Disneya, smanjivši vrijeme obrade s otprilike sat vremena dugometražnog filma na današnje rezultate između pet do 10 minuta.

"Detektor objekata TensorFlow doveo je do problema s memorijom u proizvodnji i bilo ga je teško ažurirati, dok je PyTorch imao isti detektor objekata i brži RCNN, pa smo za sve počeli koristiti PyTorch", rekao je Alfaro.

Taj prelazak s jednog okvira na drugi bio je iznenađujuće jednostavan i za inženjerski tim. "Promjena [u PyTorch] bila je laka jer je sve ugrađeno, priključite samo neke funkcije i možete brzo započeti, tako da to nije strma krivulja učenja", rekao je Alfaro.

Kad su se susreli s bilo kojim problemima ili uskim grlima, živahna zajednica PyTorch bila je na raspolaganju da im pomogne.

Blue River Technology: Roboti za uništavanje korova

Blue River Technology dizajnirao je robota koji koristi opojnu kombinaciju digitalnog traženja puta, integriranih fotoaparata i računalnog vida za prskanje korova herbicidom, a usjeve ostavlja gotovo u stvarnom vremenu, pomažući poljoprivrednicima da učinkovitije čuvaju skupe i potencijalno štetne herbicide.

Tvrtka sa sjedištem u Sunnyvaleu u Kaliforniji zapela je za oko proizvođaču teške opreme John Deere 2017. godine, kada je kupljena za 305 milijuna dolara, s ciljem integriranja tehnologije u svoju poljoprivrednu opremu.

Istraživači Blue Rivera eksperimentirali su s različitim okvirima dubokog učenja dok su pokušavali obučiti modele računalnog vida kako bi prepoznali razliku između korova i usjeva, što je ogroman izazov kada imate posla s biljkama pamuka, koje imaju nesretnu sličnost s korovom.

Visoko obučeni agronomi sastavljeni su za provođenje zadataka ručnog obilježavanja slika i za osposobljavanje konvolucijske neuronske mreže (CNN) pomoću PyTorcha "za analizu svakog okvira i izradu karte precizne u pikselima gdje su usjevi i korovi", Chris Padwick, direktor računala vizije i strojnog učenja u Blue River Technology, napisao je u blogu u kolovozu.

"Kao i druge tvrtke, isprobali smo Caffe, TensorFlow, a zatim i PyTorch", rekao je Padwick za. “Nama to djeluje prilično neobično. Uopće nismo imali izvješća o greškama ili blokirajućim programima. Na distribuiranom računanju stvarno sjaji i lakši je za upotrebu od TensorFlow-a, što je za paralelizme podataka bilo prilično složeno. "

Padwick kaže da mu popularnost i jednostavnost okvira PyTorch daju prednost kada je riječ o brzom povećanju broja novih zaposlenika. Kad se to kaže, Padwick sanja o svijetu u kojem se „ljudi razvijaju u onome što im je ugodno. Neki poput Apachea MXNet-a ili Darkneta ili Caffe-a za istraživanje, ali u proizvodnji to mora biti na jednom jeziku, a PyTorch ima sve što nam treba za uspjeh. "

Datarock: Analiza slika zasnovana na oblaku za rudarsku industriju

Osnovana od strane skupine geoznanstvenika, australski startup Datarock primjenjuje tehnologiju računalnog vida u rudarskoj industriji. Preciznije, njegovi modeli dubokog učenja pomažu geolozima brže nego prije analizirati slike uzoraka bušenih jezgara.

Tipično bi geolog prelazio preko tih uzoraka centimetar po centimetar kako bi procijenio mineralogiju i strukturu, dok bi inženjeri tražili fizičke značajke poput rasjeda, lomova i kakvoće stijena. Taj je postupak i spor i sklon ljudskim pogreškama.

"Računalo može vidjeti kamenje poput inženjera", rekao je Brenton Crawford, glavni izvršni direktor tvrtke Datarock. "Ako to možete vidjeti na slici, možemo istrenirati model koji će ga analizirati kao i čovjek."

Slično Blue Riveru, Datarock u proizvodnji koristi varijantu RCNN modela, s istraživačima koji se okreću tehnikama povećanja podataka kako bi u ranim fazama prikupili dovoljno podataka o treningu.

„Nakon početnog razdoblja otkrića, tim je započeo kombiniranje tehnika za stvaranje tijeka obrade slika za slike bušotine. To je uključivalo razvoj niza modela dubokog učenja koji bi sirove slike mogli obraditi u strukturirani format i segmentirati važne geološke informacije ”, napisali su istraživači u blogu.

Koristeći Datarockovu tehnologiju, klijenti mogu postići rezultate za pola sata, za razliku od pet ili šest sati potrebnih za ručno bilježenje nalaza. To oslobađa geologe iz mukotrpnijih dijelova posla, rekao je Crawford. Međutim, "kada automatiziramo teže stvari, dobijemo određeni odmak i moramo objasniti da su oni dio ovog sustava da bi obučili modele i okrenuli tu povratnu petlju."

Kao i mnoge tvrtke koje treniraju modele računalnog vida s dubokim učenjem, Datarock je započeo s TensorFlowom, ali je ubrzo prebačen na PyTorch.

"U početku smo koristili TensorFlow i srušio bi se na nas iz misterioznih razloga", rekao je Duy Tin Truong, voditelj strojnog učenja u Datarocku. "PyTorch i Detecton2 objavljeni su u to vrijeme i dobro su se uklapali u naše potrebe, pa smo nakon nekih testova vidjeli da je lakše otklanjati pogreške i raditi s njima te da zauzimaju manje memorije, pa smo pretvorili", rekao je.

Datarock je također izvijestio o četverostrukom poboljšanju performansi zaključivanja s TensorFlowa na PyTorch i Detectron2 prilikom pokretanja modela na GPU-ima i 3x na CPU-ima.

Truong je kao razloge za prebacivanje naveo rastuću zajednicu PyTorcha, dobro dizajnirano sučelje, jednostavnost upotrebe i bolje uklanjanje pogrešaka te napomenuo da, iako se „s gledišta sučelja prilično razlikuju, ako poznajete TensorFlow, prilično je jednostavno prebaciti se , pogotovo ako poznajete Python. "