Korisnik:VidoMladenovic/pesak

Duboko učenje (takođe poznat kao duboko strukturisano učenje, hijerarhijsko učenje ili duboko mašinsko učenje)- odeljak mašinskog učenja na osnovu skupa algoritama  koji pokušavaju da obrade podatke apstrakcije na visokom nivou korišćenjem slojevitih naslaga, sa složenim strukturama ili na drugi način, sastavljenim od više ne-linearnih prenoslikavanja.

Duboko učenje je deo široke porodice metoda mašinskog učenja zasnovanog na učenju prema datim podacima. Zapažanje (npr. slike) može biti predstavljeno na mnogo načina kao što je vektor vrednosti intenziteta po pikselu, ili na više apstraktan način kao skup ivica, oblasti određenog oblika. Neka prestavljanja su bolja od drugih u pojednostavljivanju zadataka (npr. prepoznavanje lica ili izraza lica)iz primera. Jedno od obećanja dubokog učenja je zamena ručnih funkcija sa efikasnim algoritmima za učenje sa ili bez nadzora i hijerarhijsko poreklo osobina

Istraživanja u ovoj oblasti pokušavaju da naprave bolja prikazivanja podataka i da naprave model koji će obuhvatiti sva istraživanja napretkom u neuronauci i ona su slabo zasnovana na tumačenju procesnih informacija i komunikacijskih obrazaca u nervnom sistemu, kao što je neuronsko kodiranje koje pokušava da odredi vezu između različitih stimulusa i povezanih neuronskih odgovora u mozgu..

Različite arhitekture dubokog učenja kao što su duboke neuronske mreže,  mreže dubokog uverenja i povratne neuronske mreže su primenjene u oblastima kao što su računarska vizija, automatsko prepoznavanje govora, obrada prirodnog jezika, prepoznavanje glasa i bioinformatike gde su prikazani proizvodi rezultata state-of-the-art na različitim zadacima.

Duboko učenje je označeno kao krilatica ili redefinisanje neuronskih mreža.

Uvod

Definicije

Postoje više načina koji određuju polje dubokog uččenja. Na primer, u 1986. godini, Rina Dekster  je predstavila koncept prvog i drugog reda dubokog učenja u smislu prinudnog zadovoljstva.  Kasnije, duboko učenje je bilo određeno kao vrsta mašinskog učenja algoritama.

• Koristiti niz (cascade) slojevitih nelinearnih jedinica za osobine izdvajanja i promenna. Svaki sledeći sloj koristi izlaz iz prethodnog sloja kao ulaz. Algoritmi mogu biti pod nadzorom ili bez nadzora i aplikacije sadrže analizu uzorka (bez nadzora) i klasifikaciju (nadzirane).
  
• Zasnivaju se na (bez nadzora) učenje više nivoa osobina ili predstavljanje podataka. Viši nivoi osobina su izvedeni iz nižih kako bi obrazovali hijerarhijsko predstavljanje
  
• Su deo šireg polja (oblasti) mašinskog učenja predstavljanja podataka.
• Naučiti više nivoe predstavljanja koji odgovaraju različitim nivoima apstrakcije; nivoi obrazuju hijerarhiju pojmova.

Ove definicije imaju zajedničko (1) višeslojne obrađene jedinice i (2) učenje osobina predstavljene u svakom sloju-nadgledane ili bez nadzora, koje sa slojevima obrazuju hijerarhiju sa niskog do visokog nivoa osobina. Sastav sloja nelinearnih procesnih jedinica korišćenih u algoritmu dubokog učenja zavisi od problema koji mora biti rešen. Slojevi koji su korišćeni u dubokom učenju uključuju skrivene slojeve veštačke nervne mreže i kompleta komplikovanih propozicijskih formula. Ona takođe mogu da sadrže sakrivene promenljive slojeve u dubokim generativnim modelima kao što su čvorovi u Mreži dubokog verovanja i Dubokim Boltmazovim mašinama.

Duboki algoritmi za učenje menjaju njihovo dovođenje kroz više slojeva nego plitki algoritmi učenja. Na svakom sloju, signal se prenosi pomoću procesne (razvojne) jedinice, kao veštački neuron, čiji parametri su „naučeni“ kroz obuku. Lanac prenosa od ulaza do izlaza je put kreditnog zadatka (SAR). SAR opisuje potencijalno uzročno-posledične veze između ulaza i izlaza i mogu biti različite u dužini. Za naprednu neuronsku mrežu, dubina SAR i takođe dubina mreže je broj skrivenih slojeva plus jedan (izlazni sloj je takođe parametarizovan). Za povratnu nervnu mrežu, u kojoj se signal može pojaviti kroz sloj više nego jednom, SAR je potencijalno neograničen u dužini. Ne postoji univerzalno dogovoreni prag dubine između podeljenog plitkog i dubokog učenja, ali većina istraživanja u ovoj oblasti slaže se da duboko učenje ima više nelinearnih slojeva (SAR>2) i Šmidhuber smatra SAR>10 veoma dubokim učenjem.

Osnovni pojmovi

Duboki algoritmi za učenje su zasnovani na ravnomernom predstavljanju. Osnovna pretpostavka iza ravnomernih predstavljanja je da su posmatrani podaci dobijeni (nastali) od interakcije faktora koji se nalaze u slojevima.

Duboko učenje koristi ovu ideju hijerarhijskog objašnjenja faktora gde viši nivo sa više apstraktnih pojmova uči od onih na nižem nivou. Ove strukture su često nastale sa pohlepnom metodom sloj-po-sloj. Duboko učenje pomaže da se razdvoje ove apstrakcije i da se odabere koje osobine su korisne za učenje.

Za nadgledane zadatke učenja, metode dubokog učenja izbegavaju osobine inženjeringa, prevođenjem podataka u zbijeno srednje predstavljanje slično glavnim komponentama, i izvodi slojevite strukture koje uklanjaju višak snage u predstavljanju.

Mnogi algoritmi dubokog učenja se primenjuju na učenje zadatka bez nadzora. Ovo je važno jer neobeleženi podaci su obično brojniji od obeleženih. Primeri dubokih struktura koji mogu biti korišćeni u rad bez nadzora su istorija nervnog kompresora i duboko uverenje mreža.

Tumačenja

Duboke neuronske mreže se uopšteno koriste u terminima: Teorema univerzalne aprosksimacije ili Probabilistički zaključak.

Tumačenje teoreme univerzalne aproksimacije

Teorema univerzalne aprosksimacije obuhvata sposobnost napredne mreže neurona sa jednim skrivenim slojem konačne veličine do približnih neprekidnih funkcija.

Prvi dokaz objavio je 1989.god. Džordž Kjubenko za sigmoidne funkcije aktivacije a 1991.god. Kurt Hornik je to uopštio za napredne višeslojne arhitekture

Probalističko tumačenje

U probalističko tumačenje proizilazi iz oblasti mašinskog učenja. Osobine su izvedene , isto kao i optimizacija konceptne obuke i testiranja, povezanih respektivno sa podešavanjima i generalizacijom. Tačnije, probabilističko tumačenje podrazumeva ne-linearnu aktivnost kao funkciju kumulativne raspodele.  Vidi mrežu dubokog uverenja.Probabilističko tumačenje vodi do uvođenja ispada kao uređivača neuronske mreže.

Giof Hinton, Jošua Bengio, Jan LeCun i Jurgen Šmidhuber su uveli i predstavili pojam probabilističkog tumačenja.

Istorija

Ukrajinski matematičari Ivanenko i Lap prvi su objavili uopšten rad učenja algoritma za nadgledanje napredne višeslojne (perceptrons).  Rad iz 1971.god. je već opisao duboku mrežu sa 8 slojeva obučenih po modulu grupe za obradu podataka algoritama koja je i dalje popularna. Ove ideje su izvršene u sistemu računarske identifikacije „Alfa“, koji je pokazao proces učenja. Drugi procesi dubokog učenja, posebno oni izgrađeni iz veštačke neuronske mreže (ANN) potiču iz "Neokongrinton" koji je uveo Kunikiho Fukušima 1980.godine. Samo ANN datira još dalje. Izazov je bio kako ga pripremiti za mreže sa više slojeva. Jan LeCun i drugi 1989. su bili u mogućnosti da primene standardni bekpropagejšn algoritam, koji se primenjivao kao suprotan model automatske diferencijecije od 1970, do duboke neuronske mreže sa ciljem prepoznavanja šifre pisane rukom na mejl. Pored uspeha primene algoritma, vreme pripreme mreže sa ovim podacima bilo je otprilike 3 dana, čineći ga nepraktičnim za opštu upotrebu. Jurgen Šmidhuberova istorija neuronskog kompresora implementirala je gomilu tekućih mreža neurona (RNN), rešen zadatak "Veoma dubokog učenja"koji zahteva više od 1000 slojeva u jednom RNN.  Bernard Frej je 1995. god. pokazao da je moguće trenirati mrežu koja sadrži šest potpuno povezanih slojeva i nekoliko stotina skrivenih jedinica koristeći algoritam za buđenje koji je razvio zajedno sa Peter Daiana i Džefri Hinton. Međutim, obuka je trajala dva dana.

Sep Hohrajter je 1991.god. analizirao problem nestajanja gradijenta.

Do 1991.god takve neuronske mreže su korišćene za prepoznavanje izolovanih 2-D ručno pisanih brojeva, prepoznavanje 3-D predmeta je rađeno podudaranjem 2-D slika sa ručno-rađenim 3-D modelom. Jujang Veng i ostali su predložili da ljudski mozak ne koristi monolitički 3-D model i 1992. oni su objavili Kresceptron, metodu za izvođenje 3-D prepoznavanja predmeta direktno iz prenatrpanih scena. Kresceptron je kaskada slojeva slična Neokongrinton. Ali dok Neokongrinton zahteva čoveka za ručno spajanje osobina, Kresceptron automatski uči otvoreni broj osobina bez nadzora u svakom sloju, gde je svaka osobina predstavljena od strane sazivnog jezgra. Kresceptron takođe deli svaki objekat iz prenatrpanih scena kroz povratne-analize kroz mrežu.Max pooling, sada često prihvaćen od dubokih neuronskih mreža (na pr. testovi slika), je prvi put korišćen u Kresceptron-u da smanji rezoluciju faktorom(2h2) na 1 kroz kaskade do bolje generalizacije. Pored ovih prednosti, jednostavniji modeli koji koriste specifičan broj ručnih funkcija kao što su Gabor filteri i podržavajuće vektorske mašine (SVM) bili su dobar izbor 1990.-tih i 2000.-tih zbog računarskih troškova ANN-a u to vreme i veliki nedostatak razumevanja kako mozak samostalno plete svoje biološke mreže.

U dugoj istoriji prepoznavanja glasa, i plitko i duboko učenje veštačke neuronske mreže istraživano je dugi niz godina. Ali ove metode nikada nisu bile bolje od non-uniform internal-handcrafting Gaussian mixture model/Hidden Markov model (GMM-HMM)- tehnologija zasnovana na generativnim modelima govora diskriminativno. Jedan broj ključnih problema bio je metodološki analiziran, uključujući smanjenje nagiba i slabe vremenske strukture korelacije u predviđenim modelima neurona. Dodatne poteškoće bile su nedostatak podataka i slaba snaga računara u tim ranim danima. Većina istraživača koji su razumeli takve prepreke udaljili su se od neuronskih mreža da nastave generativno modeliranje. Izuzetak je bio SRI International kasnih 90-tih. Finansiran od strane vlade SAD NSA i DARPA, SRI je sproveo istraživanje na dubokim neuronskim mrežama u govoru i prepoznavanju govornika. Tim za prepoznavanje govornika, na čelu sa Lari Hek-om, postigao je prvi značajan uspeh sa dubokim mrežama neurona u obradi govora kao što je prikazano u 1998. godini NIST (Nacionalni institut za standarde i tehnologiju) a kasnije je objavljen u časopisu "Govorne komunikacije". Dok SRI razvija uspeh sa dubokim mrežama naurona u prepoznavanju govornika, bili su neuspešni u predstavljanju sličnog uspeha u prepoznavanju govora. Hinton i Deng su pregledali deo ove novije istorije o njihovoj međusobnoj saradnji, a onda sa kolegama kroz 4 grupe(University of Toronto, Microsoft, Google, i IBM) izazvali renesansu duboke proaktivne mreže neurona u prepoznavanju govora.

Danas, međutim, mnogi aspekti prepoznavanja govora su preuzeti od metode dubokog učenja zvane Dugo kratkrotajno pamćenje (LSTM), a povratne neuronske mreže objavili su Sep Hohrajter i Jurgen Šmidhuber u 1997.godini.  LSTM RNN izbegava problem nestajanja gradijenta i možemo da ga naučimo zadatke "Veoma Dubokog učenja" , koji zahtevaju pamćenje događaja koji su se dogodili pre hiljada intervala, što je važno za govor. LSTM je 2003.godine postao konkurentan sa tradicionalnim prepoznavanjem glasa na određenim zadacima. Kasnije je kombinovan sa STS na steku sa LSTM RNN. Google prepoznavanje govora je doživelo dramatičan rast u 2015.godini od 49% kroz STS obučen LSTM koji je sada dostupan preko Google Voice ka svim korisnicima pametnih telefona. .

Prema istraživanju, izraz "dubinsko učenje"  predstavlja zajednicu mašinskog učenja Rine Dekster iz 1986. godine i kasnije od Veštačke mreže neurona Igora Aizanberga i kolega u 2000.godini. Google Ngram - dijagram pokazuje da je korišćenje termina u upotrebi od 2000.godine. Publikacija Žofri Hinton i Ruslan S. privukla je dodatnu pažnju pokazujući koliko slojeva proaktivne-napredne mreže treba da budu efektivne pre obrade jednog sloja, istovremeno, tretirajući svaki sloj povremeno kao bez nadzora ograničena Boltzmann mašina, a onda fino podešavanje korišćenjem (nadgledanja suzbijanja širenja) Šmidhuber je 1992. godine već implementirao veoma sličnu ideju za nenadgledanu duboku hijerarhiju povratne neuronske mreže i takođe eksperimentalno pokazao njegove prednosti za ubrzavanje učenja(nadgledanog).

OOd ovog oživljavanja, duboko učenje je postalo deo mnogih state-of-the-art sistema u različitim disciplinama, naročito računarske vizije i automatsko prepoznavanje govora (ASR). Rezultati se obično koriste za ocenjivanje skupova kao što su TIMIT (ASR) i MNIST(obrađivanje slika), kao i širok opseg prepoznavanja reči i govora koji stalno napreduju sa novim aplikacijama dubokog učenja. nNedavno je pokazano da je arhitektura dubokog učenja u obliku CNN U svakom slučaju one se više koriste u računarskoj viziji nego u ASR, a moderna velika skala prepoznavanja govora se tipično odnosi na STS za LSTM.

Stvarni uticaj dubokog učenja u industriji počeo je ranih 2000tih. godina kada je CNN već počela da procenjuje 10% do 20% svih provera napisani u SAD ranih 2000tih. prema Jan Le Cun. Prepoznavanje govora u industriji počelo je oko 2010. godine. Krajem 2009. godine Li Deng je pozvao Žofrija Hintona da radi sa njim i kolegama u Microsoft Research i da primene duboko učenje za prepoznavanje govora. Oni su zajedno organizovali NIPS 2009.godine radionicu dubokog učenja za prepoznavanje govora. Radionica je bila motivisana ograničenim dubokim generativnim modelima govora i mogućnostima da su veliki računar kao i podaci zahtevali ozbiljnu neuronsku mrežu(DNN). Verovalo se da (DNN) koristi generativne modele mreže dubokog verovanja (DVN) i da bi mogli da prevazođu glavne poteškoće neuronske mreže sa kojima su se suočavali 1990tih. godina. U svakom slučaju, rano u ovom istraživanju u Microsoft, otkriveno je da bez obuke unapred, ali korivstivši veliku količinu podataka za obuku, a naročito (DNN), stvoren sa odgovarajućim velikim izlaznim slojevima, stvara grške znatno niže nego tada state-of-the-art GMM-HMM i takođe od naprednog generativnog zasnovanog modela sistema za prepoznavanje glasova. Ovo otrkiće je bilo potvrđeno od strane nekoliko grupa za prepoznavanje glasova. Dakle, sistem prepoznavanja grešaka stvoren od dva tipa sistema, bio je znatno drugačiji,  nudeći tehnički uvid u to kako integrisati duboko učenje u već postojeći efikasan sistem brzog određivanja glasa, koji su razvili glavni igrači u industriji prepoznavanja glasova. Istorija ovog značajnog razvoja u dubokom učenju je opisana i analizirana u nekoliko knjiga i članaka.

Razvoj hardvera je takođe bio važan u onogućavanju obnavljanja interesovanja za duboko učenje. Posebno, moćne grafičke procesorske jedinice(CPU) su dobro prilagođene za obrade brojeva, matrica/vektora- matematike uključenih u mašinsko učenje. GPU su pokazali da treba ubrzati algoritme u smislu veličine i tako skratiti vreme za rad.(smanjiti od nedelje do nekoliko dana).

Veštačke neuronske mreže

Neke od najuspešnijih metoda dubokog učenja uključuju veštačke mreže neurona. Veštačke neuronske mreže su inspirisane biološkim modelom koji su predložili Nobelovi lauerati David H. Hubel i Torsten Vizel 1959. godne koje je pronašao dve vrste ćelija u osnovnom vizuelnom kontektu: jednostavne i složene ćelije. Mnoge veštačke neuronske mreže mogu biti posmatrane kao kaskadni modeli vrsta ćelija inspirisane ovim biološkim posmatranjem.

Fukušimin Neokongrington uveo je skup mreže neurona delimično obučenih za rad bez ljudskog nadzora u neuro-ravni. Jan Le Cun i drugi 1989. godine primenjuju suzbijanje širenja na takve arhitekture. Veng i drugi su 1992 objavili Kresceptron skup* neuronske mreže za 3-D predmete na slikama sa prenatrpanim scenama i izdvajanje takvih predmeta sa slika.

Očigledna potreba za prepoznavanje opštih 3-D predmeta je najmanje pomeranje nepromenljivosti i tolerancije do deformacije. Max-pooling je prvi predložio Kresceptronu  da omogući mreži da toleriše od malih do velikih deformacija na hijerarhijski način, uz korišćenje skupa*. Max-pooling pomaže, ali ne garantuje pomeranje nepromenljivosti na nivou piksela.

Sa pojavom bekpropagejšn algoritma zasnovanog na automatskoj diferencijaciji, mnogi istraživači pokušavali su da obuče pod nadzorom duboku veštačku neuronsku mrežu od starta, u početku sa malo uspeha. Diplomski rad Sep Hohrajter iz 1991. godine formalno je pronašao razlog za ovaj neuspeh kao problem nedostatka pregiba, koji utiče na mnoge slojevite napredne mreže i periodične neuronske mreže. Periodične neuronske mreže su obučene tako da se odvijaju u veoma dubokim napredne mrežama, gde novi sloj nastaje za svaki vremenski interval od ulazne sekvence procesuirane u mreži. Greške nastaju od sloja do sloja, smanjuju se sa brojem slojeva i ometaju podešavanje težine neurona koja se zasniva na ovim greškama.

Nekoliko metoda je predloženo kako bi se prevazišao ovaj problem. Jedan je Jurgen Šmidhuber višeslojna hijerarhija mreža(1992) koja prethodno trenira jedan nivo u roku bez nadzornog učenja, fino podešavanje po bekpropagejšn algoritmu. Ovde svaki nivo uči kompresovano predstavljanje zapažanja koje se unosi u sledeći nivo.

Druga metoda je mreža duge-kratke memorije (LSTM) Hohrajter i Šmidhuber (1997). Duboke multidimenzionalne (LSTM) mreže osvojile su 2009. godine tri ICDAR takmičenja koja su povezana sa prepoznavanjem rukopisa, bez ikakvog prethodnog znanja o tri jezika.

Sven Benke se 2003.godine oslanjao samo na znak gradijenta koji je uočavao svoj Neural Abstraction Pyramid , da reši probleme kao što su rekonstrukcije slike i lokalizacija lica.

Druge metode takođe koriste bez nadzora pre-trening na strukturu neuronske mreže, čineći tako korisnim detektore funkcija. Onda je mreža dodatno obučena za nadzor bekpropagejšn za određivanje obeleženih podataka. Hintonov duboki model neuronske mreže(2006) uključuje učenje raspodele zastupljenosti na visokom nivou koristeći uzastopne slojeve binarnih ili stvarnih vrednosti latentnih varijabli. On koristi ograničeno Boltcmanove mašine za model za svaki novi sloj viših funkcija nivoa. Svaki novi sloj garantuje povećanje na niži log likelihood podataka, čime se poboljšava model, ako je ispravno obučen. Kada su slojevi jednom dovoljno naučeni, duboka arhitektura može se koristiti kao generativni model za reprodukovanje podataka kada se probaju probni podaci sa vrha aktivacije. Hintonovi modeli su efektivni preko visoko-dimenzionih, strukturnih podataka.

The Google Brain time vođen od Endrju Neg i Džef Din stvorili su mrežu neurona koja je nučila da prepoznaje koncepte na visokom nivou, kao što su mačke samo od slika preuzetih sa YouTube.

Ostale metode se oslanjaju na potpune procesorne snage modernih računara, naročito GPU. Dan Kirešan i kolege u grupi Jurgen Šmidhuber u Swiss AI Lab IDISIA, pokazali su da uprkos gore pomenutom "nastaje problem gradijenata", pretpostavljena snaga GPU čini plan back-propagation izvodljivim za duboku naprednu neuronsku mrežu sa mnogo slojeva. Ovaj metod je nadmašio sve otale tehnike mašinskog učenja, poznati MNIST problem ručnog pisanja cifara Jan Le Cun i kolega.

Otprilike u isto vreme, krajem 2009, mreža dubokog učenja napreduje u prepoznavanju govora, u okviru NIPS radionice Dubokog učenja i prepoznavanja govora. Stalni zajednički rad istraživača, između Majkrsofta i Univerziteta u Torontu, pokazali su do sredine 2010.godine, u Redmond, da duboke neuronske mreže povezane sa skrivenim Markovim modelom zavise od konteksta države*, koje određuje neuronsku mrežu izlaznog sloja, mogu drastično da smanje greške u prepoznavanju govora bogatog rečnika kao što je glasovna poruka. Isti duboki model mreže neurona je bio pokazan na sakali Switchboard, godinu dana kasnije u Microsoft Research Asia. Čak i ranije, 2007.gododine LSTM obučeni za STS počeli su da dobijaju odlične rezultate u određenim aplikacijama. Ovaj metod se sada široko koristi, na primer u Google, na visoko naprednom prepoznavanju govora za sve korisnike pametnih telefona.

Od 2011.godine u mreži dubokog učenja uvijenih slojeva i max-pooling slojeva, prekriveni su potpuno povezanim ili delimično povezanim slojem praćeni završnim slojem klasifikacije. Obuka se obično obavljala bez ikakvog nadzora pre-obuke. Do 2011.god. GPU-osnovne implementacije  ovog pristupa, osvojio je mnoga takmičenja uključujući IJCNN 2011, takmičenje prepoznavanja saobraćajnih znakova, ISBI 2012 Segmentiranje strukture neurona, takmičenje Competition, i druga.

Ovakve metode nadgledanog dubokog učenja takođe su bile prvi veštački primer prepoznavanja određenih zadataka.

Kako bi se prevazišle preprke slabe AI predstavljene dubokim učenjem, neophodno je zći iza arhitekture dubokog učenja, jer biološki mozak koristi i plitko i duboko kruženje i predstavlja široki sprektar nepromenljivosti. ANN su bili u mogućnosti da rade sa malim prirodnim predmetima u velikim prenatrpanim scenama samo kada se nepromenljivost javlja iza stalnosti, ka svim ANN-naučenim konceptima, kao što su položaj, vrsta, skala, svetlo.   

Arhitektura dubokih neuronskih mreža

Postoji veliki broj drugih oblika duboke arhitekture. Mnogi od njih su ogranak neke arhitekture. Nije uvek moguće porediti ih sve zajedno, jer nisu ocenjene sa istim podacima. Oblast dubokog učenja brzo raste, i nove arhitekture drugih oblika ili algoritama pojavljuju se svakih nekoliko nedelja.

Kratko o mreži dubokih neurona

Mreža dubokih neurona (DNN) je veštačka neuronska mreža (ANN) sa više skrivenih slojevnih jedinica između ulaznih i izlaznih slojeva.  Slično sa plitkim (ANN), (DNN) može imati složenu ne-lineranu vezu. (DNN) arhitektura, na pr. za otkrivanje predmeta i raščlanjivanje čine kompozicioni model gde je izražen objekat kao naslagana celina ranijih slika. Dodatni slojevi omogućavaju osobine kompozicije od nižih slojeva do viših, dodajući nekoliko složenih jedinica od sličnih koji su izvedeni u plitkoj mreži.

DNN su tipično stvorene kao feedforvard mreže, ali istraživanje je veoma uspešno primenilo periodične mreže neurona, naročito LSTM, za aplikacije kao što je jezičko modeliranje. Uvijene duboke neuronske mreže (CNN) se koriste kod računarskih vizija gde je njihov uspeh dokumentovan. CNN je takođe pokazao veliki uspeh u odnosu na prethodne modele kod automatskog prepoznavavanja glasova (ASR). Kako bi pojednostavili, prikaz obuke DNN je dat ovde. 

Metod obrnuto širenje greške

DNN može biti neograničeno trenirana sa standardnim algoritmima propagejšn. Prema različitim izvorima,osnova trajne propagejšn je bila izvedena iz konteksta teorije kontrole Henry J. Kelley 1960.godine i Arthur E. Bryson 1961.godine koristeći osnove dinamičkog programiranja. 1962, Stjuart Drejfus objavio je jednostavno poreklo zasnovano samo na pravilu lanca.  Artur E. Brajson i Ju-či Ho opisali su to kao viši stepen dinamičnog sistema metode optimizacije 1969.godine.1970, Sep Linaiman je konačno objavio opštu metodu za automatsku diferencijaciju (AD) posebno povezane mreže uvijenih diferencijabilnih funkcija. Ovo odgovara modernoj verziji propagejšn koja je stvarna čak i kada su mreže retke. Stjuart Drejfus 1973.god. je koristio propagejšn da prilagodi parametre upravljanja u odnoasu na greške gradijenta.. Pol Verbos je 1974.godine spomenuo mogućnost primene ovog načela na ANN, i 1982.godine on je primenio Linaiman AD metod na mreže neurona na način koji i danas ima široku upotrebu 1986, David E. Rumelhart, Žofri E. Hinton and Ronald J. Vilijams su pokazali kroz računarske eksperimene da ovaj metod može generisati korisne interne reprezentacije ulaznih podataka u skrivenim slojevima neuronske mreže. Erik A. Van je bio prvi koji je 1993. godine osvojio međunarodno priznanje na takmičenju prepoznavanja u okviru propagejšn.

Težina podataka propagejšn može biti urađena pomoću stochastic gradijenta spuštanja korišćenjem sledeće jednakosti:

$w_{ij}(t+1)=w_{ij}(t)+\eta {\frac {\partial C}{\partial w_{ij}}}$

Ovde, $\eta$ je stepen učenja, $C$ je vrednost. Izbor funkcije cena zavisi od faktora kao što su vrsta učenja(nadgledano, nenadgledano, pojačano...) i funkcije aktivacije. Na primer kada se izvodi nadlgedano učenje na problemu klasifikacije, zajednički izbori za funkcije aktivacije i učenja su: softmaks funkcije i cross entropy funkcije. Funkcije softmaks se određuje pomoću $p_{j}={\frac {\exp(x_{j})}{\sum _{k}\exp(x_{k})}}$ , gde $p_{j}$ predstavlja verovatnoću klase(izlaz jedinice $j$) a $x_{j}$ i $x_{k}$ predstavljaju potpuni ulaz do jedinica $j$ i $k$ istog nivoa. Kros entropi se određuje kao $C=-\sum _{j}d_{j}\log(p_{j})$ , gde $d_{j}$ predstavlja ciljanu verovatnoću za izlaznu jedinicu $j$ a $p_{j}$ je verovatnoća izlaza za $j$ posle primene funkcije aktivacije.

Ovo se može koristiti za izlazne objekte granične kutije u obliku maske. Oni se takođe koriste za multi-scale regresiju da povećaju preciznost lokalizacije. DNN može da nauči osobine za hvatanje geometrijskih informacije, pored toga što je dobar klasifikator. Oni pomeraju i njihove veze. Ovo nam pomaže da naučimo široku raznolikost predmeta. Model se sastoji od više slojeva, svaki od njih ima očišćenu linearnu jedinicu za ne linearnu transformaciju. Neki slojevi su uvijeni dok su ostali potpuno povezani. Svaki uvijeni sloj ima dodatni max pooling. Mreža je obučena da minimizira L2 grešku za predviđanje rangiranja maske preko celog trenutka sadržeći bounding boxes predstavljanje kao maske. 

Problemi sa dubokim neuronskim mrežama

Kao i sa ANN mnoga pitanja se mogu pojaviti sa DNN ako su neiskusno tretirani. Dva zajednička pitanja su treniranje i računanje vremena.

DNN su skloni treniranju zbog dodatnih slojeva abstrakcije koji im dozvoljavaju model koji je manje zavistan u odluci. Metodi regulacije kao što je Ivanenkov ili poremećena težina ($\ell _{2}$regularizacija) ili raštrkanost($\ell _{1}$-regularizacija), mogu biti dodati tokom obuke kako bi pomogli pre-obuci.

Skorija metoda regularizacije dodata na DNN je regularizacija ispadanja. U ispadanju, neki broj jedinica su slučajno izostavljene iz skrivenih slojeva tokom trening. Ovo pomaže da se probije retka zavisnost koja se može pojaviti u treningu podataka. Dominantni metod za treniranje ovih struktura je trening ispravljanja grešaka tokom kojih se javlja implementacija i namera da se približe boljoj lokalnoj optimizaciji od drugih metoda. Ove metode mogu biti skupe, naročito za DNN. Ima mnogo parametara koji mogu biti razmatrani sa DNN, kao što su veličina(broj slojeva i broj jedinica po sloju), stopa učenja i početna težina. Čišćenje kroz prostor parametara za optimalne parametre možda neće biti moguće i odnosu na cenu i izvore. Razni trikovi kao što su korišćenje mini-batching(izračunavanje nagiba na nekoliko primera treninga i jednom ređe nego individualni primeri) pokazali su brzinu u prebrojavanju. Veliki propusna moć kroz GPU proizvela je značajnu brzinu u treningu, zbog izračunavanja matrice i vektora koji su potrebni je pogodna za GPU. ,   

Prva mreža dubokog učenja iz 1965: GMDH

Prema istorijskim istraživanjima, prva funkcionalna mreža dubokog učenja sa mnogo slojeva, objavljena je od Ivanenka i V. G. Lape, 1965. godine. Algoritam za učenje zvao se Grupni metod čuvanja podataka ili GDMH. GDMH opisuje potpuno automatsko struktuiranje i parametarsku optimizaciju modela. Funkcije aktiviranje mrežnih čvorova su Kolmogorov-Gabor polinoma koji dozvoljavaju dopune i množenja. Ivanenkov rad opisuje učenje duboke feedforvard višeslojne percepcije sa 8 slojeva, već mnogo dublje nego mnoge kasnije mreže. Mreža nadgledanog učenja raste sloj po sloj, gde je svaki sloj treniran analizom regresija. S vremena na vreme beskorisni neuroni su pogođeni setom za validaciju, i smanjeni su kroz regularizaciju. Veličina i dubina rezultata mreže zavise od problema. Varijacije ove metode se i dalje koriste.

Uvijene neuronske mreže

CNN je postao metoda izbora za procesiranje vizuelnog i druga dva dimenzionalna podatka. SNN je sastavljena od jednog ili više uvijenih slojeva sa potpuno povezanim slojevima na vrhu. Naročito max-pooling se često koristio u Fukušima uvijenoj arhitekturi. Ova arhitektura dozvoljava CNN da uzme prednosti 2D strukture ulaznih podataka. U poređenju sa ostalim dubokim arhitekturama, uvijene neuronske mreže pokazale su bolje rezultate u prepoznavanju slika kao i u aplikaciji prepoznavanja govora. SNN su lakše za obuku od ostalih redovnih, dubokih, naprednih neuronskih mreža i imaju manje parametara da procesuiraju, čineći ih pogodnim za upotrebu.. 

Istorija neuronskog kompresora

Problem nastajanja gradijenta automatske diferencijacije u neuronskim mrežama je delimično savladan 1992.godine pomoću ranog generativnog modela zvanog Kompresor istorije neurona, implementiranog kao nenadgledane gomile povratne neuronske mreže (RNN). RNN na dovodnom nivou uči da predvidi njegovu sledeću aproksimaciju od prethodnog dovođenja. Samo nepredljive transmisije nekih RNN u hijerarhiji postaju dovodljivi do sledćeg nivao RNN koji, prema tome, retko ponovo izračunava svoje unutrašnje stanje. Svaki viši nivo RNN uči sažeto predstavljanje informacija u RNN istog. To je urađeno tako da sekvenca dovođenja može biti precizno rekonstruisana od sekvence predstavljača na najvišem nivou. Sistem uspešno minimizira dužinu opisa ili negativan logaritam verovatnoće podataka. Ako ima dosta učljive predvidljivosti u sekvencama dolazećih podataka, onda najviši nivo RNN može koristiti nadgledano učenje i da lako podeli čak i duboke sekvence za veoma kratko vreme između važnih događaja. Ovakav sistem je 1993.god. već rešio zadatak "Veoma dubokog učenjaĆ koji je zahtevao više od 1000 sledećih slojeva u jednom RNN, raširen u vremenu. 

Takođe je moguće pročitati celu RNN hijerarhiju u samo dva RNN, zvanu "conscious" čunker (viši nivo) i "subconscious" automatizer(niži nivo). Jednom je čunker naučio da predvidi i da kompresuje dovođenje koje je i dalje nepredvidljivo pomoću automatizera; automatizer je prinuđen u fazi sledećeg učenja da predvidi ili imitira kroz posebne dodatke jedininice skrivene jedinice sporije promenljivog čunker-a. Ovo olakšava automatizeru da uči pravilno, metko menja memoriju za duže vremenske intervale. Ovo olakšava automatizeru da učini jednom nepredvidljivu transmisiju predvidljivom kao što čunker može da se fokusira na podsećanje i dalje napredvidljivih događaja, da kompresuje podatke još više.

Povratne neuronske mreže

Povratne neuronske mreže su stvorene dodavanjem istog seta težina rekurzivno , preko različitih graph-like stukrura, pomoću poprečne stukture, u topološkom redu.  Ovakve mreže su takođe tipično obučene pomoću suprotnog modela automatske diferencijacije. Sam RNN je poseban slučaj rekurzivne neuronske mreže čija stuktura odgovara linearnom lancu. Rekurzivne neuronske mreže se koriste za obradu prirodnih jezika. RRekurzivne neuronske tensor mreže koriste tensor zasnovan na funkciji kompozicije za sve čvorove u stablu.

Dugotrajno pamćenje

Brojna istraživanja sada koriste druge oblike dubokog učenja RNN zvanog Dugotrajno pamćenje (LSTM), mrežu objavljenu od Hohrajter i Šmidhuber,1997.godine. To je sistem koji ne voli tradicionalni RNN i nema problema nastajanja gradijenta. LSTM je normalno povećan povratnim ulazima zvanim "zaboravljeni ulazi". LSTM RNN sprečava širenje backpropagation greške od nestajanja ili eksplodiranja. Umesto toga grške mogu da teku suprotno kroz neograničen broj virtualnih slojeva u LSTM RNN ne zadržavši se u prostoru. Tako da, LSTM može da nauči zadatke "Veoma dubokog učenja" koji zahtevaju pamćenje događaja koji su se dogodili hiljadama ili čak milionima godina pre. LSTM radi čak i kada ima dugih zadržavanja i može da zadrži signal koji ima pomenute niske i visoke komponente učestanosti. 

Danas, mnoge aplikacije koriste gomilu LSTM RNNi treniraju ih pomoću CTC  da pronađu RNN težinu matrice koja povećava verovatnoću određenih posledica u obučavanju, dajući odgovarajuće posledice dovođenja. CTC postiže i svrstavanje i prepoznavanje. 2009.godine CTC je obučavao LSTM i bio je prvi RNN koji je osvojio takmičenje u prepoznavanju obrasca, kada je osvojio nekoliko takmičenja u povezanom prepoznavanju rukopisa. Već 2003. godine LSTM je počeo da postaje kunkurentan sa tradicionalnim prepoznavanjem govora na određenim zadacima. Kombinacija sa STS je 2007.godine postigla prve dobre rezultate na povratinim podacima.. Od tada, ovaj pristup je preokrenuo revoluciju prepoznavanja govora. Kineski istraživački gigant Bajdaj koristio je 2014.godine CTC-trenirani RNN da nadmaši Switchboard 5'00 prepoznavanje govora bez korišćenja ni jedne tradicionalne metode. LSTM je takođe poboljšavao prepoznavanje govora, pretvaranje teksta u govor sinteza, takođe Google Android, i photo-real talking heads. Google's speech je 2015.godine doživeo skok od 49% kroz CTC trenirani RNN, koje je sad moguće kroz Google Voice ka milionima korisnika pametnih telefona..

LSTM je takođe postao veoma popularan u oblasti obrade prirodnih jezika. Za razliku od prethodnih modela, LSTM može da nauči da prepoznaje kontekstualni jezik. LSTM je poboljšao mašinsko preođenje, Jezik za modeliranje i jezik obradu. LSTM kombinovan sa uvijenim neuronskim mrežama CNN takođe je unapredio automatksi naslov slike i mnoge druge aplikacije.

Mreže dubokih uverenja

Ograničene Boltzmanove mašine (RBM) sa potpuno povezanim vidljivim i nevidljivim jedinica. Imajte na umu, da nema skrivenih-skrivenih ili vidljivih vidljivih veza.

Mreža dubokih uverenja (DBN) je probabilistički, generatorni model napravljen od višestrukih skrivenih jedinica. Može se smatrati da je to kompozicija modula jednostavnog učenja koje pravi svaki sloj.

DBN se može koristiti generativno pre treninga (DNN) korišćenjem DBN težina kao početnih DNN težina. Back-propagation ili drugi diskriminativni algoritami onda se mogu dodati finom podešavanju ovih težina. Ovo je naročito važno kada su ograničeni trenirani podaci mogući, jer oslabljena početna težina može značajno da omete preformanse naučenih modela. Ove pre-trening težine su u oblasti prostora tećine koji je bliži optimalnoj težini nego slučajnom odabiru početne težine. Ovo dozvoljava unapređenjenom modelingu kao i bržoj konvergenciji faze finog podešavanja.

DBN može biti efikasno treniran i u nenadgledanom treniranju, sloj po sloj načinu, gde su slojevi tipično napravljeni od ograničenih Bolcmanovih mašina (RBM). RBM je generativni model zasnovan na energiji sa "vidljivim" dolaznim slojem i skrivenim slojem i vezama između slojeva, ali ne bez slojeva. Ovaj metod za RBM predložio je Džordž Hiton za korišćenje treninga "Product of Expert", a modeli se nazivaju CD. CD omogućava aproksimaciju maksimuma sličnih metoda koje bi bile dodate za učenje težina RBM-a.U obuci jednog RBM, podaci tećine su izvedeni sa napredovanjem gradijenta u sledećoj jednakosti: $\Delta w_{ij}(t+1)=w_{ij}(t)+\eta {\frac {\partial \log(p(v))}{\partial w_{ij}}}$. Ovde, $p(v)$ je verovatnoća vidljivog vektora, koji je dat pomoću $p(v)={\frac {1}{Z}}\sum _{h}e^{-E(v,h)}$. $Z$ je podeljena funkcija korišćena za normalizaciju i $E(v,h)$  je funkcija energije namenjena stanju mreže. Pokazatelji niže energije mreže su u "poželjnoj" konfiguraciji. Gradijen ${\frac {\partial \log(p(v))}{\partial w_{ij}}}$ ima jednostavnu formu $\langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{model}}$ , gde $\langle \cdots \rangle _{p}$ predstavlja prosek u odnosu na distribuciju $p$. Ishod raste u uzorcima $\langle v_{i}h_{j}\rangle _{\text{model}}$ jer ovo zahteva naizmenično proticanje Gibbs uzorka duže vreme. SD zamenjuje ovaj korak pomoću Gibbs uzorka proticanja za $n$ koraka (vrednosti $n=1$ bili su empirijski prikazani). Posle $n$ koraka, podacu su isprobani, a taj uzorak je korišćen na mestu $\langle v_{i}h_{j}\rangle _{\text{model}}$.Procedura SD radi kai što sledi:

1. Inicijalizovati vidljive jedinice u vektor za obuku
2. Ažurirati skrivene jedinice paralelno sa vidljivim jedinicama $p(h_{j}=1\mid {\textbf {V}})=\sigma (b_{j}+\sum _{i}v_{i}w_{ij})$. $\sigma$ je sigmoida i $b_{j}$ teži ka $h_{j}$.
3. Ažurirati vidljive jedinice paralelno sa skrivenim jedinicama: $p(v_{i}=1\mid {\textbf {H}})=\sigma (a_{i}+\sum _{j}h_{j}w_{ij})$. $a_{i}$ teži ka $v_{i}$. To se zove "rekonstrukcijski" korak.
4. Ponovo Ažurirati skrivene jedinice paralelno sa obnovljenim vidljivim jedinicama korišćenjem iste jednakosti kao u koraku 2.
5. Izvesti ažurirane težine:$\Delta w_{ij}\propto \langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{reconstruction}}$.

Kada je jedan RBM treniran, drugi RBM je na vrhu steka, uzimajući svoj dovod iz konačnog već treniranog polja. Novi vidljivi sloj je upućen na trenirani vektor, a vrednosti jedinice u već treniranim slojevima su oderđeni korišćenjem toka težina i gradijenta(dijagonala). Novi RBM je onda treniran sa procedurom iznad. Ovaj ceo proces je ponovljen dok se neki željeni kriterijum zaustavljanja ne ispuni.

Iako je aproksimacija SD do maksimuma verovatnoće veoma sirova(SD je pokazao da ne praki gradijent bilo koje funkcije), empirijski je dokazano da je efikasan u obuci duboke arhitekture.

Uvijene mreže dubokog uverenja

Nedavno dostignuće u dubokoj mreži učenja je korišćenje uvijenih mreža dubokog učenja (CDBN). (CDBN) ima strukturu veoma sličnu uvijenim neuronskim mrežama i one su trenirane slično sa mrežama dubokog verovanja. One koriste 2D strukture slika, kao CNN, i koriste pre trening kao mreže dubokih neurona. One obezbeđuju generičku strukturu koja može biti iskorišćena kod mnogis slika i pojedinih zadataka. Skorija, mnogi benchmark rezultati kod standardnih slika kao CIFAR su dobijeni uz korišćenjem CDBN.

Čuvanje velike memorije i uspostavljanje neurnoske mreže

Čuvanje velike memorije i uspostavljanje neurnoske mreže LAMSTAR su brze neuronske mreže od mnogo slojeva, koji mogu da koriste mnoge filtere istovremeno. Ovi filteri mogu da budu nelinearni, stohastički, logički, nepomični ili čak neanalitički. Oni su biološki motivisano i kontinuirano učenje.

Neurnoska mreža (LAMSTAR) može poslužiti kao dinamična neuronska mreža u prostoru ili vremenu ili oboje. Njegova brzina je obezbeđena pomoću Hebian link-weights (Chapter 9, 2013), koji služi da integriše različite i obično drugačije filtere u mnogo slojeva i da podignu važnost različitih slojeva i funkcija datih zadataka za duboko učenje. Ovo grubo imitira biološko učenje koje integrira učinak različitih CPU(cochlea, retina, etc.) i kora (auditory, visual, etc.) i njihove različite oblasti. Njegova sposobnost dubokog učenja je da ne povećava korišćenje indukcije, korelacije i pomoću svoje sposobnosti da izađe na kraj sa nekompetentnim podacima ili "izgubljenim" neuronima ili slojevima na sredini zadatka. Potpuno je transparentno u odnosu na link weights. link weights takođe dozvoljavaju dinamičku određenost inovacija i suvišnosti i olakšavaju rangiranje slojeva, filtera ili individualnih neurona koji se odnose na zadatak.

LAMSTAR je dodavan mnogim medicinskim i finansijskim predviđačima, prilagodljivom filtriranju bučnog govora u nepoznatoj buci, prepoznavanju slika i videa,  bezbednosti softvera, prolagodljivoj kontroli ne linearnog sistema i drugi.  LAMSTAR ima mnogo veću računajuću brzinu i ponekad manje grešaka od uvijenih neuronskih mreža zasnovanim na ReLU funkciji i max pooling, u studiji prepoznavanja karaktera.

Ove applikacije pokazuju prodor u aspekte podataka koji su skriveni od plitkih mreža ili čak od ljudskih osećaja(oko, uho i dr.) kao i u slučajevima predviđanja sna, elektroradiograma fetusa dok se snima pomoću elektroda postavljenih na majčinom abdomenu rano u trudnoći, finasijskih predviđanja ili u slepom prečišćavanju bučnog govora.

LAMSTAR je bio predložen 1996.godine i dalje je razvijan od D Gruape i H Kordilevkog 1997-2002. Moderna verzija poznata kao LAMSTAR 2 razvijena je od N C Šnajdera i D. Gruape, 2008.godine.

Duboke Bolcmanove mašine

Duboka Bolcmanova mašina DBM je vrh binarnih parova Markovog slucajnog polja (neodređenog probabilitičkog grafičkog modela) sa višestrukim slojevima skrivenih slučajnih promenljivih. To je mreža simetrično uparenih stohastičkih binarnih jedinica. Ona sadrži set vidljivih jedinica ${\boldsymbol {\nu }}\in \{0,1\}^{D}$, i seriju slojeva skrivenih jedinica${\boldsymbol {h}}^{(1)}\in \{0,1\}^{F_{1}},{\boldsymbol {h}}^{(2)}\in \{0,1\}^{F_{2}},\ldots ,{\boldsymbol {h}}^{(L)}\in \{0,1\}^{F_{L}}$. Nema veze između jedinica istog sloja(kao RBM). Za DBM verovatnoća odeređena vektorom ν je

$p({\boldsymbol {\nu }})={\frac {1}{Z}}\sum _{h}e^{\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{(1)}+\sum _{jl}W_{jl}^{(2)}h_{j}^{(1)}h_{l}^{(2)}+\sum _{lm}W_{lm}^{(3)}h_{l}^{(2)}h_{m}^{(3)}},$

gde ${\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}$ su grupa skrivenih jedinica, a$\theta =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\}$su modeli parametara koji predstavljaju vidljivo-srivene i skriveno-skrivene interakcije. Ako.  ${\boldsymbol {W}}^{(2)}=0$ i ${\boldsymbol {W}}^{(3)}=0$  mreža je dobro ograničena Bolcmanovom mašinom Interakcije su simetrične jer su linkovi neodređeni. U suprotnom, u mreži dubokog verovanja DBN samo dva glavna sloja obrazuju ograničenu Bolcmanovu mašinu (koja je neodređeni grafički model),ali niži slojevi obrazuju direktni generativni model.

Kao DBN, DBM može nučiti složeno i apstraktno unutrašnje predstavljanje u zadatku kao što su objekti ili prepoznavanje glasa, korišćenjem ograničenih obeleženih podataka od fine-tune predstavljanja napravljenih korišćenjem velikih zaliha neobeleženih senzora ulaznih podataka. Za razliku od DBN i dubokih uvijenih neuronskih mreža, oni prihvataju zaključak i trening u oba pravca, od dna do vrha i od vrha do dna, što omogućava DBM da bolje predstavljanje dvosmislene i kompleksne strukture dovođenja.

U svakom slučaju brzina DBM ograničava njihovu funkcionalnost i izvođenje. Tačna maksimalna verovatnoća ulaza je neukrotiva za DBM, mi možemo izvesti maksimalnu verovatnoću udela otprilike. Druga mogućnost je koristiti prednje polje zaključka za istraživanje očekivanja korisnika zasnovanih na podacima, približno očekivani statistički model korišćenjem Markov chain Monte Carlo (MCMC). Ovaj približni zaključak, koji mora da bude uređen za svaki test dovođenja je oko 25 do 50 puta sporiji od jednog dno-vrh prolaza u DBM. Ovo čini vezu optimizacije neostvarljivom za velike podatke i ozbiljno ograničava korišćenje DBM za zadatke kao što su predstavljanje osobina.

Naslagani auto-enkoderi

Ideja auto enkodera je motivisana konceptom dobrog predstavljanja. Na primer, za klasifikatoe, dobro predstavljanje može biti definisano kao ono koje će proizvesti bolji klasifikator.

Enkoder je utvrđena kriptografija $f_{\theta }$ koja prenosi ulazni vektor x u skriveno predstavljanje y, gde $\theta =\{{\boldsymbol {W}},b\}$, ${\boldsymbol {W}}$ je matrica težine, a b je offset vektor(dijagonala). Mape dekodera vraćaju skriveno predstavljanje y na rekonstruisano dovoženje z preko $g_{\theta }$. Ceo proces auto enkodinga je da poredi ovo obnovljeno dovođenje sa orginalnim i da pokuša da smanji ovu grešku kao i da učini ovo obnavljanje vrednim što je više moguće bližim originalu.

U gomili napakovanih auto enkodera, delimično rastojanje učinka je očišćeno. Ovu ideju je predstavvio Vincent, 2010.god. sa posebnim pristupom dobrom predstavljanju. Dobro predstavljanje je ono koje se može postići snažno iz raspadnutog dovođenja i koje će biti korisno za oporavak odgovarajućeg čistog dovoda. Podrazumevaju se sledeće ideje:

• Viši nivoi predstavljanja su relativno stabili i čvrsti prema raspadanju dovođenja;
• Neophodno je pripremiti osobine koje su korisne za predstavljanje raspodele dovođenja.

Algoritam sadrži više koraka; počinju od stohističkog mapiranja ${\boldsymbol {x}}$ do ${\tilde {\boldsymbol {x}}}$ kroz $q_{D}({\tilde {\boldsymbol {x}}}|{\boldsymbol {x}})$,  ovo je korak raspadanja. Onda raspadnuti dovod ${\tilde {\boldsymbol {x}}}$ prolazi kroz osnovni proces auto enkodera i mapira je u skriveno predstavljanje ${\boldsymbol {y}}=f_{\theta }({\tilde {\boldsymbol {x}}})=s({\boldsymbol {W}}{\tilde {\boldsymbol {x}}}+b)$.Iz ovog skrivenog prestavljanja, mi možemo rekonstruisati ${\boldsymbol {z}}=g_{\theta }({\boldsymbol {y}})$. U poslednjoj fazi minimizirani algoritam protiče u cilju da dobije z što je moguće bliže do neprekidnosti dovoda ${\boldsymbol {x}}$. Greška rekonstrukcije $L_{H}({\boldsymbol {x}},{\boldsymbol {z}})$  može biti i gubitak cross-entropy sa afinim-sigmoidnim dekoderom, ili gubitak squared grške afinim dekoderom.

U cilju da naprave duboku arhitekturu, auto enkoderi se slažu jedan na drugog. Kada se jednom nauči funkcija enkodiranja $f_{\theta }$ prvog napakovanog auto enkodera i koriščenjem za narastanje mi možemo trenirati drugi nivo.

Kada je jednom treniran naslagani auto enkoder, njegov učinak može se koristiti kao dovod do nadgledanih algoritama učenja kao što je klasifikator podrške vektorska mašina ili više klasna logistička regresija.

Duboko složene mreže

Jedna duboka arhitektura zasnovana na hijerarhiji blokova pojednostavljenih modela neuronske mreže je duboko konveksna mreža predstavljena 2011.god. Ovde, problem učenja težine je formulisan kao konveksna optimizacija problema zatvorenim oblikom rešenja. Ova arhitektura se takođe zove duboka složena mreža DSN, koja naglašava mehanizam sličnosti od složene generalizacije. Svaki DSN blok je jednostavan modul kojeg je lako trenirati u nadgledanom obliku bez back-propagation za cene blokova.

Kako su dizajnirali Deng i Dong, svaki blok se sadrži od pojednsotavljenih višeslojnih percepcija (MPL) sa jednim skrivenim slojem. Skriveni sloj h ima logističke sigmoidne jedinice, i sloj učinka ima linearne jedinice. Veze između ovih slojeva su predstavljene pomoću matrica težine U; veze dovoda do skrivenog sloja imaju matricu težine W. Ciljani vektor t iz kolone matrice T, i podatak dovoda vektora x formira kolone matrice X. Matrica skrivenih jedinica je ${\boldsymbol {H}}=\sigma ({\boldsymbol {W}}^{T}{\boldsymbol {X}})$. Moduli su trenirani po redu, pa je težina nižeg nivao W poznata na svakom stepenu. Funkcija izvodi elemente- mudere logističke sigmoidne operacije. Svaki blok procenjuje isti finalni label vrste y i njegova procena je povezana sa orginalnim dovodom X da obrazuje razvijeni dovod za sledeći blok. Dovod prvog bloka sadrži samo orginalne podatke dok silazni dovod blokova takože imaju učinak prethodnih blokova. Onda matrica težine gornjeg sloja U datih drugih težina u reži može biti formulisan kao konveksni problem optimizacije:

$\min _{U^{T}}f=||{\boldsymbol {U}}^{T}{\boldsymbol {H}}-{\boldsymbol {T}}||_{F}^{2},$

koji ima rešenje zatvorenog oblika.

Dok kod drugih dubokih arhitektura, kao što je DBN, cilj nije da se otkrije predstavljanje transformisanih osobina. sastav hirerahije ove vrste arhitekture pravi otvorene pralalele kao što je batch-mode problem optimizacije. U jasnim različitim zadacima DSN se izvodi bolje od opšte poznatog DBN.

Tenzor duboke složene mreže

Ova arhitektura je rastezanje dubokih složenih mreža (DSN). Ona poboljšava DSN na dva važna načina: koristi informacije višeg reda od kovarijante statistike, i pretvara ne-konveksni problem niskog sloja u konveksni pod-problem višeg sloja. TDSN koristi kovarijante statistike podataka korišćenjem bilinarne kartografije iz svakog od dve jasne grupe skrivenih jedinica u istom sloju do predviđanja, do trećeg reda tenzora.

Dok se paralelizuju i skalabilizuju ne smatraju se ozbiljnim u opšte poznatoj DNN, sva učenja za DSN i TDSN se rade u grupnom modelu da bi dozvolili paralelizaciju na grupu CPU ili GPU čvorova. Paralelizacija dozvoljava skaliranje do dubljih arihtektura i grupa podataka.

Osnovna arihtektura je podesna za razne zadate kao što su klasifikacija i regresija.

Spike-and-slab RBM

Potreba za dubokim učenjem sa realanim brojevima, kao što je Gaussian ograničio Bolumanovim mašinama, motivisao je Spike – and- slab RBM čiji modeli sadrže vredne dovode sa strogo binarnim skrivenim varijabilima. Slično osnovnim RBM i njegovim varijacijama, Spike – and- slab RBM je bipartitivni graf, dok kao GRBM, vidljive jednice(dovod) su stvario(približio) ocenjenje. Razlika je u skrivenom sloju, gde svaka skrivena jednica ima binarnu spice varijablu i stvarno( približno) ocenjenje slab varijable. Spike je odvojena verovatnoća mase na nuli, dok je slab gustina preko trajnog domena; njihova mešavina formira "priror". Naziv dolazi iz statičke literature.

Rastojanje ssRBM zvano µ-ssRBM obezbeđuje dodatno modelirnje sposobnosti korišćenjem dodatnih termina u funkciji energije. Jedan od svih termina omogućava modelu da obrazuje uslovnu raspodelu spike varijabla pomoću marginalizovanog odliva slab varijabla datih u posmatranju.

Složeni modeli duboke hijerarhije

Složeni hijerarhijski duboki modeli sadrže duboke mreže sa bez parametrim Bayesian modelima. Osobine mogu biti naučene korišćenjem dubokih arhitektura kao što su DBN, DBM, duboki auto enkoderi, savitljive varijante, ssRBM, duboke kodirane mreže, DBN sa oskudnim osobinama, rekurzivne neurokosne mreže, uslovi DBN, de-noising auto enkoderi. Oni obezbeđuju dome i predstavheace, omogućavaju brže učenje i tačniju podelu sa visoko-dimenzioniranim podacijma. Ove arhitekture su siromašne kod učenja novih razreda(klasa) sa nekoliko primera, jer su sve jednice mreže uključene u predosavljaje dovoda ( podljenja predstavljaja) i moraju biti zajedno regulisanim ( visoki stepen sloboda). Ograničenje stepena slobode smanjuje broj parametra za učenje, olakšavajući učenje novih razreda iz novih primera. Hierarchical Bayesian modeli dovoljavaju učenje novih razreda iz novih primera, na primer za kompjutersku viziju, statistiku i kongnitivne nauke.

Cilj složenih HD arhitektura je da razvije karakteristike i HB i dubokih mreža. Složena HDP-DBM arhitektura, hijerarhisjski HDP kao hijerarhijski model, generalizovani(određeni) od apstraktivnih( kratkih) pojmova koji protiču kroz slojeve modela, koji može da sintetiše( synthesize) nove primere u novim razredima da izgledaju razumno prirodni. Svi nivoi se uče zajedeno pomoću masimalnog voda- verovatnoće rezultata.

U DBM sa tri skrivena slojeva, verovatnoća vidljivog dovoda ν je:

$p({\boldsymbol {\nu }},\psi )={\frac {1}{Z}}\sum _{h}e^{\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{jl}W_{jl}^{(2)}h_{j}^{1}h_{l}^{2}+\sum _{lm}W_{lm}^{(3)}h_{l}^{2}h_{m}^{3}},$

gde ${\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}$ zbir(set) skrivenih jednica i $\psi =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\}$ su modeli parametra, predstavljaju vidljivo-skrivene i skriveno simetrične interakcija termine.

Posle naučenog DBM modela, imamo jedan nedirektan model koji definiše zajednicu podeljenosti $P(\nu ,h^{1},h^{2},h^{3})$. Jedan način da se izrazi šta se naučiloje uslovni model $P(\nu ,h^{1},h^{2}|h^{3})$ i prethodni naziv $P(h^{3})$.

Ovde $P(\nu ,h^{1},h^{2}|h^{3})$ predstavlja uslovni DBM model koji može biti posmatran kao dvoslojni DBM ali sa dijagonalom datoj pomoću stava $h^{3}$:

$P(\nu ,h^{1},h^{2}|h^{3})={\frac {1}{Z(\psi ,h^{3})}}e^{\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{jl}W_{jl}^{(2)}h_{j}^{1}h_{l}^{2}+\sum _{lm}W_{lm}^{(3)}h_{l}^{2}h_{m}^{3}}.$

Mreže dubokog kodiranja

Postaje prednosti modela koji automotski mogu da ažuriraju iz objašnjenja u podatdku. Mreža dubokog kodiranja (DPCN) je šema predviđenog kodiranja gde je gore-dole informacija korišćena empirično za regulisanje prethodnih potreba sa dna- do vrha izvođenja procedure sa smislom duboke lokalne povećanosti generativnom modelu. Ovi redovi pomoću odlomka(dela) skudnih osobina iz ranijih posmatranja koriste linearni dinamični model. Onda, udruženja strategija je korišćena da se nauči invarijantno predstavohode osobinama. Ove jedinice žele da obrađuju duboku arhitektutu i trenianr su pomoću pohlepnih slojeva nenadgledanog učenja. Slojevi stvaraju vrstu lanca Markova isto kao što stanje na svakom sloju, samo zavisi od prehodnog i dolaznog sloja.

Duboko previđena kodiranja mreže (DPCN) Predviđena predstavljanje sloja, korišćenjem pristupa gore-dole i informacije u gornjem sloju i stalne zavisnosti iz prethodnih stanja.

DPCN može biti promirena da ibrazuje savitljivu mrežu.

Duboke q-mreže

Ovo je vrsta (klasa) dubokih modela učenja korišćenjem Q- učenja, vrsta (oblik) pojačanog učenja, iz Google Deep Mind. Treliminarni rezultati su bili prikazani 2014. God, sa radom objavljenim u Februaru 2015 In Nature. Aplikacija o kojoj se razgovaralo u ovom radu je ograničena na AFARI 2600 gaming, implikacije(podrazumevanje) za druge aplikacije su duboke.

Mreže sa odvojenim strukturama memorije

Integrisati spoljašnju memoriju sa veštačkim neuronanm mrežama potiče iz ranih istraživanja u raspodeli predstavljanja Teiko Horenove samo-ograničavanje mape. Npr. , u oskudno podenjenoj memoriji ili hijerarhijski privremenoj memoriji, uzrok šifrovan pomoću neuronskih mreža su korišćenjeni kao adrese za sadržaj-adresirane memorije, sa neuronima poslužene kao adrese šifrovane u dešifrovane. Rani kontrolori ovakvih memorija nisu bili drugačiji.

LSTM-povezane raznolike strukture memorije

Osim oblika termina duge-kratke memorije (LSTM), drugi pristupi od 1990 i 2000-tih god su takođe dodani različitoj memoriji do povratnih funkcija . Na primer:

• Različite push(guram) i pop akcije za mreže alternativne memorije zvane neuronske stack(složene) mašine
  
• Mreže memorije gde se spoljna kontrola mreže različita skladišnji je u brzoj težini druge mreže
• LSTM "zaboravljene kutije"
• Samo-referente povratne neuronske mreže(RNN) sa posebnim jedinicama učinka za adresiranje i brzo manipulisanje svake od RNN svoje težine je različitog oblika (unutrašnje skladištenje)
  
• Naučiti da redukuje sa neograničenom memorijom
  

Semantičko pretresanje

Pristupi koji direktno prikazuju predhodna iskustva i koriste stručna iskustva da obrađuju lokalni model se često zovu najbliži komisija ili k najbližih suseda. Skorije, duboko učenje je pokazalo da može da bude korisino u semantičkom pretresanju gde duboki grafički modeli vektori brojača reči dobijaju iz velikog broja dokumenata. Dokumenti slični sa dokumentima za žalbu, mogu se tada pronaći pomoću jedinstvenog pristupa ka svim adresama koje se razlikuju samo po nekoliko bita sa adresama dokumenata za žalbe (raspitivanje). Za razliku od raštrakane (retke) raspodele memorije koja radi sa 1000 – bit adresa, semantičko pretresanje – seckanje radi sa 32 ili 64 – bit adresa pronađenih u uobičajenoj kom. arhitekturi.

Neuronske Turing mašine

Neuronske Turing mašine, rarazvijene su od Google Deep , par LSTM mreža do spoljnoh izvora memorije koji mogu da utiču pomoću posebnih procesa. Kombinovani sistem je analogni do Turing mašine, ali je različit kraj–do-kraja; dozvoljavajući da bude efikasno precizan pomoću silaznog nagiba. Preliminarni rezultati pokazuju da Neuronske Turing mašine mogu dovesti do zaključka da jednostavni analogni kao isto su kopiranje, sortiranje i asocijalno povlačenje ( opoziv) iz primera ulaza i učinka.

Mreže pamćenja

Mreže pamćenja su drugi produžetak mreže neurona inkorporacije memorije long–term, koja je bila razvijena pomoću istraživačkog tima Fejsbuka. Memorija long–term može biti čitanje i pisanje sa ciljem korišćenja za predviđanje. Ovi modeli su dodati u upitnički sistem gde memorija long–term efektivno utiče kao (dinamička) baza a učinak je tekstualni odgovor.

Indikator(pokazivač) merža

Mreže dubokih neurona mogu biti poboljšane ( unapređenje ) ako dobiju dugme i imaju nekoliko parametara, dok održavaju ( čuvaju ) sposobnost pretraživača. Dok je drepčig naročito dubok(1 mil.–sloj–dubina) neuronske mreže možda neće biti izvodljive, SRU-kao arhitekturi kao što su uindukatori mreža i neuronski retki pristup mašinama razvijen od istraživača. Gugl Mozak da nadmaše ovo ograničene korišćenjem spolljašnjeg RAM-a(memorija) isti kao dodavanje drugih komponenti koji tipično pripadaju kompjuuterskoj arhitekturi kao što su registri ,ALU i pokazivači. Takvi sistemi rade na verovatnoći raspodele vektora sačuvanih u memorijskim ćelijama i registratorima. MOdel je potpuno različit i tretira kraj – do – kraja. Glavna karakteristika ovog modela je ta da njihova dubina, velikičina njihove katkotrajne memorije i broj parlametara mogu biti promenljive nezavisno – usprotno od modela kao što je LSM, čiji broj parlamenara raste četvorostruko sa velikim činom memorije.

Šifrovanje-dešifrovanje mreža

Okvir šifrovanja-dešifrovanja je okvir zasnovan na neuronskim mrežama koji želi da označi visoko struktuirani ulaz do visoko struktuiranog izlaza. To je skoro predloženo u objašnjenju mašinskog prevođenja gde su ulaz i izlaz napisane rečenice na dva prirodna jezika. U tom radu, LSTM povratne neuronske mreže (RNN) ili savitljiva neuronska mreža (CNN) su bile korišćene kao šifra za sumiranje izvora rečenice, a sumiranje je bilo dešifrovano korišćenjem uslovnog povratnog modela neuronske mreže jezika da proizvedu (omoguće) prevođenje. Svi ovi sistemi imaju iste izgrađene blokove: kapije (vratnice, ulazno kolo) RNN i CNN i treniranje mehaničke pažnje.

Ostale arhitekture

Višeslojna jezgrena mašina

Višeslojne jezgrene mašine  su način za učenje visoko nelinearnih funkcija pomoću ponovljene aplikacije slabih nelinearnih jezgra. Oni koriste osnovne komponente analize jezgra (KRSA) kao metodu za ne nadgledan pohlepni sloj, pre treninga koraka arhitekture dubokog učenja.

Sloj $l+1$-vi uči predstavljanje prethodnog sloja $l$ izvlačenjem $n_{l}$ osnovne komponente (RS) projekcionog sloja $l$ izlaza u području podstaknutom od jezgra. Za cilj (korist) dimenzioniranja smanjena ažuriranja predstavljanja u svakom sloju, nadgledana strategija je predložena da bi se izabrale najbolje osobine među osobinama izvičenim od KRSA. Proces je:

• Svrstati $n_{l}$ osobine prema njihovim uzajamnim(međusobnim) informacijama sa označenom grupom (klasom);
• Za različite vrednosti K i $m_{l}\in \{1,\ldots ,n_{l}\}$, izračunati stepen greške klasifikacije K-najbliži sused(K-NN) klasifikator korišćenjem samo m_l osobine najinformativnije u validnoj (potvrđenoj) grupi.
• vrednopst $m_{l}$ sa kojom je klasifikator dostigao najniži stepen greške, određujem broj osobina koje ćemo zadržati.

Bilo je nekih nezgoda u korišćenju KRSA metoda kao ćelije izgradnje MKM.

Najispravniji račun za korišćenje jezgrenih mašina za duboko učenje razvio je Majkrosoft istraživački tim za razumevanje govornog jezika. Glavna ideja je koristiti jezgrene mašine otprilike u plitkoj neuronskoj mreži sa beskrajnim brojem skrivenih jedinica, onda koristiti naslagu (gomilu) spajanje izlaza jezgrene mašine i ulaz u praćenju sledećeg, višeg nivoa jezgrenih mašina. Broj nivoa u dubokoj ispupčenoj mreži je hiper-parametar sveobuhvatnog sistema, biće određen ukrštenim potvrđivanjem.

Aplikacije

Automatsko prepoznavanje govora

Prepoznavanje govora doživelo je preokret pomoću dubokog učenja, naročito pomoću kratke-duge memorije (LSTM), povratne neuronske mreže objavljene od Sep Hohrajter / J. Š. 1997. godine LSTM RNN, oko problema nestanka nagiba mi možemo naučiti zadatke ,,Veoma dubokog učenja" koje uključuje govorne događaje odvojene pomoću hiljadu godina gde jedan vremenski korak odgovara 10ms. 2003. god. LSTM sa zaboravljenim kapijama postaje takmičarska sa tradicionalnim prepoznavačima govora na određenim zadacima. 2007. god. LSTM prepisana pomoću (STS) postigla je odlične rezultate u određenim aplikacijama, iako su kom. bili mnogo sporiji nego danas. Google je 2015 iznenada skoro duplirao veliku skalu prepoznavanja govora, kroz STS- trenir. LSTM, sada dostupnim svim korisnicima pametnih telefona.

Rezultati pokazani u tabeli ispod su za automatske prep. glasa na popularnim TIMIT podacima. Ovo je zajednički podatak korišćen za početno ocenjivanje arhitektura dubokog učenja. Ceo set sadrži 630 govornika iz 8 glavnih dijalekata Američkog Engleskog, gde svaki govornik čita 10 rečenica. Njegova mala veličina dozvoljava mnogim konfiguracijama da budu uspešno trenirane. Mnogo važnije je da TIMIT podrazumeva dosledno telefonsko prepoznavanje, koje u odnosu na prepoznavanje reči, dozvoljava veoma slabe „jezičke modele“ u slabost u aspektima akustičnog modeliranja prepoznavanja govora koji mogu biti lakše analizirani. Takve analize TIMIT – ja od Li Denga i kolega oko 2009. do 2010. Godine, razlikuju GMM (i ostale generativne modele govora) u odnosu na DNN modele, podstičući rana industrijska ulaganja u duboko učenje za prepoznavanje govora od malih do velikih skala,  vodeći do prožetu i dominantnu upotrebu u toj industriji. Te analize su bile urađene sa poređenjem (manje od 1,5% stepena greške) između različitih DNN i generativnih modela. Lista grešaka ispod, uključuje ove rane rezultate i merenja kao procenat stepena tel. greške (PER), sumirana su u proteklih 20 god.

Metod	PER (%)
Nasumično inicijalizovan RNN	26.1
Bajesova Triphone GMM-HMM	25.6
Model skrivene putanje	24.8
Monophone nasumično inicijalizovan DNN	23.4
Monophone DBN-DNN	22.4
Triphone GMM-HMM sa BMMI obukom	21.7
Monophone DBN-DNN na fbank	20.7
Uvijeni DNN	20.0
Uvijeni DNN sa heterogenim udruživanjem	18.7
Ensemble DNN/SNN/RNN	18.2
Dvosmerni LSTM	17.9

Industrijska istraživanja proširila su duboko učenje iz TIMIT do velikih rečnika prepoznavanja govora pomoću prihvatanja velikih izlaznih slojeva DNN zasnovanim na dopuni – zavisnog HMM stanja konstruisanog pomoću drva odluke. Iscrpni pregledi ovog razvoja su od Oktobra 2014. dostupni u skoroj "SPRINGER" knjizi iz Majkrosofta.  

Jedan osnovni princip dubokog učenja je obaviti ga izvan odluka ručnih – zanatskih osobina inženjeringa i koristiti druge osobine. Ovaj princip je prvi put uspešno istražen u arhitekturi dubokog autodešifrovana „row“ tektogramu linearnih osobina, pokazujući superiornost u odnosu na Mel – Cepstral osobine koje sadrže nekoliko stepena fiksirane transformacije iz spektograma. Istinite „row“ osobine (izgledi) govora, talasa, su skorije pokazane da proizvedu odlične rezultate u većoj skali prepoznavanja govora. :

Napredak (i dalja uputstva) mogu biti sumirani u 8 pravnih oblasti:

• scaling up/out – skala gore/izvan i brzina treniranja DNN i dešifrovanja;
• Doslednost (logičnost) diskriminativnog treniranja DNN;
• Osobine (odluke) izvedene pomoću dubokih modela sa solidnim razumevanjem nepodvučenih mehanizma;
• Prihvatanje DNN i povezanih dubokih modela;
• Višestruki zadatak i prenos učenja pomoću DNN, povezanih dubokih modela;
• Uvijene neuronske mreže i kako ih napraviti (dizajnirati) da najbolje iskoriste područje znanja govora;
• Povratne neuronske mreže i njihove bogate LSTM varijacije;
• Ostale vrste dubokih modela uključujući tensor – based modele i integrisani duboki generativni modeli.

Velika skala prepoznavanja govora je prvi i najpogodniji način dubokog učenja u skorijoj istoriji, koja obuhvata i industriju i nauku. Između 2010. i 2014. održane su dve velike konferencije IEE – ICASSP i Inetrspič, gde je viđeno veliko povećanje u broju prihvaćenih radova na temu dubokog učenja i prepoznavanja govora. .

Prepoznavanje slika

Zajedničko ocenivanje za klasifikaciu slika je MINST baza podatka. MINST je sastavljen od ručno pisanih cifara i sadrži 60.000 prepisanih/ obučenih primera i 10.000 tekapualnih primera. Kao i kod TIMIT, njegova mala veličina dozvoljava testiranje višestrukih konfiguracija. Isujrpla lista rezultata ove grupe (set) može biti pronađena. Trenutni najbolji rezultat MINST je stopa prepiske od 0,23 % postignuta od Kiresana 2012. godine.

Prema Le Cunu, rabe 2000-te god, u ind.aplikaciji CNN, već je obrađivao procenu svih od 10% do 20%, čekova napisanih u US ranih god (2000). Značajni dodarni udar dubokom urezu u prepoznavanju slika ili predmeta dogodio se 2011-2012 god. Iako je SNN obuhvata pomoću bekpropagejšn već decenijama, GPUS, na način Dan Kiresan i Kolega, bilo je potrebno napraviti ulegnuće udubljenje u komi i uterskoj viziji. Ovaj prilaput je 2011. god potpisao prvi put ljudsku izvedbu u vizuelnom obliku prepoznavanja, Takođe je 2011 osvojio ICDAR. Kinesko takmičenje u rukopisu; a u Maju 2012, osvojio je ISBI- takmičenje. Do 2011 god. CNN nije imao glavnu ulogu u konferenciji kompjuterske vizije, ali u Junu 2012. Rad Dena Cirecana i ostalih na vodećoj konferenciji CVPR pokazali su kako max-pooling CNNS na GPU može dramastično da poboljšaju mnoge oblike benchmark snimanja. Oktobra 2012.god slični sistem od Aleksa Križevski u stilu Ž.H. osvojio je takmičenje pomoću značajne margine preko plitkog metoda mašinskog učenja.. 

Kako se ambicija kreće od automatetog pret.govora prema automatskom prevodu i razumevanju, podela (klasifikacija) slika je skoro bila promirena na izazovniji zadatak-automatskog naslova slike, u kome je duboko učenje često kao kombinacija CNN i LSTM) bitna je osnovna tehnologija

Jedan primer aplikacije je kompijuter u automobilu koji je obučen sa dubokim urezom, koji može da onemogući automobile da tumače 360 stepeni izgleda. Drugi primer je tehnologija poznata kao Facial Ana (FDNA) korišćenje da analizira slučajeve ljudske naka znoapi povezane do velikih baza genteskog sindroma.

Proces prirodnog jezika

Neuronske mreže su korišćene za imprementaciju jezičkih modela od ranih 2000-tih god. Povratne neuronske mreže, naročito LSTM su više svojstveni za dosredne podatke kao što je jezik. LSTM je pomogao u poboljšanju mašinskog prevoda i jezičkog modelinta. LSTM kombinovan sa CNNS takođe je poboljšao (unapredio) automatski naslov slike i mnogo druge aplikacije..

Ostale ključne tehnike u ovom polju su negativni uzorci i umetanje (urezanje) reči. Umetanje reči, može biti posmatrano kao reprezentativni sloj u arhitekturi dubokog učenja koji pretvara jednu atomsku reč u poziciono predstavljanje reči, relativne u odnosu na ostale reči, položaj je predstavljen kao tačka u prostoru vektora. Korišćenjem umetanja reči kao ulazni sloj ka resursivnoj neuronskoj mreži, dozvoljavaju trening mreže ka delovima rečenicama u frazama koje koriste, efekat kompozicione vektorske gramatičke; ona može biti smatrana kao probabilistička dopuna slobodnoj gramatici (PCFG) implementiranoj pomoću rekurzivne neuronske mreže. Duboke neuronske arhitekture su postigle state-of-the-art- rezultate u mnogim zadacima prirodnog jezika kao što su uređenje delova rečenica,. analize mišljenja, poprvljanje informacija, razumevanje govornog jezika, mašinsko prevođenje, označavanje bitnog, i drugih.

Otkrivanje droge i toksikologija

Farmaceutska industrija suočava se sa problemom da veliki procenat kandidata koristi drogu kako bi stigli do tržišta. Ovaj nedostatak hemijskih sredstava je izazvan nedovoljnim delovanjem na biomolekularnom zadatku(efekat on target); neodređene i neželjene veze sa ostalim biomolekulima (off-target uticaj) ili nepredvidljiv toksični uticaj. Tim koji je vodio Džordž Dal je 2012. god. osvojio "Marek Molekural, čelendž" korišćenjem više zadataka duboke neuronske mreže da predvidi biomolekularnu metu od složenih.  Grupa S.H. je 2014. god. koristila Duboko učenje da otkrije off-target u toksičan uticaj hemikalija na okolinu u hranljivim, domaćim proizvodima i lekovima, osvojio je Data Challenge NIH, FDA i CNAST.Ovaj impresivni uspeh pokazao je da duboko ičenje može biti superiorno u odnosu na ostale virtuelne screening metode.  Istraživanja Gugla u Stanfordu pojačali su 48 duboko učenje za otkrivanje droge pomoću kombinacije podataka iz različitih izvora. Atomvajs je predstavio AtomNet 2015. god. Prvu neuronskui mrežu dubokog ureza, za strukture koje se odnose na drogu. AtomNet je mogao da predvidi kandidate za Nobelovu nagradu u oblasti biomolekula za nekoliko bolesti, najviše su isticali lečenje virusa ebole i multile skrerozu.

Odnos sa kupcima

Skoriji uspeh je bio prikazan sa aplikacijom dubokog pojačanog učenja u okviru direktnog marketinga, predstavljajući odgovarajućumetodu za CRM. Neuronska mreža je bila korišćena da približi vrednost mogućih akcija direktnog marketinga preko kupca, određenog u nazivu RFM varijabila. Procenjena vrednost dunkcije bila je prikazana, videli smo da ima prirodno objašnjene kao i na vrednost dužine života kupca.

Sistemi preporuke

Sistemi preporuke koristili su duboko učenje da izvuku značenje dubokih osobina za skrivene faktore preporuke zadovoljnog kupca za muziku. Skorije, uopšteno prvi put za učenje prednosti za više područja korišćenjem multivju – duboko učenje je bilo predstavljeno. Ovaj model koristi hibridne collaborative i pristaju zasnovani na sadržini i pojačanu preporuku u složenim zadacima.

Bioinformatika

Skoro je pristup dubokog učenja na auto enkoderima veštačke neuronske mreže, bio je korišćen u bioinformatici, da predvidi ontologiju gena i odnose genetskih funkcija

Teorije o ljudskom mozgu

Duboko učenje je tesno povezano sa vratom teorija o razvoju mozga(naročito nocortical razvoj) predložen od priznatih stručnjaka 90-tih god. Elman je pristupačan režim ovog rada, objavljen u knjizi "Rethinang Innateness" (vidi još: Shrager and Johnson; Quartz and Sejnowski).Kako su ove razvojne teorije bile takođe trenutno u prebojavanim modelima, one su tehnički prethodnik potpuno motivisanim modelima dubokog učenja. Ovi razvijeni modeli dele zanimljivu osobinu(svojinu) koju različito predložena dinamika učenja u mozgu konapirativno podržava samo organizaciju ili samo vratu međusobno povezanih neuronskih mreža iskorišćenih u kasnijim modelima dubokog učenja; takve prebrojane neuronske mreže izgledaju anologne na izgled nocortex mozga kao hijerarhija filtera u kojoj svaki sloj osvaja (hvata) neke od informacija u operativnoj okolini, i onda prolazi podsetnik, isto kao i modigikovan signal, do ostalih slojeva – dalje do hijerarhije. Ovaj proces proizvodi samo organizaciju gomilu transduktora, dobro podešenih sa njihovom okolinom. Kao što je upisano u The New York Times, 1995; "...mozak deteta izgleda da organizuje sebe pod uticajem talasa, zvanih trophic- faktora, različite oblasti mozga postasju povezane u nizu, sa jednim slojem tkiva zrelim pre drugog i tako dalje sve dok ceo mozak ne bude zreo"

Važnost dubokog učenja sa uvažavanjem na ocenjivanje i razvoj ljudske spoznaje, nije izmaklo pažnji ovih istraživača. Jedan od aspekta ljudskog razvoja koji nas razlikuje od najbližih komšija možda su promene u vremenu razvoja. Između ostalog, ljudski mozak ostaje relativno plastičan, sve do kasnog post-katalog perioda dok mozak naših najbližih rođaka je kompletiniji od rođenja. Pored toga, ljudi imaju bolji pristup i složenim sedativima priuštenim boravkom u svetu tokom perioda razvojamozga. Ovo će nas ometati do "tune in" do brze promene osobina okolina od drugih životinja. Ove promene se ogledaju u jednostavnim vremenskim promenama u talasima hipnoze korktikalnog razvoja, one takođe mogu da vode do promena u izvlačenju informacija iz podsticajne okoline tokom rane samoorganizacije mozga. Naravno, tokom ove fleksibilnosti dolazi jedan dugačak (produženi) period nezrelosti, tokom kojeg zavisimo od naših staratelja i društva i za podršku kao i za obuku. Teorija dubokog učenja, pored ostalog, vidi koevoluciju kulture i saznanja kao osnovno (fundamentalno) stanje ljudskog razvoja (evolucije)..

Komercijalne aktivnosti

Duboko učenje je često predstavljeno kao korak prema shvatalju jakih AL i mnoge organizacije su bile zainteresovane u njegovu upotrebu za narolčite aplikacije. U decembru '13 Fejsbuk je unajmio Jan Le Cun da vodi njihovu laboratoriju veštačke inteligencije (Al) koja je delovala u Kaliforniji, Londonu i Nju Jorku. Al laboratorija će razviti tehnike dubokog učenja kako bi pomogla fejsbuku da obavi zadatke kao što su automatsko tagovanje raznih slika sa imenima ljudi na njima. ejsbuk je 2014.god. takođe uposlio Vladimira Vapika, pravnog graditelja (osnovala) Vapnik-Červonenk rada statističkog učenja i jednog od osnivača metoda podrške mašina vektora.

U martu 2013. Godine, Google je uposlio Ž.Hintona, i dva njegova diplomca Aleks K. and Ajla S. Njihov posao je bio da se usredsrede na proizvode naprednog mašinskog učenja na Google i da pomognu rad sa rastućom količinom podataka koju Google ima. Google je takođe kupio Hintonovu kompaniju. – DNN istraživanja.

Google je takođe kupio Deep Mind Tehnologije, Britansku kompaniju koja razvija sistem sposoban da nauči kako da igra Atari video igre korišćenjem samo raw piksele kao ulazne podatke. Predstavili su, 2015 godine Alpha Go sistem koji je razvio jedan od dugotrajnih ,, velikih izazova“ od Al učenjem igre Go tako dobro da pobedi prodesionalnog Go igrača.

Takođe je 2014. godine Majkrsoft razvio centar The Deep Learning Technology u njegovu MSR diviziju, neverovatni stručnjaci dubokog učenja za aktivnosti fokusiranih aplikacija.

Bajdi je uposlio Endrju Neg. Da vodi njihov novi Silicon Valley – istraživanja koja se odnose na laboratorijsko fokusiranje dubokog učenja.

Blipar je 2015, prestavio novi mobilni sa povećanim stvarnim aplikacijama koje u pravo vreme (realno) prepoznaju objekte dubokog učenja..

Kritike i komentari

Dato daleko-dostupno učećše veštačke inteligencije povezuje se sa shvatanjem da je duboko učenje pokazalo kao jedno od njegovih najmoćnijih tehnika, predmet je razumljivo privlačan i kritici i komentarima i u nekim slučajevima izvan kom. nauke.

Glavna kritika dubokog učenja podrazumeva nedostatak teorije okruženja mnogih modela. Većina učenja u dubokoj arh. je samo neki oblik spuštanja nagiba. Dok je spuštanje nagiba shvaćeno skoro, teorija okruženja ostalih algoritama, kao što je suprotno neslaganje je manje jasno. Metode str. 52 dubokog učenja su često gledanje kao crna kutija, sa mnogim potvrdama urađenim empiražno nego teoretski.

Na duboko učenje bi trebalo da se gleda kao na korak ka shvatanju jakog Al , a ne kao na nametnuto rešenje. Pored snage metoda dubokog učenja, i dalje nedostaje funkcionalna potreba za realizaciju ovog cilja u potpunosti. Psiholog Dženi Markes je zabeležio da:

"Realistično, duboko učenje je samo deo većeg izazova građenja pametnih mašina. Takvim tehnikama nedostaju načini prestavljanja uzročnih odnosa, nemaju jasne načine prikazivanja logičnih zaključaka, i one su još uvek udaljene od integrisanja apstraktnog znanja, kao što su informacije o tome kakvi su to predmeti, čemu služe i kako se koriste. Najmoćniji Al sistemi, kao Watson (...) koriste tehnike kao duboko učenje kao samo jedan element u veoma komlikovanom ancamblu tehnika, od statističke Bejsonove tehnike zaključaka ( izvođenja) do odbijanja rasuđivanja."

Do stepena gde se takva gledišta prepliću, ne nameravajući, duboko učenje će konačno obrazovati ništa više nego do primitivne diskriminatorske nivoe svestranog shvatanja buduće mašine, skorašnje udruživanje razmišljanja u pogledu umetnosti i veštačke inteligencije ponudili su alternativni(izmenjen) i opširan izgled. Prvo takvo razmišljanje je to da bi možda bilo moguće obučiti gomilu mašinske pronicljivosti da izvede vešt zadatak diskriminacije izmeđju ,,old master“ i amatera, a drugi je da takva osećajnost može u stvari da prestavlja osnovu ne-neznačajne mašine empatije. Predloženo je da će takva mogućnost biti u liniji: sa antropologijom koja označava učešće sa istanganosti kao ključnog elementa savremenog načina rada.(e.g., in ).

U daljoj preporuci ideje da će značajan stepen umetničke osećajnosti možda biti prisutan bez povezanih (relativnih) nižih nivoa, gde će bioiloške ili digitalne srodne hijerarhije objaviti seriju seriju grafičkog predstavljanja unutrašnjeg stanja dubokih (20-30 slojeva) neuronskih mreža pokušavajući da se razlikuju bez bitnih slučajnih podataka slika na kojima su bili obučeni čini se da prikazuju upadljivu vizuelnu privlačnost u svemu izvanrednog nivoa javne pažnje koju je ovaj rad zarobio : originalno istraživanje je primilo više od 1.000 komentara, a članak u Gardsuanu je duže vreme bio najčešće posećivan na tom web-sajtu.

Neke današnje popularne i uspešne arhitekture dubokog učenja objavljuju određena problematična ponašanja, kao što je samopouzdano razvrstavanje slučajnih podataka koje pripadaju porodičnoj kategoriji ne slučajnih slika i ne određivanja minuskula narušavanjem rada tačno klasifikovanih slika. Stvaranju „Open hog“ , Ben Goertuen ,pretpostavljanja da su ova ponašanja izazvala ograničenjima u unutrašnjem predstavljanju naučena pomoću ovih arhitektura, i da bi ta ograničenja mogla da zaustave razvoj ovih arhitektura u heterogene sa više komponenti AGI arhitektura. Predloženo je da ovi zaključci mogu biti određeni pomoću razvijenih arhitektura dubokog učenja koje obrazuje stanje homologous/homologno – prema razlaganju slike – gramatike posmatrane bitnosti i događaja. Učenje gramatike (vizuelno ili lingvističko) od obučenih podataka biće ekvivalentno ( jednako) ograničenjima sistema do shvatanja zdravog razuma koje radi na stavovima i pravilima gramatičke i to je osnovni cilj kako ljudske jezičke tekovine tako i AL.

Vidi još

• Konekcionalizam
  

Spoljašnje veze

• Deep Learning Libraries by Language