0:00:19takle raz dva tři
0:00:20poďme se ztratit protože začínáme
0:00:23poslední přednášku a poslední přednášející igor szoke který se
0:00:28tady z zdena zbytku věnuje automatickému zpracování řeči a také
0:00:34a vedení polomech má také zkušenosti se start lety a jeho dnešní přednáška by měla
0:00:41být povzbuzení může nejenom to co vidí zákazníky důležité ale
0:00:46že
0:00:47skryté a inteligentní jádro je další služby má může dát o čem se říká another
0:00:54eden speech a to se konkurence a to se konkurenci bez nepodaří zkopírovat takže víte
0:01:00jiné igora
0:01:08tak dámy a pánové děkuji za sebe uvítání a
0:01:12začněme Š na začátek otázečku kolik svatby zvládlo okopírovat tuhletu stránku jak leží běží prostě
0:01:20skupin
0:01:21zase nahoru kdo to zvládne
0:01:24jo to nezvládne
0:01:27proč nezvládnete
0:01:33já nechcu kopírovat
0:01:34formulář tak
0:01:36toto vidíte
0:01:43ale já se tam ženy a žena říkala že to zkopíruje taky a to počítač
0:01:46moc nerozumí
0:01:48tak kolik vás hlavně okopírovat o to tak jak to leží běží
0:01:55dobré a kolik vazbami okopírovat toto tím ale že by to mělo fungovat tak že
0:02:01když tam napíšete takle něco rozumného
0:02:03tak vám to vrátí
0:02:05nějaké rozumné výsledky
0:02:08vy
0:02:10dobrý všechny
0:02:12můžete konkurovat budu
0:02:15nebo kolem a doby dotazu ve odpovědi
0:02:19tak
0:02:21bylo na začátek
0:02:24tím že
0:02:26vlastně sme tobě I ty době digitálních technologií
0:02:30tak vy pokud děláte nějakou webovou službu
0:02:34to co vidívali zákazník tak je nějaká kra krásná webová aplikace máte tam pěkné obrázky
0:02:40portován krásné texty odkopli Y true
0:02:43a dáváte vlastně zákazníkovi krásný stránek vo tom si dobře a nakupuje vaše služby
0:02:50máte jeden problém
0:02:52jak jsem říkal vlastně je to ustanou a jedniček a nuly a jedničky se velmi
0:02:56často
0:02:56a velmi dobře kopírují takže pokuď vaše služba je postavena pouze na té krásné stránce
0:03:03tak vám to kopíruje kdokoliv kdykoliv
0:03:05na toto téma mě vždycky když o tom přemýšlím napadne vlastně
0:03:10tracks webových serverů kdy tady byl první se pomát během já nevím roku dvou tady
0:03:15máme typicky možnost na stovky stavových serveru
0:03:18a troufám si tvrdit
0:03:21pro čistě tady tolika proč je taková konkurence je protože to složitost zatím krásný webem
0:03:28odpovídá si tak složitosti hřebíku
0:03:30na tom prostě nic není
0:03:32a to je ten problém potom vám to kdokoliv okopíruje
0:03:36takže
0:03:38to proč tady mám toto přednášku je abych vám jakým způsobem
0:03:42nastínil
0:03:44jak zařídit aby místo toho hřebíku tam bylo něco složitějšího něco to už vaše konkurence
0:03:51bude kopírovat news
0:03:53a to je právě vaše konferencích
0:03:58co bych té fabrice která se špatně kopíruje mohlo být
0:04:02ideálně nějaká černá krabička
0:04:04která by mohla zpracovávat nějaká data nebo něco
0:04:09co právě
0:04:10vlastně ta krabička která tady špatně zkopírovat
0:04:14představte si že máte službu
0:04:17tato služba
0:04:19vystavuje fotky
0:04:20jo máte prostě nějakou službu nebo nějaká videa pomáháte uživatelům je takový výstup rajče nebo
0:04:27pikasova máte spoustu uživatelských dat
0:04:30tato dat vlastně proudí vaší službou
0:04:33a uživatele tím ještě třeba něco dávají jo doba fotky a uživatel napíšou a tady
0:04:38je počká tady člověka tady není počkat opět se to a máte prostě kvanta těchto
0:04:44dat
0:04:45a
0:04:46co byste by mohli využít nešiď jenom krásnou webu a kluk teda v dokazovat fotky
0:04:51tak byste mohli těm uživatelům pomocí třeba taková typu
0:04:54to už je právě nějaká výhoda něco co je nic to ne každý dokáže okopírovat
0:05:00nějaký automaticky takže
0:05:03tato přednáška se bude věnovat
0:05:06neuronovým CC měl inteligenci protože ono vlastně celkově ta umělá inteligence nebo mi šílených je
0:05:12strašně široký pojem a bysme tady byly až do rána takže já se soustředím pouze
0:05:17na neuronové sítě zase to celkem jednoduše pochopit takže bysme to měli zase třičtvrtěhodinko a
0:05:23takže si představte že teďka v té krabičce máte nějakou nebo C
0:05:28a vy ji začnete ukazovat
0:05:32potkyna kterých je kočka
0:05:34a potkyna který člověk fotky na který se té sata sice to nějak učí
0:05:39a potom
0:05:40se jí zeptáte
0:05:42ukaž nějak vypadá teďka nebo ukaž nějak vypadá člověk
0:05:45já nevím jestli je to vidět co to je výstup toho pánové budu dělali nějaký
0:05:49experiment strávím čili neuronovou síť klasifikovat obrazu očku a vedle člověk já nevím jestli to
0:05:55vidíte že tam vidět N paterně si není tak trošku sem přitlačil na
0:06:00na kontrast
0:06:01že tam pořád vidět tak
0:06:04sem tomu ještě pomohl
0:06:06jo takže toto je třeba příklad jak vlastně nějaká nebo
0:06:10se dokáže na základě jenom hromady obrázku a nějaké informace tady počká tady člověk binární
0:06:16informace naučit jak vypadá kočka jakási vypadat čili
0:06:20myslím že to je celkem dobrá
0:06:23dobrá umělá inteligence
0:06:25tak pojďme na to
0:06:27co je
0:06:28umělá neuronová síť
0:06:30já to budu tady značit zkratkou no jako nebo network
0:06:34slaby slajdy mám angličtině už ani nevím prosím za často ručně ale
0:06:39prostě musíte smířit
0:06:41tak neuronová síť vlastně je to jakýsi matematický model který je inspirován by logickým neuronem
0:06:47se člověku má každý tady hlavě
0:06:51tak se jiří podívejme ty parametry biologický neuron vezmeme si nějak jo tak dlátka udělejme
0:06:55mu frontální obvod umíš změny mikroskop
0:06:58a to sou vidíme uvnitř tak je spousta takových to buněk
0:07:02a ty buňky jsou mezi sebou propojeny tady takovými chapadly v tom smyslu říkat sony
0:07:07a vlastně z těch ostatních neuronů vede ten a co na tady tomu se říká
0:07:11synapse ten a spojení vlastně na ty jednotlivé buňky
0:07:14jeden modelů takový celkem jednoduchý popisující jak to funguje mozku je že ta buňka dělá
0:07:20něco čemu by se dalo říkat integritním fajn to znamená
0:07:24tady chodí nějaké elektrické impulzy které sou realizované nějakým nějakou chemickou reakcí přídou toto neuronu
0:07:31až ten neuron a integruje nebo na sumuje nějaký množství nějaký těchto impulzu tak se
0:07:35rozhodně se rozhodne že vystřelí a pošle vlastně ten impulzy dál se po těch jejich
0:07:41sumec do dalších neuronů takle to tam běhá a nějak to funguje a vidíme slyšíme
0:07:46a máme radost vlastně
0:07:50tak matematický model
0:07:53matematický model je podobný
0:07:55je to
0:07:56jakási kulička do které vede
0:07:59jeden a více vstupu a má to jeden výstup sme
0:08:04počítačích to znamená je to všechno číslicové jo nástupy dáte nějaký čísílka a na výstupu
0:08:10vám to se kde čísílko takže si to představíte opravdu jako nějaký čti jakou číslicovou
0:08:14jedničku
0:08:15tak uvnitř toho neuronu
0:08:19je
0:08:21to není oko se sčítačka to je nějaká to integrate nějaká suma
0:08:26do které vedou ty jednotlivé vlastně vstupy
0:08:31de o problém může být v tom že každý ten vstup může mít jinou váhu
0:08:35ne množství informace takže dobrej něčím vynásobit vynásobíme nějakým váhami
0:08:40sečteme a teče důležité zařídit to file a to zařizujeme takže máme uvnitř něco čemu
0:08:47říkáme aktivační funkce
0:08:50těch funkcí je mnoho jedna z nich kterou vy klemy používáme se menuje sigmoida
0:08:57a vy vemete ten výstup
0:09:00té sčítačky strčíte to prosím o jdu a ona vám vrátí nějaké číslo to pošlete
0:09:04na výstup proč
0:09:06sigmoida vypadá takto
0:09:08vlastně od nuly do jedničky a tady nějaký přechod
0:09:15je ještě potřeba tu simoně jak naladit protože tam se může stát že vám na
0:09:20základě vstupu tady ta suma bude vracet hodnoty pořád třeba tady někde z mínus desítce
0:09:26potom by vám to neuron někdy nevystřelil takže se to neuronů ještě strčí speciální
0:09:33parametr kterému říkáme bias nebo nějaký posun který vám prosím o jdu jenom takle posune
0:09:37a naladí na tu optimální vlastně na tu optimální část sole si aby toto přes
0:09:42to
0:09:44tak to byl jeden neuron teďka to je vlastně neuronová síť neuronová síť nějaké zřetězení
0:09:49neuron toto je tam nejtriviálnější kterou si dokážete představit jeden vstup jeden výstup je to
0:09:53celkem k ničemu
0:09:55zajímavější to začne B když tam máme výstupu ani místu
0:09:59nebo můžeme dat víc výstupu
0:10:01a můžeme to takhle pěkně
0:10:03řetězit
0:10:04a ještě zajímá když to začne být když tam hezky přidáme další vrstvy
0:10:09takže potom dostáváme nějakou takovou strukturu tomu se mimochodem říká nebo on to každej tomu
0:10:14říkal nějaké nějak my tomu říkáme třívrstvá síť tady máme vstupní vrstvu nějakou skrytou vrstvu
0:10:19této zelená a pak máme nějakou výstupním
0:10:25výborně
0:10:27měli bysme vědět co je to neuronová síť se to neuron teď se podíváme jak
0:10:30na trénujeme jeden neuron
0:10:33velice triviální
0:10:37máme jeden neuron
0:10:39a připravme si nějaká data připravme si nějakou množinu
0:10:43se
0:10:44a množinu nulu
0:10:45X k a reprezentují méně jako v jedničkou na výstupu a
0:10:50nuly nebo očka reprezentujeme nulu takže potom to můžeme namalovat
0:10:56nějak takto
0:10:58osa i
0:10:59Y
0:11:00a my chceme poté síti to aby když tam strčíme
0:11:05jaký ten parametr X to znamená třeba tady máme hnedka to první iksko může být
0:11:09třeba jednička tak když tady bude jednička tak na výstupu chceme dostat jedničku
0:11:13a tak dále a tak dále a když tady bude třeba devítka tak na výstupu
0:11:16chceme dostat nulu protože očko odpovídá pole
0:11:21takže chceme nějaký jednoduchý triviální klasifikátoru tříd
0:11:25to co musíme udělat pro trénování je že
0:11:30vezmeme vstupní data proženeme je tou síti
0:11:34pak počítáme nějakou chybu opravíme parametry ste síti a
0:11:40tak dále a tak dále pokuď nám to leze do nějakého do nějakého tým
0:11:44jak začít
0:11:46začínáme tak že to síť většinou zastavíme ty parametry na nějaké náhodné hodnoty a ono
0:11:52se to prostě začne většinou to doleze vždycky do nějakého stejného zima
0:11:57takže vememe vstupní data proženeme síti dostaneme výstupy
0:12:01spočítáme chyby
0:12:04a chyby
0:12:06pro pak budeme zpátky
0:12:07matematicky vevnitř seděj něco čemu říkáme gradient descent já o tom tady nebudu mluvit protože
0:12:12tam spousta nějaký diferenciálu a myslím si zbytečné tady na barcampu
0:12:17důležité je že ten gradient nám říká vpodstatě
0:12:21jak ten parametr který jak který ten parametr máme posunout aby se nám vlastně zasít
0:12:26něco naučil
0:12:28jo vypadáte takovéto je podstatě nějaká ta kreditní funkce chyby a říká nám to find
0:12:33to ve jedna musíme zmenší jo takže když to bylo původně nula celá pět tak
0:12:38hledáme nula celá
0:12:40máme první teda si
0:12:42to
0:12:44jak sme přeurčený parametry dostaneme
0:12:47novou síť dostaneme nový výstup nové si zase upravíme gradient
0:12:53a tak dál
0:12:55dopravačka někam vede
0:12:59co se týká učení je to celkem důležité pokud byste si s tím chtěli někdy
0:13:02hrát tak jsou tam takové
0:13:06sítové některé
0:13:08za prvé to co vy můžete dělat je že vy můžete vzít a to po
0:13:11datu a po každém vlastně tom jednom taktu můžete tu síť přeučit updatovat váhy na
0:13:17to ten problém že vy podstatě budete brat iksko povídku tu si budete pořád učí
0:13:23na to aby dobře klasickou lánská pak přeskočit nenauč K bude they dobře trénovat
0:13:27na ty očka ona vám mezitím zapomenete X K takle po to bude lítat ze
0:13:31strany na stranu ani se neučí
0:13:34a
0:13:36tak
0:13:38takže můžete udělat to
0:13:40že zvednete všechny data na jednu hromadu
0:13:44uděláte formátu síti všech těch dat a je uděláte aby po všech datech to má
0:13:49zase tu nevýhodu že ta gradientní funkce vždycky stejná takže nemusíte dolízt můžete zůstat nějakém
0:13:54suboptimálním
0:13:56minimu a nemusí provést úplně na ten nejlepší na ten nejlepší výsledek takže
0:14:00praktická věc
0:14:02vstupní data zaprvé
0:14:04je dobré promíchat
0:14:06K kvůli tomu nymfu
0:14:08úplně náhodně a za druhé rozsekat na nějaké menší části a vždycky trénovat o těch
0:14:14menších častech a zapisovat
0:14:15ona potom tak radisty funkce je taková jakási skákavá ale máte větší šanci že touste
0:14:20nějakého
0:14:22nějaké opravdu jako
0:14:23globálního optima
0:14:25za druhé
0:14:26ten gradient sám o sobě to ostrý to znamená on se vždycky násobí nějakou konstantou
0:14:32říká se tomu learning kterej a nějakým způsobem ten learning rate nahradit naladit je taky
0:14:36taková trošku magie
0:14:38a
0:14:39pokuď byste o nenaladili tak zase vám ta si přitom trénování bude prostě takle skákat
0:14:44tom gradientu a budete trénovat potom nikam jako ne
0:14:47takže vždycky se tam
0:14:50ty ten gradient vlastně ten s něco posunu těch parametrů násobí nějakou konstantou
0:14:56třeba nula celá jedna pak
0:14:58to dopadne tak že pokud se vám pokud opře střelíte a ten learning kryty moc
0:15:05malý tak zase budete trénovat strašně dlouho protože vám to pole se pomaličku K
0:15:09takže
0:15:10musíte si s tím trošku pohrát
0:15:12jo ale pokud si stáhnete nějaký funkci nebo něco takovýho většinou je čase to používá
0:15:16tak nula celá jedna jo nějaká nějaký tady ten nějaký tady ten učící
0:15:21účesy parametr
0:15:24co dělá neuronová síť
0:15:30dva stopy jeden výstup
0:15:33je
0:15:34v podstatě
0:15:36binární klasifikátor který vám prostoru je schopen lineárně oddělit dvě nějaké třídy
0:15:43pokud na trénujete takovouto síť
0:15:46je to dostanete něco co vám takle oddělí křížky of koleč
0:15:50abyste si představili to vtom vlastně dělaj ty parametry ve jedna B dva ten bias
0:15:54tak
0:15:56ta sigmoida která tím neuronů vtom vede prostoru se tváří jako
0:16:00zraněnej plech
0:16:02jo představte si že máte plech který je rovině rovně toho plátna tady v téhleté
0:16:08líný vám vystupuje jako by na stopla to taková
0:16:12jo to je vlastně ta Y hodnota
0:16:15která leze na tom výstupu počet nula nebo jedna podle design
0:16:19ten zde jedna B dva vám rotuje
0:16:22to přímku
0:16:23takže to vám umístit tu přímku že mezi ty X K očka
0:16:28a ten bias vám jenom posunuje tu přímku vlastně po normále
0:16:32to toho dělá
0:16:34jeden neuron
0:16:35celkem triviální
0:16:37to se mi řekne
0:16:39no a o tom jak to začnete řetězy tak samozřejmě to komplikované se tam někdo
0:16:43nevyzná jo natrénujte síť a prostě tomu musíte věřit
0:16:47protože máte tam máte tam nevím sto tisíc neuronů a těžko říct co kteří dělat
0:16:52přes
0:16:54očí problém máme zase dvoudimenzionální prostor můžeme mít tři výstupy máme tři třídy
0:17:00pokuď to natrhneme takto tak každý výstup nám v podstatě říká je to ta třída
0:17:05nebo to není ta třída takže vždycky máme binární otázku
0:17:09jo Y dva nám odděluje kolečka zbytku Y při čtverečky bit
0:17:15pokuď tam trčíme takovou speciální transformaci nakonec které říkáme softmax
0:17:20koš je
0:17:21triviální vzoreček který vám říká jenom že
0:17:25každý ten listu musí být od nuly do jedničky osum a všechny vstupu musí být
0:17:29jedna takže to tak můžete reprezentovat jako pravděpodobnost
0:17:32tak dostanete toto
0:17:34ta síť vám potom klasifikuje tu do tří tříd podle toho té vlastně jednička tak
0:17:41říká která tisíc tříd
0:17:45teď máme už zapeklitější problém máme miliardy posici kovatelný pro
0:17:49problém takže máme sluch nějaký koleček a pole hromada křížku
0:17:55a my to nějakou přímkou my dokážeme sdělit
0:17:58jak na to
0:17:59na tohle už nám obyčejná taková dvouvrstvá síť nestačí
0:18:03musíme přidat vrstvu
0:18:05a ta vrstva navíc ta skryta dělá jakousi nelineární transformací těžko se to s tomletom
0:18:10jako představuje ale v podstatě tam lineární transformace vám ten dvě D X i X
0:18:15jedna X dva prostor nějakým způsobem celej zhorší vobrátí naruby tak že pak vy budete
0:18:21schopni ty příště polička oddělit nějakou lineární vlastně nějakou přímkou
0:18:26asi to nedokážu představit ale nejsou prostě ta si to takle dělat
0:18:31jo takže pak
0:18:32ona zvládne vám říct
0:18:34tady jsou kolečka
0:18:37tak podíváme se jak se dá trénovat
0:18:40v praxi neuronová síť
0:18:42připravil sem si takový krátký jenom by nikoho
0:18:47máme asi dva tisíce přisa budu máme dvě třídy modrou červená jednička a modrá dva
0:18:54a máme dvě neuronové sítě obě dvě jsou třívrstvé protože tady je vidíte máme nelineární
0:19:00klasifikaci ta horní má jen tři neurony ve skryté vrstvě ta spodních má třicet jenom
0:19:05abyste viděli ten rozdíl jako by se velikostí T C
0:19:09ve sítě adam
0:19:11tak
0:19:13s tím ne
0:19:16teďka to co tady vidíte tak to ty jednotlivé skoky je vždycky update jak je
0:19:22výstup té sítě po
0:19:25tom když pracujeme prvních nebo nějakých sto bodu celkem ste množiny dva tisíce tři sta
0:19:31to znáte nějakej ten řeč jak sem říkal je dobré ta vstupní data si ram
0:19:35tonizovat rozsekat na malé kousky jako těch malý kouskách trénovat
0:19:39jo tak ten jeden skoky jako by ten jeden řeč teďka se to zastavilo to
0:19:43znamená se pak konec jakoby epochy takže celé iterace a pouští se to
0:19:48celkem máme asi dvacet
0:19:50dvacet iterací pak
0:19:51skončí
0:19:54dobře se podívejte na toto méně houstičku která má tři neurony to co tady vidíte
0:19:59tady tyto unk i tak to sou jakoby projeví těch jednotlivých si moji
0:20:03protože tam máme tři neurony vevnitř tak celá ta celá ta síť vlastně celá ta
0:20:10funkce je po je spojením součtem třísek můj
0:20:15tady už je to mnohem horší protože tam mám sice neuronu takže to slepý třiceti
0:20:20takže tam se to špatně vidí a tady to krásný vidět
0:20:24co se tam vlastně se tam děje
0:20:28tady na tomto na tomto obrázku vidíte to bílé je jako by
0:20:33oblast kde ta neuronová síť říká jedničku takže říká že to je ta třída těch
0:20:37červených
0:20:38červených prvků jak vidíte se to krásně takže sloučilo tady se to naučil eště nic
0:20:43protože soma větší sílu ta síť ale
0:20:47je tam jedna nevýhoda
0:20:53tak takhle to dopadne to
0:20:55dvaceti epochách
0:20:58a vidíme zde
0:21:01jeden problém který neuronové sítě mají na který si musíte ta pozor pokud budete používat
0:21:09a neuronová síť se vám nepereme na datech který dáte na trénovacích datech a pokuď
0:21:14Í potom necháte klasifikovat data která jsou totálně mimo někde tady
0:21:20tak asi dva vrátím jako odpověď A úplně buřt že ty data životě neviděl
0:21:25a pokuď se přitom trénování stane něco takového že tady máte takový jakýsi vím jako
0:21:30by jste jedné si možný tak ona vám tady řekne jo to červenej prvek v
0:21:34pohodě
0:21:35ta červená
0:21:36jo ale ona by spíš jako by bylo dobré říct jako ne já jsem si
0:21:39to tak životě neviděla pozor na to
0:21:41jo většina modelu s tím nemá problém já jsem nebo vomastil obzvlášť snadnou fotky
0:21:47ty už na to nejsou tak
0:21:50tak
0:21:51poďme se podívat na nějaké praktické nasazení co se s tím dá se zdát neuronovým
0:21:56a s těma vykouzlit
0:21:58první příklad
0:21:59predikce burzy
0:22:02toto je výsledek diplomky jednom jo studenta a naším cílem tažení bylo z i
0:22:10časový vlastně data z burzy nějakého aktivován tím že to byl nějakej akciovej index tohle
0:22:16a na statoru neuronové sítě tu síť naučit aby nám do budoucna predikovala kudy bude
0:22:21strach
0:22:22a tudíž nejsme schopni na základě se predikce říct fajn teďka vstupujeme do trhu a
0:22:28budeme vydělávat peníze
0:22:31fungovalo to takže
0:22:33dycky pro nějaký konkrétní časový okamžik horizont
0:22:37se síti předložila nějaká historie a na základě nějakých X budu do budoucnosti třeba desetinnému
0:22:43se spočítá průměr a ten průměr se zdálo na výstup a ten se měl naučit
0:22:49takže potom když si dávala nějaká nová data tak ona vždycky řekla já si myslím
0:22:53že to bude nahoru třeba o deset sme bodů padesát
0:22:58přesněji se tam dělo něco takového takže tam týden vzal vlastně nějaké dvě
0:23:05historie a nějaké tedy indikátory myslím R esíčko nějaký mě řadič a tak dále ale
0:23:11celé to vlastně slepil do jednoho dlouhého vektoru to šest vstup
0:23:14a výstup ta síť měla jenom jeden neuron
0:23:18pak v praxi to fungovalo takže
0:23:22sítí se předhodil data to síti řekla fajn
0:23:26tento bude tady bude někde ten průměr řekněme
0:23:30měli jsme
0:23:32dva nějaké prahy a řekli sme
0:23:34fajn pokuď ten průměry jedna prahem tak stupujeme dlouhé pozice znamená spekuluje menu cestu pokud
0:23:41ten průměry apod
0:23:42tím spodním prahem tak den pro krátké pozice takže se to veme na pokles
0:23:48to bylo se to trhu a zase nechala se síť pracovat a pokuď
0:23:52tady pak už byl jedinej vlastní jiné prahy na výstup té pozice a zase probíhá
0:23:58podobné rozhodování pokuď nám vyskočil ten průměr nadtyp prahy a ten takže oproti nám tak
0:24:04se řeklo fajn skončíme výstupem S pozic
0:24:07výsledek dopadu nějak takto to znamená zase že to síť svedla
0:24:11vedla celkem dobře
0:24:14mimochodem kdyby jestli je tady někdo si to mě byl tohle zájem tak bych to
0:24:17chtěl letos zkusit nebo příští semestr zkusit rozšroubovat v rámci nějaké diplomky do obchodního systém
0:24:23jak to bude fungovat silná reálných
0:24:28prší neprší
0:24:31ten tam student
0:24:34dělal jako bakalářskou práci předpověď nedorazil
0:24:38opět
0:24:40za si neuronovou síť
0:24:41předhodili vpodstatě
0:24:43obrázky odezvy sme to radaru chtěl po ní vědět
0:24:47jestli bude třeba za tři cenu šest nebo za hodinu pršet
0:24:51teoreticky možná nějaká služba kde si řeknete fajn chci být informován hodin dopředu jestli přijde
0:24:58nějaký slejvák
0:25:01fungovalo to tak že pro nějaký konkrétní bylo třeba pro brno
0:25:06sme si vzali okolí
0:25:08ty body tak jak tady leží v tom čtverečku sme narovnali zase do nějakého vektoru
0:25:13přidali jsme několik historii to znamená mínus deset mínus dvacet třeba mínus čtyřicet
0:25:19minut
0:25:20a sme tu síť jestli prší neprší budoucnosti třeba plus mínus
0:25:25třeba do budoucnosti půl hodiny
0:25:28tak jak to dopadlo
0:25:31se stane při pustit
0:25:37tady máte skutečnost a odpovídá to jako by měli byste tam ideální ve všech těch
0:25:43trčka vidět to samé jak je to skutečnost jo s tím že se samozřejmě jednou
0:25:46predikce
0:26:08tak
0:26:10myslím že to nevypadáš tak až tak zle
0:26:12na to jak už
0:26:14byl takový nástřel v rámci bakalářské práce
0:26:21použití neuronových sítí řeči
0:26:24je můj obor
0:26:29tady bych chtěl spíš
0:26:31ukázat
0:26:32jednu
0:26:34možnosti a to je teďka ne jako by klasifikátor ale
0:26:39něco
0:26:40čemu říkáme
0:26:43příznaky potomek i
0:26:44podstatě o co de vito nelnou si nemusíte trénovat zřejmě třeba by výstup byly nějaké
0:26:50třídy ale vy můžete nechat zakomprimovat nějaký širší prostor že ten třeba nějaký vstupní obrázek
0:26:55nebo jaké jakákoliv data nevím máte nějakou webovou službu lezu vám tam nějaký ty cokoli
0:27:01chcete slově extrahovat třeba nějaký rozumný vektor čísel který potom budete chtít zpracovat nějakým klasifikátor
0:27:09k tomu právě slouží
0:27:11honem potomek to znamená když si uděláte síť nějakou velkou tady můžete mít klidně třeba
0:27:16tisíc skrytých neuronů a uvnitř té sítě můžete udělat úzké hrdlo které bude mít třeba
0:27:22třicet neuron nebo deset neuronů nebo nějaký malý malé množství
0:27:26a pokud se vám to podaří natrénovat best nějaké zásadní ztráty přesnosti takový potom dostáváte
0:27:33věcičku která vám sestupu což může být taky třeba vektor tisíc nějakých čísel
0:27:38za komprimuje tyto čísla z nějakého malého vektoru malého prostoru
0:27:44a
0:27:45to se potom a může hodit někdy dál jo to znamená vy víte že se
0:27:50redukovaly zásadně se redukovaly dimenzi to prostoru a přitom mám tam zůstala veškerá von
0:27:56pak
0:27:57ten zbytek se zatím potomek neseknete bere ten výstupy číslo sedum
0:28:04plus výhoda ještě jedna toho potomek u je že ten výstup je gaussovský si vám
0:28:10jestli vám to něco říká to znamená
0:28:12mají koráby jiné modely
0:28:16činu
0:28:22rozpoznávání řeči mimochodem teďka za nějak a konference celkem známá světová
0:28:29a google brutálním způsobem už asi rok dva roky tlačí právě neuronové sítě on tomu
0:28:35říká typ learning jsou to neuronové sítě které má třeba osum skrytých vrstev
0:28:40a tlačítko kde může uštvaná nasazuje to vlastně i ve všech řečových rozpoznávače pokud máte
0:28:47android a máte tam vše jakýchsi časy
0:28:50tak vtom by pravděpodobně už měli běžet rozpoznávače postavené na neuronových sítích oni vyhazují nějaké
0:28:56ty standardní dosovské modely které tam byly předtím protože to prostě funguje lída sto natrénovat
0:29:03známým datech a
0:29:04co s tím celkem spokojený
0:29:07takže
0:29:08takže i řek jako že právě tady tenhleten výslednici nulový sítě minimálně v nějakém kontextu
0:29:13pěti deseti let mají velkou
0:29:16velkou šanci
0:29:18zpátky řeči
0:29:20tady je problém ten že pokuď chcete vzít nějaké nahrávky z mikrofonu a přepsat je
0:29:25to písmenek tak pokud byste se snažili
0:29:28pracovat přímo takovýmto hrubym signálem
0:29:31tak máte problém ten klasifikátor někdy pořádně na trénujete protože
0:29:36stačí aby vám okolo korelu auto já jsem takle toho hlavou někam jinam ten projekt
0:29:41ten signál se vlastně úplně změní a
0:29:44na tohleto na takle barevný signál na trvat nějaký klasifikátory v když
0:29:49takže jak to udělat jenom zase pro představu
0:29:53potřebujete dělat nějakou transformaci to vstupů mi používáme nějaké spektrum toho spektra potom řežeme takovéto
0:30:00pro nějaký konkrétní část
0:30:02jo pokud tady znělo třeba písmenko a tak pro to áčko tadyhle vyřežeme nudličky toho
0:30:07spektra
0:30:08ty nudličky narovnáme na vstup neuronové sítě a jako výstup o tom trénujeme binární nějaké
0:30:17jedničky nuly jednotlivým písmenku takže pokud máme abecedu ale padesát písmenek nebo padesát nějaký fonému
0:30:23tak tady padesát výstupu a když to bylo áčko tak jedničku nastavíme volačka všude jinde
0:30:28nuly a začneme to trénovat musíme mít hromady dat
0:30:32a na trénujeme potom nějaký rozpoznávač pokud do toho pustíme
0:30:36ten
0:30:37nějaký neznámý nějakou řeč
0:30:40na nahrávku tak nám na výstupu vypadnout nějaká takováto pěkná matice a to
0:30:46kde ta síť jako
0:30:48vypálí řekne sem výstup jedničku tak to znamená že si myslím že tam je to
0:30:53tam je písmenko ten daný foném a pak stačí udělat triviální algoritmus který vám projde
0:30:58tuhletu matici a najde tu nejlepší cestu a pokud přečtete písmenka po té cestě tak
0:31:03vala máte přepis řeči máte něco co vám řeči udělá
0:31:10poslední příklad je
0:31:14modelování jazyka zná textu
0:31:19tady zase bych chtěl demonstrovat
0:31:22jinou jiný druh sítě a tomu se říká rekurentní neuronová síť nebo nemusí se zpětnou
0:31:27vazbu
0:31:28je to taky věc která se vám může
0:31:30třeba někdy hodit
0:31:31ty dosavadní měli tu vlastnost že
0:31:36kdy dopředné to znamená zase do toho tady nějaká data na vstupu a dostali ste
0:31:40nějaký výstup
0:31:42zatímco tahleta rekurentní síť na sobě zpětnou vazbu
0:31:45čímž pádem o nám najednou má jakousi paměť kdo to dáte nějaký takto
0:31:51to data tím proleze ale tím že tam máte zpětnou vazbu tak ona si pamatovala
0:31:55to takto když tam na ty další tak on už tam bude reagovat na základě
0:31:58toho co bylo třetí
0:32:00jak se to praxi děla nebo jak to děláme aspoň me je tak že
0:32:05máme tu
0:32:06a zkopírujeme při vlastně pro cestování toho vstupu zkopírujeme hodnoty C se skryté vrstvě a
0:32:13dáme jako další vstupní vektor a tím pádem se tady neustálému ta nějaká hromada čísel
0:32:20a ty slouží jako paměť
0:32:24tuto síť
0:32:26vlastně ten s tím letí modelem přišel od nás jedem jeden kuš
0:32:31hotový doktora který je momentálně toto okolnosti taky budu
0:32:35a učí je tam jak dělat
0:32:37dělat
0:32:38jak to jak dělat jazykové modely pomoci neuronových sítí
0:32:42u těch jazykových modeluje tipuji modely něco co vám říká jak třeba vypadá texte vypadá
0:32:46česká věta když si vemete novinový články a bude sám je ta dneska sem se
0:32:51měl dobře
0:32:53tak
0:32:54vám řekne když máme slovo dneska jsem se měl tak jaké slovo zatím asi následuje
0:33:00dobře špatně ale nebude tam si auto nebo autobus
0:33:05a
0:33:06pak to funguje tak že ty vstupy jednotlivé
0:33:09tady už nejsou nějaké hromady čísel ale spíše nominální zase nějaké parametry které vám říkají
0:33:14jaké sou slovo je jo takže když by bylo slovo ahoj jako první tak když
0:33:19ve větě ahoj tak se tady bude svítit jednička všude budou nuly a na výstupu
0:33:23zase je nějaký vektor který vám jenom binární říká to ukazuje do nějakého slovníku které
0:33:29slovo by měl následovat
0:33:31tak mám pro vás takový
0:33:33si se tomu říká turingův test
0:33:36budou následovat tři slajdy S větami
0:33:40a jedná se o anglické věci které pochází telefonních konverzaci
0:33:46takže to nejsou takové ty krásné články knižní řeč ale to trošku jako by reálná
0:33:52konverzační promluva a moje otázka zní byste pak
0:33:56průběhu hlasovali co si myslíte že pochází člověka to si myslíte že pocházím počítač
0:34:03přečtěte
0:34:15pro ku nahoru kdo si myslíte že toto řekl člověk
0:34:23při
0:34:27pořád ještě no já bych měl představu o si to množství
0:34:32jo
0:34:35tak další
0:34:54tak ruku nahoru kdo si myslíte že toto řekl
0:35:01dobře děkuji
0:35:03řekl bych to
0:35:04milá smí
0:35:06ta
0:35:07třetí
0:35:23tak teď prosím roku nahoru kdo si myslíte že toto řekl člověk
0:35:30i
0:35:33toto neřekl člověk
0:35:36toto řekla rekurentní neuronová síť
0:35:39byla přepnuta do modu generativní ho takže jo negenerovala věci
0:35:42toto řekl
0:35:44N grammovy jazykový model
0:35:46cože standardní věc která víceméně se určí pravděpodobnosti projít slov nebo dvojic
0:35:53takže ona podstatě zná je sou pravděpodobné jednotlivé trojce slova když to předmět generování tak
0:35:58ono vám naseká prostě ty trojice tak nějak jak sítový
0:36:02a toto je člověk a toto sou originální nahrávky jako nebo předpisy na kterých to
0:36:07bylo trénuj
0:36:08je to jádro to tak fifty možná
0:36:13možná tady vás bylo o chlup míň ale
0:36:16celkem se také se vám líbil
0:36:20tak finišuje
0:36:25kdybyste si měli něco
0:36:27zapamatovat k neuronových sítí tak
0:36:30je to věc která je dobrá zase nějaký klasifikátor nějaký model umělá inteligence která je
0:36:36dobrá pro učení s učitelem
0:36:38musíte mít data
0:36:40abyste tuletu věc naučili musíte mít data která mají nějaké leží musíte znát tu musíte
0:36:44znát místo
0:36:45jinak máte smůlu
0:36:48co se týká dat musíte mít data musíte mít hodně dat
0:36:52musíte mít kdej ta
0:36:54sem tady zaregistroval že to check dorazila vrazila mathworld kdy ta za tři roky všichni
0:36:59budu dělat kdy ta tak můžete si používat tady toto
0:37:04jo opravdu ono se to hodí musíte mít hodně dát pokud budete mít jako třicet
0:37:07vektoru tak s tím že musíme natrénujte musíte mít opravdu kvanta čili zda s tím
0:37:12let
0:37:13je to dobrá věcička pro klasifikaci nebo predikci nebo extrakci nějakých příznaků které potom dál
0:37:19budete s nima nějak pracovat
0:37:21prosím asi
0:37:24neuronová síť vám dokáže mapovat tu na výstup
0:37:28dokáže vlastně najít
0:37:30libovolnou funkci která cestovní
0:37:32za předpokladu že ta funkce existuje to znamená pokud máte data a ty data opravdu
0:37:36se dají svátek nějakou funkci ta neuronová sítích dokáže najít naučit
0:37:43pozor na
0:37:45je to taková čem na krabička
0:37:48a
0:37:49je taková lehce magická lehce náladová
0:37:51prostě budete trénovat bezvýrazně jakýma parametr má bude vám to fungovat tak něco změní ten
0:37:56bude vám to fungovat
0:37:57a se to trošku zkušenosti něco takového natrénovat nicméně pokuď máte nějaká taková data chcete
0:38:06zkusit si s tím pohrát access tím zkuste hrát já si myslím že určitě nic
0:38:10špatného neuděláte
0:38:12o vzorek sem říkal na nějaký outliers to znamená data která tasit životě neuvidí
0:38:18ona vám zcela bezelstně dál nějaký výstup a že byste si to
0:38:22musí existovat mapovací funkce
0:38:25musíte mít
0:38:27jak jsem říkal dostatek
0:38:30a poslední věc k trénování
0:38:33ta vstupní data jak sem říkal musíte je randomizovaného
0:38:37a co je ještě podstatné musíte rozdělit na trénovací a jakousi cross validační část
0:38:44na které bude se jenom testovat to může být klidně pouze desetina dat
0:38:47problém je vtom že pokud byste trénovali pouze vlastně na všech datech tedy budete vesele
0:38:53trénovat asi třeba bude vesele učí ale ona se vám na ty data při učí
0:38:58a potom když tomu dáte nějaká neviděla data tak únava podstatě fungovat nebude
0:39:02takže proto
0:39:04přitom trénování vždycky používejte jakoby na validaci té sítě nějaká mi viděná data a nic
0:39:09na tom ověšte jakási dobře funguje a momentě
0:39:13přitom trénování by se vám to zlomí a na těch neviděných datech ona se začne
0:39:16zhoršovat tak se zastavte a vy a víte že se vtom optimu té které se
0:39:21sítě dokážete
0:39:24tam domyslíte data
0:39:26na té řeči třeba bylo vidět že ne vždycky je vhodné do té sítě nahrnou
0:39:31vstupní data tak jak leží běží občas je potřeba trošku přemýšlet a něco s nima
0:39:36udělat
0:39:37a elementární nějakým způsobem třeba redukovat ten prostor
0:39:41tak aby ta si se měla čeho učitelovi to pak bude
0:39:47learning kterej
0:39:48obvykle standardní strategie změny toho učícího koeficientu je taková většinou to z nějakých testech bývá
0:39:55zašrouboval ano
0:39:56že během učení je konstantní a v nějaké vhodné momentě když už se to blíží
0:40:01k tomu optimu se ten faktor začne půlit ono díky tomu to dojít toto vede
0:40:06ještě dál ale to je taková věc navíc jenom kdybyste si potom chtěli účtů
0:40:10nějaké detaily
0:40:12pokud budete mít bitrate a tak budete muset řešit paralelizaci mimochodem gt ručka sou hodně
0:40:18dobrá natrénování neuronových sítí protože sou to s principu brutálně paralelní procesory takže se to
0:40:24tam se potom dá pěkně
0:40:27zpracovávat mě a na normální si trošku to co natrénujte třeba za měsíc tak že
0:40:32se účku zase záporný
0:40:35a poslední věc
0:40:37počet parametrů vlastně té sítě to jsou všechny ty konstanty nějaký tiba jestli active jedna
0:40:41B dva
0:40:43ku
0:40:44počtu skrytých vrstev ku vlastně počtu dat
0:40:47měli byste mít alespoň deset nějakých příznaku nějakých dat na jeden ten parametr ste sítích
0:40:53že budete mít síť která bude mít dohromady nějakých třeba deset tisíc parametru musíte místo
0:40:59tisíc nějakých trénovací vzorů a které musí naučit pokud tomu dáte šmída tak to sice
0:41:05vám potom bude špatně učit
0:41:09to jenom reference aby mě někdo ne na to že tady
0:41:13ukradl nějaké cizí věci
0:41:16a dávám prostor pro
0:41:19otázky
0:41:31no nebo já to fakt
0:41:43jak velká má být síť
0:41:49čím řeknu takhle čím větší tím lepší jo takže ono to víceméně plyne kolik máte
0:41:54dat
0:41:55jo pokud budete mít milión example u tak si klidně můžete dovolit udělat síť která
0:42:01bude mít suma sumárum třeba sto tisíc nebo deseti si
0:42:04deset tisíc parametrů když máte hodně dát uděláte malou C tak tím chybu neuděláte
0:42:09když budete mít málo dat uděláte velkou C tak chybu dělat
0:42:20kde mi na to když ji chci na něco naučí vím jako je k jaké
0:42:25mám ty vstupy naslyčenou či
0:42:28jak je to takový mám udělat aby nebyla schopna si to zapamatovat všechno
0:42:34eště to řeknu takhle
0:42:36měla by být alespoň třívrstvá to znamená měla by tam být právě ta jedna skrytá
0:42:40vrstva aby ona byla schopna udělat nelineární jako klasifikaci
0:42:44může tam být klidně čtyři vrstvy nebo víc ale
0:42:47závisí to na tom tyto ten výsledný potom to co máte mobil osum roste
0:42:52to už se souše zase problém to naučit protože ten error propagovat cesty všechny vrstvy
0:42:57není úplně triviální takže používejte normálně třívrstvou síť
0:43:01nebo čtyřvrstvou ale ta třívrstvá vám stačí
0:43:04tam to máte velice jednoduchý tu máte jasný protože máte vaše data výstup máte jasný
0:43:09protože máte vaše data tak budete jenom nafukovat o skrytou vrstvu
0:43:13mimochodem nějaké chytré hlavy dokázali že jakákoli
0:43:17tří a vícevrstvá síť se dá převíst nebo k ní by měl teoreticky existovat ekvivalent
0:43:23třívrstvé sítě
0:43:24jo samozřejmě praxi čili sprosté tím víc
0:43:28ale
0:43:29jo klidně začněte třívrstvou nebo čtyřvrstvou chybu neuděláte u těch dalších tam už to je
0:43:33trošku věda
0:43:40proč jsou geekovo minimum umělé inteligence zrovna neuronové sítě
0:43:47proč ne
0:43:49ne to jako
0:43:51přišlo mně to jako věc která se dá celkem
0:43:54snad pochopit
0:43:55těch modelu té umělé inteligence můžete mít hromadu
0:43:58ale nechtěl jsem tady popisovat jako dva nějakej staré algoritmy a říkat tom umělá inteligence
0:44:03je to věc která si myslím že má budoucnost zcela určitě
0:44:07a není to úplně složité tohleto
0:44:10jakým způsobem si nějak jako doma postavit nějakou takovou ty
0:44:14takovýto klasifikátor
0:44:18no a máme tři čtvrtě hodiny
0:44:22nevím jestli ste pokoje odpovědí
0:44:26já jsem se chtěl zeptat jestli ty příklady které ste tady uváděl že se to
0:44:31pouze ve fázi nějaký studentských projektu nemesis to vznikly nějaké produkty třeba komerční případně jestli
0:44:38víte o nějakém tak ten produktu
0:44:40na kterých se ten neuronové sítě jako opravdu pěkně hodí pěkně popisují ten problém je
0:44:45to pro ten pro to typicky příkladem nasadit
0:44:50produt neuronové sítě produktu je bych řek
0:44:53dnešní době možná
0:44:55ne většina letos věci co dělat byl i výčapy tyhlety věci prostě úměrná opravdu tlačí
0:45:02a hodně
0:45:03a co se týká těch příkladu tak dash skončilo jako by jako diplomka taky jsme
0:45:10si říkali že bysme mohli na tím postavit nějakou službu ale více méně skončilo to
0:45:14bodě natrhneme síť ukázalo se že to funguje
0:45:17burza to samé a létám sem celkem rád bych jako to zkusil potlačit dál a
0:45:23minimálně rozšroubovat o nějaké platformy opět tak to není problém není problém tohle potlačit
0:45:29co se týká řeči tak mám evuš deset let tady skupinu lázně že sme
0:45:35mezi světovou špičkou
0:45:37takže tam to funguje praxi a ty jazykové modely opět
0:45:40funguje to praxi
0:45:42jo takže jsou to opravdu praktické věci
0:45:44minimální ty dva posledního
0:45:46jo děkuji
0:45:48tím říká zeptáte jaký software můžeme použít pro simulaci i predikce neuronových sítí
0:45:55to je velmi dobrá otázka nejdřív sem říkal že bych tady něco o tu řekl
0:46:00ale
0:46:02takle ano
0:46:05nejsem si nebo nevím o tom že by byl nějaký dobrý univerzální jednoduše pochopitelný toolkit
0:46:11určitě něco takového je v matlabu eventuelně oktávky si vám to něco říkala
0:46:17jinak vona ta neuronová síť ve své podstatě když to trénujete tak je to jakási
0:46:21hromada maticových operací
0:46:24jo na tom není nic
0:46:25složitého to prostě jenom nějaké si vzorečky
0:46:28sou nějaké tu ty týmy třeba používáme týnec nebo kauzy nebo něco takového
0:46:35ale oni jsou zaměřeny na řeč to znamená vy pokud byste do toho chtěli dávat
0:46:40data třeba nějaký strhu nebo něco takového
0:46:43tak
0:46:44ty naše toolkity baští na vstupu nějaká speciální binární formát a chtěj nějaký speciální textový
0:46:50formát na výstupu a provazy to byla komplikace proto jsem to tady ne uváděl protože
0:46:55vy byste zbytečně byly matení s toho jak to máte použít jo ale
0:46:59ne není problém když tam je napište klidně mail a já vám řeknu já mám
0:47:03posuvů broučka jako kde si můžete s tím pohrát natrénovat titulky ty jsou pohodě izáček
0:47:08pustíte dáte tomu dotázat premise síť
0:47:13já bych se rád zeptal když ste ukazoval to si čtou pamětí tak
0:47:19i data jako by kterého kterýma se to učí tak
0:47:23jakým způsobem je pro vás hat přitom testová nějak správně zvolit to jejich pořadí aby
0:47:29se ta C jako by lépe učila popřípadě
0:47:32čím se odhalí že mám správné nebo nemám správné pořadí těch
0:47:37těch dat strana otázka v té rekurentní sítě randomize teda to
0:47:43a to na to zapomněl říct u té rekurentní sítě data ne randomize se protože
0:47:46ten důvod byste si přeházeli slova ste větě
0:47:49jo takže tam vezmete celou větu a učit se to normálně na celých na celých
0:47:53že ta jo pokud potřebujete zachovat ten historický kontext vlastně té zpětné smyčce pokud nemáte
0:47:59zpětnou smyčku naopak randomize jo musíte to zamíchat aby
0:48:04při každým to má bejt u těch jednotlivých parametrů nasycené přerušovala pořád jako by z
0:48:10je z jedné třídy na druhou a potom sem tam
0:48:14díky
0:48:16eště byla nějaká ta vlastně i dotaz eště
0:48:21že někdo bych to řekl
0:48:26tak jestli to je všecko tak vám čem mockrát děkuji
0:48:30děkuji vzorový hrozná s tím