Přepis řeči - ZRE - přednáška 10.

0:00:07	_e pánové
0:00:08	značně prořídly tady venku jsou to bylo takže díky všem kteří se nezastavili do dobré
0:00:14	nějaká organizace _e tento týden teďka nevím jestli se má mnoho čtvrtek no pátek v
0:00:19	noci je odevzdání projektů jedničky
0:00:22	_e příští týden se bijou
0:00:25	děvčata takže přednáška není
0:00:28	za dva týdny mám poslední přednášku proteosyntéze pokusil jsem se dost sem dostat _e tetra
0:00:34	horáka troše syntezačních budu český ale bohužel má nějakou akci kde musí být
0:00:40	takže _e to zvládneme vlastními silami a buď starýho syntéze bude vykládat igor szoke
0:00:46	který se docela syntéze omočil
0:00:49	a nebo _e nebo já
0:00:53	_m prosím vás poté poslední přednášce
0:00:56	bude následovat cirka hodinového dvouhodinové numerické cvičení které plánované programu tady tohodle kurzu ahoj zdeňku
0:01:05	takže nevím jestli _e tady tuším probíhá nějaká matematika možná že se budu muset přesunout
0:01:11	vedle
0:01:12	ale počítejte s tím že pouze poslední přednášce budeme mít jakou noční se vším
0:01:16	jo že se ještě uděláme nějaké příkládky na L P C
0:01:20	zde do to byl
0:01:22	arménka
0:01:24	pokusím se to dostatek o do doby kratší než dvě hodiny ale vono je tam
0:01:28	toho zase hodně a ty příkládky chci abys vám prošli rukama takže prosím příprava je
0:01:34	tady se do sebe papír tužku a možná kalkulačku a tečna hodnot počítat hlavy
0:01:40	tak _e
0:01:43	toto bylo
0:01:45	organizaci vaše k těm velikonoc i mě napadlo že pokud máte v týmu nějaké lidi
0:01:49	v zahraničí a vzletem vysvětlovat že příští týden vidí lidi jak na ulici dvě holky
0:01:54	a vodpoledne sou všichni strašně vožraný tak máme vlastně v našem týmu teďka jednoho
0:01:59	lukáš který je svírá nula druhých tries indie možná že tady nebo jako potkáváte po
0:02:03	fakultě tak těmi upřímně zděšení text nemuseli dlouho vysvětlovat li budete příští pondělí
0:02:10	tak _e
0:02:12	poďme _e zpátky prosím vás gamem kam
0:02:15	minule jsme si _e říkali že se pokusíme natrénovat nějaké parametry modelu
0:02:23	a že vlastně _e taková základní záležitost k natrénování parametrů modelu
0:02:31	bude jakási pravděpodobnost
0:02:34	že jsme
0:02:36	vod začátku času čas probíhá takhle
0:02:40	stavy modelu sou prostě nějaké a že sme od začátku modelu někde
0:02:47	to znamená že si to cesta může probíhat celkem kde chce
0:02:51	_e
0:02:52	čase ste se nacházím ve stavu je toho modelu
0:02:57	a potom sem zase někde jinde
0:03:01	kdekoli
0:03:02	jo a řekli sme si že _e vlastně budeme chtít vypočítat pravděpodobnost
0:03:07	že se s _e které
0:03:11	jsou tady někde
0:03:13	teďka ovšem probíhají v tomto čase tady tímhle tím stavem a pak se nám zase
0:03:17	rozběhne a pak sem _e pak sem někde jinde já nebudeme chtít vypočítat tady tuhletu
0:03:22	pravděpodobnost která bude děsně důležitá
0:03:25	protože tady touto pravděpodobností potom budeme váhou what
0:03:31	ten vstupní vektor který se nachází v tomto čase a bude vlastně váhovací jeho příspěvek
0:03:37	ke trénování jednotlivým stavům jo to že prostě máme nějakou hodnotu
0:03:42	a teďka zkusit finta nula celá devadesát devět i rozhodíme tomuhle stavu a nula celá
0:03:46	nula jedna tomu druhýmu stavu a tím ostatní dostanu ale s každým případě to prostě
0:03:52	bude vektor váhovací _e srovnávací sme si ty
0:03:56	tak _e minule jsme tak jako naťukej jak tady tuhletu pravděpodobnost _e budeme počítat
0:04:01	bude to vlastně _e
0:04:04	suma
0:04:05	věrohodností nebo likelihoodů všech cest který nám to hádanku může vydat C pro všechny cesty
0:04:12	který jsou tady někde který probíhají tady tímto stavem v tomto čase a tady vlastně
0:04:17	zase se nám to rozběhne a bude to suma všech se který jsou někde jinde
0:04:21	_e abychom S kázali dostat nějakou pěknou numerickou hodnotu která by tady toto ohodnotil a
0:04:27	ale neměli bysme naprosto zaručený že tady toto hodnota bude slušná
0:04:32	pravděpodobná
0:04:33	aby to slušná pravděpodobnost byla tak už víte že když máte hodnotu tady a eště
0:04:39	tady access toho udělat _e slušný pravděpodobnosti tak _e
0:04:44	se dá udělat jednoduchá věc
0:04:46	a to že vezmete ty hnusný hodnoty s každým stavu
0:04:50	všechny je po sčítáte a pak tady těmito hodnotami vlastně ty jednotlivý hnusný hodnoty podělíte
0:04:56	a najednou dostáváte krásné hodnoty které budou sumovat do jedničky a který se potom dají
0:05:01	použít jako ty váhovací _e váhovací kreslit
0:05:05	tak a taky jsme si říkali že vlastně když se nad tím člověk zamyslí a
0:05:09	_e uvědomit si co jako právě řek že teda jako to může _e že udělá
0:05:14	sumu všech cest který vlastně probíhají primátorym a tudyma eště tudyma
0:05:19	tak už je to prakticky suma uplně všech se
0:05:23	tedy tím alarmem cam probíhají
0:05:26	a tu sumu úplně všech cest nebo všech stavových sekvencí jsme nazvali baumwelchovu v a
0:05:32	_e likelihoody
0:05:34	a mám takovej pocit že sme vyznačili jako _e jako velký té
0:05:40	o který je prostě vygenerovaný modelem takže poďme se teďka trochu detailně _e říci
0:05:46	jak _e který k těm hodnotám
0:05:50	dojdeme a jak tady ty magický pravděpodobnosti který hrozně potřebuju jinak prosím vás eště notaci
0:05:56	já to mám jedné sadě svojich slajdu nadšený jako L jet E
0:06:01	a někdy jindy tomu taky říkám jako gama
0:06:05	jako gama je C
0:06:07	pokaždý je to stejný ale to učení řečeno posteriorní pravděpodobnost _e
0:06:13	_e vyslání tohohle T o rámce je tým stavem
0:06:19	jo takže _e poďme se podívat jak bysme na to asi tak mělí
0:06:24	tady vlastně jinými slovy řečeno procesor vám _e říkal to znamená že můžu vzít tady
0:06:29	tenhleten likelihood a po normovat to sumu všech likelihoodu will tomto čase a přes všechny
0:06:36	stavy
0:06:37	a že teda se to dá přepsat takže je to vlastně _e celkový baumwelchův tady
0:06:43	klidu
0:06:44	vyslání téhleté sekvence vektorů celým naši máme unk
0:06:49	tak
0:06:50	a poďme _e poďme naše _e začít rýpat
0:06:53	detailně
0:06:55	do toho jsou vlastně umí dělat tady je čas
0:07:00	tady
0:07:01	soustavy raménka to johannem přítomen označíme jako
0:07:06	jako nějakej jednoduchej modýlek
0:07:10	a teďka _e
0:07:13	víte že musím určitě začínat tady v tomhle stavu ale dál se mi to
0:07:17	rozvoji a tady se mi to
0:07:19	zase rozvoji
0:07:21	a ten limity sty _e nebo ty stavové sekvence můžou _e můžou přeskakovat
0:07:29	a my se tady někde uprostřed
0:07:32	ocitáme
0:07:35	_e
0:07:36	hledaném nebo v čase to je
0:07:39	ale stavu je
0:07:41	a chtěli bychom prostě jako _e hrozně pro něj spočítat
0:07:46	_e ten likelihoodu jako všech cest který budou tady všude před tím
0:07:51	a tady někde všude potom
0:07:53	a v tomto stavu
0:07:55	budeme nebo v tomto čase budu přesně tomletom stavu
0:07:59	tak my si to rozdělíme na dvě _e na dvě _e
0:08:03	a dvě na dva komponenty
0:08:06	co vám říkal že komponentová vrat mužského rodu a ne vždycky
0:08:09	tak první záležitost bude
0:08:12	_e tak zvaná částečná dopředná likelihoodu
0:08:16	že jsem začal na začátku modelu
0:08:18	tedy
0:08:19	někde tady
0:08:21	a že sem se až do tohodle času
0:08:23	dostal
0:08:25	_e dostal semka jo to znamená suma ševče všech cest
0:08:29	který nastartoval i na začátku modelu a do tohodle času dolezli do tohodle stavu
0:08:34	tak a zase jako
0:08:37	budeme postupovat nějak iterativně teďka si představte že sme tady v tomto
0:08:43	_e vo tom postavu
0:08:45	a tomletom čase
0:08:47	a chci teda tuto likelihood vypočítat
0:08:50	zkuste měli taky do toho budou vstupy
0:08:55	bude tam zase jako nějaká jednoduchá rovněč k a
0:08:59	a ukončuje nemáte to dobře
0:09:03	tak mně řekněte _e poté co sme si prošli D C dvojtečka matroš třeba jako
0:09:08	něco víte o grafech možná z nějakého jinýho kurzu
0:09:11	jak tady ten černej puntík budu moci spočítá
0:09:17	a možná jako pro osvěžení paměti
0:09:19	_e
0:09:20	s každým černým puntíku nebo s každým puntíku na tom grafu mohou spočítat ňákou takzvanou
0:09:27	výstupní likelihood tím že vezmu akustický vektor
0:09:31	a narvu ho do příslušnýho
0:09:34	rozdělení pravděpodobnosti toho daného stavu to mně dá nějakou hodnotu
0:09:39	_e když cestuju
0:09:41	po červené čáře tak _e tam budu mít přechodovou pravděpodobnost s toho minulýho stavu do
0:09:48	toho současnýho stavu
0:09:50	jo takže push
0:09:51	bychom mohli ten černej puntík zkusit postavit
0:09:56	sim
0:09:57	zkusíme
0:09:59	musíme budeme na
0:10:01	zkusíme zabít především
0:10:03	tak
0:10:04	_e likelihood černým puntíku
0:10:07	což bude nějaká _e
0:10:09	alfa je to je
0:10:12	bude na jako
0:10:14	suma přede všechny stavy kde sem mohl být
0:10:19	před tady tím nastavím jo a tady vidíme že to je že jako se nemám
0:10:23	tolik na výběr že sou dva a pod mzda napsat obecně tady tohle budou možných
0:10:27	sta vidí
0:10:28	teďka já tam musím vzít v úvahu ty částečný _e pravděpodobnosti
0:10:35	tomto stavový a teďka mě řekněte sama na sebe závorky
0:10:42	jo tady toto je časté
0:10:44	teďka pracuju s těmadle červí mamutí tom
0:10:49	T mínus jedna jo předcházejícím čase
0:10:52	takže to je mínus jedna
0:10:54	a když se budu chtít rejpnout
0:10:57	poté helete _e čáře nebo po téhleté čáře do toho velkýho černýho puntíku kde teďka
0:11:04	zrovna počítám tak tam ještě musím dopsat co
0:11:11	tak vždycky když se vybuzeno stavu do jinýho stavu tak do po přechodové pravděpodobnosti jo
0:11:16	to znamená bude tam muset být hodnota a je
0:11:20	ale když do toho velkýho černýho puntíku dovezu
0:11:23	tak tam bude muset být ještě co
0:11:28	ten je T stav musí se hrát
0:11:31	T vektor a musí říct jak i u jakou pro něj
0:11:35	produkuje výstupní hodnotu funkce hustoty rozdělení pravděpodobnosti jo takže ještě budu muset napsat
0:11:42	že sem vlastně věcným stavu
0:11:45	a vysílám ten _e
0:11:48	vysílám ten T vektor strašném mám pocit na čili
0:11:52	na čili nějak takhle jo jako
0:11:55	se
0:11:58	jo a teďka jako
0:12:00	víte že to docela z jednoduchý protože na začátku to samozřejmě musím nějak _e nainicializovat
0:12:09	musím říct že tady _e že tady u toho
0:12:13	_e že u tohoto prvního stavu
0:12:16	vlastně
0:12:17	M
0:12:18	sem tam musel vlez nějakou úvodní
0:12:21	přechodovou pravděpodobností
0:12:23	N času které ještě neexistoval jo tam tady nemám žádnej
0:12:28	tady nemám žádnej vektor
0:12:32	vektor ne
0:12:34	jo takže jenom _e počítám vlastně přechodovou pravděpodobnost
0:12:39	toho počátečního stavu sem
0:12:41	a teďka musím vyslat _e sem prosím vás tady uzavřete rolničky jo a teďka musím
0:12:46	vyslat _e ten první _e první vektor které je k dispozici jo takže takhle se
0:12:52	ten algoritmus nahodí
0:12:55	potom vlastně v běžných iteracích _e vo můžu klidně nechat probíhat takhle to znamená každý
0:13:02	stát
0:13:04	krávo v baru modře jo kde kdesi počítat tak si prostě žere
0:13:09	_e svoje vstupy a přidává com příslušné přechodové pravděpodobnosti a tu svoji vysílací
0:13:16	a když půjdu dál tak zase třeba tady tenhle stav tak si
0:13:21	uděláte toto a toto a tak dále a takhle vlastně jako propaguju a postupně rozšiřují
0:13:27	ty _e částečné dopředné likelihood i
0:13:31	no a pak budu muset ten algoritmus nějak uzavřít že jo když dojdou do úplně
0:13:36	posledního času
0:13:38	kdy bude
0:13:40	konec promluvy velké T
0:13:43	tak tady _e
0:13:48	tady _e vlastně _m musím
0:13:51	říci
0:13:52	teďka sem úplně na konci
0:13:55	a
0:13:57	pak vlastně existuje většinou ještě nějaká výstupní pravděpodobnost
0:14:01	prosperity jo markovova modelu
0:14:03	kterou budu muset _e kterou budu muset vynásobit hodnotu kterou budu mít a budu hotový
0:14:09	na konci
0:14:10	co si myslíte že na tom konci tady dostanu co tady bude za hodnotu
0:14:21	uvědomte si co jsme dělali s každým
0:14:24	každé kombinaci času a stavu
0:14:26	no vlastně vzali v úvahu všecky cesty
0:14:29	předcházející možný
0:14:31	udělali jsme tam sumu
0:14:33	a teďka prostě jako jedem až do konce
0:14:37	a teď sem najednou skončil
0:14:39	co si myslíte že bude k dispozici tady
0:14:43	my bysme si to měli označit formálně
0:14:45	tak by se to menovalo
0:14:48	alfa
0:14:50	_e nějaký N jako poslední stav a
0:14:54	to je plus jedna jako že už všecko skončilo že dnes toho modelu vylezli
0:15:01	myslíte že tam bude
0:15:04	no perfektní A Z tom dáme tomu nějaký jméno po nějakejch dvou plánech třeba
0:15:09	třeba baumwelch že jo takže tady toto je hrozně důležitý protože já když si udělám
0:15:14	tento algoritmus tak na konci
0:15:16	to hodnot z toho vypadne hodnota té o M vlastně celkový ohodnocení té sekvence vektorů
0:15:23	celý modelem
0:15:25	a už neberu nějakou jednotlivou _e stavovou sekvenci ale sou vtom načítány úplně všechny
0:15:31	a toto je
0:15:32	suma přes _e všechny možný cesty jo
0:15:35	bezvadný takže _e tady to máme nějak formálně
0:15:40	opsaný
0:15:41	takový krásný obrázek
0:15:44	_e kdybychom _e
0:15:47	kdybychom se to chtěli napsat rovnicí no tak to bude vypadat asi
0:15:50	si nějak takhle to sem tam před chvilkou měli
0:15:53	a uzavření algoritmu
0:15:56	je to psáno prostě všechno obecně ale vopravdu je lepší si namalovat graf abyste viděli
0:16:02	_e co se děje a ta poslední likelihoody taký žena baumwelch
0:16:07	bezvadný takže máme _e částečnou likelihood X začátku dostat až do stavu je
0:16:15	v čase T
0:16:17	co myslíte že budem dělat teďka
0:16:22	jo pořád zkuste držet hlavě jako jaký máme _e jaký máme vlastně problém se sem
0:16:27	vyřešit
0:16:28	my chcem vyřešit T pravděpodobnost
0:16:32	že budeme B
0:16:35	čase je
0:16:38	čase to je ve stavu je
0:16:40	to šíje
0:16:42	chomáč nějakejch cest na začátku teďka přesně tenleten stav tomletom čase a chomáč nějakých cest
0:16:48	na konci
0:16:49	taktika nevyřešili těma hodnota má alfa chomáče těch cest na začátku a to že sou
0:16:55	teďka tady
0:16:56	co nám ještě zbývá vyřešení
0:16:59	tak vodsaď nakonec že jo prostě všechen jako _m všechny nesmyslným cesty vodsaď až nakonec
0:17:06	tak _e jak myslíte že to je to nebudem řešit
0:17:09	eště než tam nám příslušné vobrázek
0:17:12	pudem
0:17:13	vodsaď nakonec nebo
0:17:16	od konce
0:17:17	sem
0:17:18	správně jo takže budeme definovat něco co se menuje _e částečný zpětný likelihoody
0:17:24	který začal jsem na konci modelu a v čase T sem vystavuje a zase si
0:17:28	pojďme udělat _e rovnou malůvku
0:17:32	jak to _e jak to bude vypadat
0:17:36	tak já si možná do té malůvky vezmu _e tu další
0:17:41	rovnici
0:17:43	ne
0:17:44	tedy tady toto
0:17:45	já mám tady zase
0:17:47	u
0:17:49	u
0:17:50	tak _e to je takový pěkný graf Í
0:17:54	_e
0:17:55	tady se mi
0:17:57	rozbíhají ty
0:17:59	různé
0:18:00	cesty a tak dále bla
0:18:03	teďka _e
0:18:05	sem tady
0:18:07	vlastně
0:18:08	na konci
0:18:10	B
0:18:13	B
0:18:15	E stavu
0:18:16	čase
0:18:19	té
0:18:21	tady je poslední posledních stav modelu
0:18:25	tady mám prostě jako kdyby neexistující čas T plus jedna
0:18:29	a přechodovou pravděpodobnost _e
0:18:34	předposledního stavu modelu
0:18:36	do posledního
0:18:38	tak a _e teďka sem prostě tady někde
0:18:42	uprostřed toho chumlu
0:18:44	vedou myslím cesty _e z času a stavu který jsou potom
0:18:50	a já budu chtít se spočítat _e
0:18:55	_e zpět částečnou zpětnou likelihoody
0:18:58	že sem tam stavu B je
0:19:00	čase _e
0:19:03	v čase T
0:19:04	tak poďme si zase říct co tam tak asi se mi tam tak asi mohlo
0:19:09	bejt
0:19:13	tak je tam asi
0:19:16	následující
0:19:18	částečná zpětná lekli může následujícím ne podle toho jak to počítám ale
0:19:22	následující vše se omlouvám se protože _e takhle čase od konce na jo
0:19:28	takže bude tam _e suma přes všechny napojený stavy
0:19:33	_e kde dám
0:19:35	částečnou zpětnou likelihood a teďka to bude co za čas
0:19:41	když počítám čase to je tak tam musí být
0:19:44	to je plus jedna super
0:19:48	_e co tam bude
0:19:49	eště asi
0:19:52	jsou tady modrý puntíky taky ještě je potřeba nějakým způsobem kvantifikovat i ty čáry bude
0:19:57	co
0:19:59	to budou přechodových pravděpodobností jasně a Í je
0:20:02	a teďka bacha
0:20:05	ty či _e tam asi budeme muset nějak zamixovala
0:20:10	vysílací likelihoody že jo vyslání _e vektoru nějakejma zprávama
0:20:17	ale teďka přesně jak nám tam zkusím něco napsat
0:20:21	zkusím vám tam napsat B
0:20:24	_e je
0:20:25	B je o té
0:20:31	a co myslíte bude tady todle dobře nebo C
0:20:37	prosím
0:20:40	jedna mínus B je
0:20:42	proč
0:20:45	_m ne
0:20:48	vono mi to takhle mohlo fungovat ale uvědomte si že já sem vlastně _e při
0:20:52	výpočtu alfy jo když jsem počítal si tak sem balil takhle prostě jako začátku
0:20:58	a v tom daným stavu
0:21:00	a v tom daným čase
0:21:02	sem tam _e
0:21:04	prásknul hodnotu B je
0:21:06	B hote takže a už vlastně spočítal
0:21:10	teďka jedu
0:21:12	betty které jdou od konce a
0:21:15	hlavě pořád jako musím držet že mě de vo to celkovou pravděpodobnost a že ty
0:21:18	alfy aby ty budu muset nějakým způsobem kombinovat
0:21:21	a teďka najednou kdyby tam bylo to co mám tady nahoře v rovnici tak tam
0:21:26	bit a vysílací i tady klihu daného stavu daným čase byla prostě dvakrát
0:21:32	jo tomto B je o té by tam bylo dvakrát
0:21:35	koš
0:21:36	kdyby nebylo zde bylo moc dobrý to znamená vono to takhle nebude prosím vás
0:21:42	ale v tomto případě
0:21:44	se to B je teďko
0:21:46	bude počítat s každým stavu
0:21:50	se kterýho vlastně jsem se do toho
0:21:53	následujícího nebo s čase předcházejícího mohl dostat tady bude tam B C
0:22:00	o
0:22:01	T plus jedna
0:22:04	jo aby to bylo úplně jasný tak se ještě cely tady tenhleten nesmysl můžem dat
0:22:09	do hranatých závorek aby bylo jasný že prostě sumujeme
0:22:13	celý tento _e celý
0:22:16	celý tento výraz
0:22:19	jo a takhle _e je vypočítaný _e prodlevě vypočítaná částečná zpětná like lidu
0:22:26	a _e teď prosím
0:22:29	se ještě poďme jako říct jak ten algoritmus nahodíme
0:22:33	a jak ho _e jako kill hneme
0:22:37	když ho budeme nahazovat
0:22:39	tak _e
0:22:41	se musíme
0:22:43	podívat někde tadyhle
0:22:46	_e na začátek to znamená posledním
0:22:50	čase
0:22:51	a ve všech možnejch stavech ze kterýho _e ve který můžou být posledním čase většinou
0:22:57	tady toto bývá jenom ten
0:22:59	jenom jediný že většinou a toto je nebývá žádný R
0:23:03	ale
0:23:03	musí to být stav N mínus jedna takto na inicializuji pomocí té poslední nejposlednější
0:23:11	přechodové
0:23:13	pravděpodobnosti
0:23:15	pomocí tady tenhle o které kterou se s toho a nevím se dostanu ven tady
0:23:20	toto je vona
0:23:22	potom si udělám ten svojí iterativní algoritmus
0:23:25	a když budu chtít uzavřít
0:23:28	tak _e musím posbírat
0:23:32	to co sem měl ve všech _e ve všech _e
0:23:37	tu první stavech
0:23:39	toho modelu po násobit to ještě _e vysláním prvního vektoru nemáme vstupního to má
0:23:47	a eště _e eště vlastně jejich _e
0:23:53	jejich částečně na zpětným a likelihoodem a většinou ten vstupní stav je sem samozřejmě jenom
0:23:57	jeden jo prosím vás
0:23:59	A mám prostě
0:24:00	stup
0:24:03	toto
0:24:05	_e s toho prvního vstupního stavu všecko je a mám hotovo mám vlastně _e
0:24:13	částečný zpětnej likelihood
0:24:17	no
0:24:18	čase kterej ještě před začátkem mojí promluvy
0:24:23	a nějakým pomocným stavu který je vlastně ještě před obyčejným a stavem a jenom a
0:24:28	mýho nevím cache teďka mi zase řekněte čemu bude odpovídat tady tahleta
0:24:33	poslední spočítaná
0:24:36	a vlastně prvních čase
0:24:38	pět na tady klid co to bude
0:24:44	jo a zase si uvědomte že postupně jak sem jako balil takhle nazpět čase
0:24:49	tak jsem zase brát v úvahu úplně všechny cesty který se sto modelu
0:24:53	nebo vtom srovnání časovým _e vektoru nastaví modelu mohli vyskytnout
0:25:00	jo poctivě sem nesmlouval
0:25:04	co myslíte že to bude
0:25:16	tak
0:25:16	žádný velký překvapení nebude bude to zase baumwelchovu likelihoody
0:25:21	vyslání téhleté sekvence vektorů modelem po všech možnejch cestách jo vzpomeňte si když sem stavěl
0:25:27	částečných dopředných pravděpodobnosti tak jsem to postupně stavělo začátku do konce
0:25:32	teď sem to postupně počítal úvod konce do začátku ale když sem to dělal dobře
0:25:37	tak by mě měli být úplně stejný hodnoty a zase tady tahleta _e první
0:25:43	jo poslední spočítaná beta bude
0:25:47	celková vám welchova likelihoodu
0:25:50	vyslání téhleté sekvence vektorů tímhletím od a
0:25:54	tak
0:25:55	to je docela mimochodem dobrý že to máme spočítány schválně kde tady to celkovou likelihoodem
0:26:00	potřebovat
0:26:02	do to ještě nezapomněl
0:26:04	normalizaci přesně tak jo takže mám jako super hodnotu
0:26:08	arrow budu schopny _e s každým čase normalizovat _e ty spočítaný
0:26:15	spočítaný hodnoty tak a jak ty hodnoty spočítám no to už je docela v pohodě
0:26:20	protože
0:26:21	já zase opakuju že mě zajímá tady tenhleten čas
0:26:25	tenleten stav
0:26:27	alfy mě
0:26:28	počítají tady tenhleten maglajz
0:26:31	betty mě počítají tady tento maglajz
0:26:35	a já když si spočítat tu svoji
0:26:38	_e
0:26:40	svoji state occuppation probability nebo tady tu _e řekněme měkkou pravděpodobnost bytí s tomletom stavu
0:26:47	tomletom čase tak je prostě vynásobím jsou co
0:26:51	tak to po normu you know celkovou baumwelchovu X mínus
0:26:55	a hotovo nový dělá
0:26:58	takže _e je to zajímavý že jako kvůli jedné hodnotě
0:27:02	nějak která se tady máme L je té sme tady strávili půl hodiny ale toto
0:27:06	je vopravdu naprosto nejdůležitějších hodnota při trénování _e ne mac
0:27:11	tak _e odteď _e
0:27:14	se vás zeptám
0:27:16	kostní teda jako budem dělat
0:27:18	takhle si lety hodnoty třeba při trénování nějakýho jednoduchýho motýlku
0:27:22	můžou vopravdu vypadat
0:27:25	no tohle je dejme tomu
0:27:27	_e ta L
0:27:28	_e
0:27:31	ta funkce zalijete
0:27:33	prvního visí prvního vysílacího stavu
0:27:37	to je ta zelená bude druhýho
0:27:39	to je ta červená bude třetího mám pocit že sem to opravdu jako vygeneroval neskutečnýho
0:27:43	alarmem k a
0:27:44	všimněte se prosím vás
0:27:46	že když si uděláte takhle z S v libovolném čase
0:27:49	tak skutečně suma přes všechny je teďka
0:27:54	jo každým čase těch hodnot nelžete určitě
0:27:59	rovná se jedna to znamená budou to dobrý koeficienty na to aby jsme použili jako
0:28:03	vážený jako vážený průměr i
0:28:05	tak _e
0:28:08	takže teďka zasednu
0:28:12	nebudu vám ukazovat
0:28:13	co dál té přednášce
0:28:15	a zkusíme si napsat nějaký
0:28:18	nějaký rovnice
0:28:20	jak při odhadnout parametry
0:28:23	ale mém k a když jsem zřej s jeho starým a parametrama spočítal takovýhle pěkný
0:28:28	hodnoty L je se
0:28:30	tak
0:28:32	jo mám tady nějaký _m
0:28:40	_e teďka
0:28:44	dejme tomu že tady toto je stav
0:28:48	_e prostě index stavu bude je
0:28:51	tak tady mám velkou
0:28:54	plus tou maticí parametrů o která má první vektor cache
0:28:59	to je tady vektor
0:29:02	a teďka sem si horko těžko pomocí starých hodnot toho _e a
0:29:07	_e spočítal
0:29:09	od M spočítal funkce relied _e
0:29:13	který vlastně zbavujou příspěvek tady těchdle těch vektoru trénování každýho stavu anka tak a chci
0:29:21	spočítat novou hodnotu
0:29:24	střední hodnoty
0:29:26	yettiho stavu a vy mě řeknete jak
0:29:35	tak _e pojem na to jednoduše jo jak by se ta střední hodnota počítala
0:29:39	kdybych tam neměl žádný jako žádnou spočítanou funkci a rijece a kdyby měl prostě k
0:29:45	dispozici jenom tady tuhletu
0:29:48	jenom todleto matici
0:29:50	vstupní vektoru
0:29:53	průměr přesně tak jo tak podpojmy se tam vopravdu napsat průměr
0:29:57	_e téčko valí vod jedničky do té a
0:30:00	_e dám tam
0:30:02	hodnotu o té a podělím to jedna lomeno T a je to pro mě to
0:30:07	umíme všichni že jo
0:30:09	takle bych adam pojďme udělat trochu složitější průměr
0:30:14	přesně tak takže _e budem bude mazat a uděláme to násobení tím zalijete k který
0:30:21	jsem před chvilkou horko těžko vypočítal
0:30:24	a bude tady tohle dobrej průměrnému nebude
0:30:29	ne jak to
0:30:32	tak bacha jo my sme si řekli že ty L je tečka
0:30:35	ty měkký hodnoty
0:30:37	že budou jako hodný s každým s každým čase jo že s každým čase se
0:30:41	nám budou sumovat
0:30:43	L jedna T L dva to je a při té že se nám bude sumovat
0:30:46	do jedničky touto bude super
0:30:48	ale uši sem vám ne zaručil že tady ta suma se do jedničky bude probíhat
0:30:52	i přes všechny časy to bych jako byl docela zázrak kdyby _e kdyby se
0:30:57	čase sumu valy
0:30:59	do jedničky jo to znamená že my budeme muset udělat co
0:31:08	no tak podělit že jo když máte nějaký koeficienty vo kterejch nic moc nevíte a
0:31:13	zapíchl eseje dopočítání vážený o průměru to sme tady nemám mimochodem měli už minule jo
0:31:18	ale a to budu omílat pořád dokola vy vám to neřekla v dostal
0:31:22	takže
0:31:23	po sumujeme pěkně
0:31:26	_e hodnotou
0:31:28	nebo sumou těch koeficientů a tohle už bude dobrý toto už bude krásna _e krásna
0:31:33	průměrná hodnota
0:31:35	tak bezvadný
0:31:37	_e teď prosím
0:31:40	bych chtěl vědět C _e když budeme počítat nějakou třeba _e směrodatnou odchylku
0:31:46	a _e to tady dám nějaký nějaké index třeba K tou směrodatnou odchylku
0:31:52	X
0:31:52	půjdeme na toto
0:31:56	jo to znamená větším stavu řekli sme si že _e by člověk měl řešit jako
0:32:02	kovarianční matice ale v hrozně složitý takže budeme _e budeme řešit _e směrodatnou odchylku
0:32:09	teda toho simku na druhou a ten rozptyl
0:32:12	_e kátýho prvku
0:32:15	toho
0:32:16	yettiho stavu
0:32:18	tak asi tam zase bude nějakej průměr že jo který pojede přes všechny časy
0:32:23	tak si ho tam plněna čára ste se rovná jedna do té co myslíte že
0:32:27	bude tom průměru
0:32:32	dobrý
0:32:34	tak asi ten váhovací koeficient želatině dneska víme
0:32:39	tak a pak tam bude _e
0:32:42	ústředně na hodnot _e toho patřičnýho koeficientu a když počítáme střed _e rozptyl tak to
0:32:49	bude muset mít na druhou jo to znamená bude tam něco jako o
0:32:55	se K to znamená K tedy element T ho vektoru mínus me
0:33:02	je
0:33:03	k a všimněte si že to teďka nepíšu prostě protože to sou skaláry
0:33:07	tady todleto na druhou a mu
0:33:10	no to tak push spokojeni nebo nespokojeni
0:33:13	ne za máme dělat
0:33:16	normalizaci správně děkuji krát
0:33:19	to je se rovná jedna
0:33:21	_e
0:33:22	jednáte L je to je
0:33:25	dobrý tak teďka sme jako byly
0:33:27	_e celkem
0:33:30	celkem rychle hotový se středníma hodnota má _e se směrodatný moc žilkama a teďka začne
0:33:38	jít do druhýho protože já bych potřeboval taky pře odhadnout prosím přechodové pravděpodobnosti
0:33:45	a je
0:33:47	a
0:33:49	to bude
0:33:51	docela zajímavý a musím říct že jako to tohleto z hlavy neumím
0:33:56	pojďme spojme to zkusit
0:33:57	sme si říct _e D jak by to asi tak mohlo být
0:34:01	a potom to s konfrontujeme s realitou
0:34:05	a u těch přechodových pravděpodobností
0:34:08	prosím uvědomíme že jak sme měli takový ty grafiky tady bylo časté
0:34:13	tady prostě byl namalovanej ten
0:34:15	ten model
0:34:17	takže teďka najednou budou řešit nějakou hodnotu která mě bude říkat jak je pravděpodobný že
0:34:22	přelezu ze stavu Í
0:34:25	dostavuje
0:34:28	no a _e
0:34:30	my sme měli v tom grafu takové prostě ty
0:34:34	_e
0:34:36	_e v ošklivé hodnoty své všude spočítané
0:34:40	_e každy
0:34:41	vlastně každý _e každý stav
0:34:45	a každý čas
0:34:46	měl svoji alfu
0:34:48	svojí metu
0:34:51	a _e my s nima si budeme muset něco vyrobit abychom
0:34:55	zjistili jaké teda pravděpodobný
0:34:58	že
0:34:59	přeskočíme ze stavu Í
0:35:01	dojička
0:35:02	tak zkuste radit
0:35:04	jo teď teďka k množinami vostrý
0:35:06	_e Í je
0:35:08	rovná
0:35:12	tak asi zase budeme muset prozkoumat všechny časy že jo protože ty _e ty přeskoky
0:35:18	se mohli objevit ve všech možnejch časech takže asi
0:35:22	_m se nedá nic dělat
0:35:24	dáme tomto je se rovná jedna
0:35:27	načte
0:35:28	tak co dál
0:35:30	mějte si že tam teďka budu moct použít se tu _e posteriorní pravděpodobnost bytí
0:35:38	ve stavu jo čase toto zalijete
0:35:43	to je takový
0:35:45	to je jako s otazníkem že jo protože to mě udává _e pravděpodobnost bytí v
0:35:50	jednom stavu vtom daným času
0:35:52	a teďka jako to mám dělat já to mám ty stavy dva a potřebuju zjistit
0:35:56	jak je pravděpodobný že sem z jednoho přelezu do toho druhýho tak poďme zkusím vymyslet
0:36:00	něco jiného
0:36:03	tak _e
0:36:04	to kdybysme
0:36:06	vložení pánové
0:36:08	zkusili takovou fintu
0:36:10	a to všechny se pravděpodobnost všech možnejch se které jsou tady před tím
0:36:16	před
0:36:17	jo
0:36:20	teďka
0:36:21	přeskok
0:36:22	a pravděpodobnost všech cest který jsou tady po
0:36:27	a tady tu činku nebo spermií nebo jak to vypadá takto musíme ale prosím vás
0:36:33	přes sumovat
0:36:34	přes všechny možný časy
0:36:37	jo takže poďme zkusit _e budeme tam zkusím naplácat nějaký hodnoty tak
0:36:42	navrhujete
0:36:44	částečná dopředná pravděpodobnost čeho
0:36:51	_e bych řekl že toho prvního stavů ne
0:36:55	a času té alfa víte
0:36:58	co tam dáme dál
0:37:01	a to pak neumim nazpaměť lidového taktika to
0:37:04	vymýšlím s mám jako trošku více zkušeností mezi
0:37:07	podpořte město si poradit další
0:37:14	tak teďka _e budu řešit tady tenhleten obláček jako jo po
0:37:20	tak _e
0:37:22	porážce poradce
0:37:25	asi nějakou betu že jo a čeho
0:37:29	jestli ho stavu čase teplu jedna dobrý
0:37:33	teďka že tam něco lechtivý
0:37:36	abych potřebovat tady tyhlety dva stavy nějak propojit
0:37:39	co tam ještě musím namíchat
0:37:43	tu původní pravděpodobnost a je jo to co mám jako teďka potom rozhodně musím dat
0:37:50	a teďka bacha teďka _e sem se dostal do
0:37:55	problému který nevím jestli úplně přesně vidíte
0:37:58	protože
0:38:00	v tomto
0:38:02	_e to si člověk musí uvědomit jak vypadají vzorečky
0:38:06	do výpočty alpha a bad
0:38:08	já sem
0:38:09	tady
0:38:10	určitě namíchal vtom vzorečku pro alfa Í
0:38:13	_e vysílací
0:38:15	v likelihood B Í
0:38:17	B C o té jo
0:38:20	ale když jsem řešil _e ty _e když jsem vyřešil tibet i
0:38:26	tak jsem řekl že tady v tomto bodě tam ten vysílací likelihood nemůžu zamíchat protože
0:38:30	by to bylo špatně a mám tam jenom vysílací likelihoody tady prostě v těch dalších
0:38:35	stavech
0:38:36	a dalších časy
0:38:37	takže mě tady
0:38:39	vysílací likelihoodu chybí a já si ho tam pánové musím dodat takže to bude zde
0:38:45	ve je
0:38:47	R sorry
0:38:49	B je T plus jedna
0:38:53	jo a tím pádem budu mít tu sadu hotovou prostě byl jsem
0:38:58	kdekoli před tím včetně vysílacího likelihoodu teďka tam mám to spojnici
0:39:03	tak tam vysílací lekli both vtom černým tlustým puntíku pak to mám všecko za
0:39:09	a _e tím bych mohl být hotový takže tady ještě doplním B je
0:39:13	to je plus jedna
0:39:17	co bude po tou s čarou zlomkovou
0:39:24	já se přiznám že nevím ale mám pocit že tam je ta celková likelihoody jo
0:39:29	proč by tam neměla být že jo jako i ty i ty přechody by se
0:39:33	mně vydatně jako mohl po normovat
0:39:35	to znamená
0:39:37	_e tady bych si tak tipl
0:39:41	že
0:39:42	bude
0:39:43	to je
0:39:45	o M
0:39:48	ale vůbec si nejsem jistej
0:39:52	jo _e tak se poďme podívat se jak to má být správně
0:39:59	přechodový pravděpodobnosti
0:40:02	_e ta tak tomto mám blbě pardon
0:40:05	takže _e ten _e začátek sme dali dohromady dobře jo vidíte to částečnou dopřednou trade
0:40:11	do stavu Í
0:40:14	částečnou zpětnou která vyráží dál ze stavu je
0:40:20	potom to jejich spojnici reprezentovanou přechodů pravděpodobností potom ještě to se nám tam chybělo tedy
0:40:27	vysílací likelihood sestavuje toho jeho vektoru
0:40:31	a dole sem se sekl je to _e
0:40:34	je to vlastně suma
0:40:38	všech _e
0:40:40	_e všechno věc je teček takže tady tohle teda
0:40:44	to sem
0:40:45	to sem uzeného
0:40:47	s prknem předělám
0:40:51	tak větev
0:40:54	suma přes všechny časy
0:40:56	jo je
0:40:58	tak _e mám to
0:41:01	nebo celkem hotový
0:41:03	tak a teďka prosím vás bych _e bych chtěl vědět
0:41:08	když tady tohleto _e když tady tohleto počítání budete _e budete programovat
0:41:14	nebo u teho programovaly
0:41:16	jak byste to dělali
0:41:18	jaký budou kroky
0:41:25	vaše krok
0:41:28	tak
0:41:30	jo mám
0:41:32	mám prostě nějakou
0:41:34	_e
0:41:35	promluvu
0:41:36	no
0:41:41	on promluvu o je jo
0:41:43	nejsou vektory vod jedničky do péčka
0:41:47	a mám nějaký původní hodnoty _e který sem prostě nějak _e na inicializoval
0:41:53	a poďme teďka se bavit jenom vo těch střední hodnota nebo směrodatných odchylka že
0:41:58	ní je
0:41:59	a _e
0:42:01	_e
0:42:02	firma
0:42:03	je k a
0:42:05	na druhou
0:42:06	tak
0:42:08	rokem prvním bude to že musím pustit _e
0:42:12	_e trénovací algoritmus
0:42:14	nechat ho vlastně jako bublat přes všechny
0:42:18	čili všechny časy
0:42:20	se ve všechny je léčka
0:42:22	a vyhodnotit si maticí všech a of
0:42:26	jo alfa je se
0:42:28	toto prostě vyhodnotím pro všechny časy pro všechny stavy
0:42:33	potom si pustím zpětnej algoritmus
0:42:36	jo takže půjdu kdo takle a zase přes všechny časy se ze všechny stavy
0:42:41	si vyhodnotím matic i zpětnejch
0:42:44	částečný likelihoodu beta jet
0:42:48	vzpomenu si
0:42:49	že
0:42:51	této matici zde a této maticí zde získávám velmi cennou hodnotu
0:42:56	a to je celkovým baumwelchův likelihood P
0:43:00	pro o M
0:43:03	a pak tady ty dva _e pak tedy ty dvě matice vynásobím _e dostanu tu
0:43:09	_e nejcennějšího hodnotu po které sem
0:43:14	no já sem se rovnalo
0:43:16	a to sou to sou ty elka jo to sou prosím vás vlastně konstanty
0:43:23	že
0:43:24	který udávají L je
0:43:27	té jo zase tady je čas
0:43:30	a tady je _e tady stav _e
0:43:35	tady je index stavu je
0:43:37	tak a teďka prosím _e když se podíváme tady na tyhle rovnice
0:43:41	tak _e
0:43:46	si uvědomíme že vlastně já musím _e počítat pro všechny možný stavy
0:43:51	který má to moje vrahy _e miminko
0:43:54	ale že _e tady tyto rovnice sou docela jednoduchý _e ze existuju existují tam hodnoty
0:44:01	C kterým se říká statistiky nultý ho prvního a druhýho řádu
0:44:05	tak a zkuste mě teďka získat i statistiky
0:44:09	se vlastně počítají _e
0:44:11	pro každou promluvu pro celou tu matici velký tlustý o
0:44:15	ale mě zkuste říct co ty statistiky nutilo prvního a rozdělují ho řádu asi budou
0:44:21	se podívat se tady do těhletěch rovni czech
0:44:24	co sou ty statistik
0:44:27	každej stav _e mém k a když se trénuje tak má svoje
0:44:32	patristiky
0:44:36	co to asi bude zas
0:44:40	dávám vám trochu poradím
0:44:43	_e
0:44:45	disky tam budou hrát roli nějaký váhovací koeficienty zalijete
0:44:50	a _e toho co vedle nich sedí když to bude první mocnině
0:44:56	tak to bude prvního řádu když to ve druhé mocnině že teda nějakým už na
0:45:01	ústředně nejde to bude
0:45:03	to bude
0:45:04	druhýho řádu
0:45:05	a když to tam nebude vůbec
0:45:08	tak to bude nultý ho řádu
0:45:10	tak ste my říct _e
0:45:13	ten jiří ze vstupu
0:45:23	horní tak podívejte
0:45:26	_e
0:45:27	předpokládáme že máme
0:45:30	_m že máme
0:45:33	hodnoty
0:45:35	rozjetej stav jo
0:45:37	tohleto
0:45:40	je takzvaná statistika nutnýho řádu znamená
0:45:43	_e nikde tam nevidím žádnou hodnotu
0:45:46	hodnota vektoru není tam
0:45:49	jo
0:45:49	takže ta hodnota vektoru je tam na nultou
0:45:54	není tam vůbec protože statistika nultý pořád
0:46:01	tak teďka sem vám pomoh tak mně řekněte se ta ctatystyka prvního řádu
0:46:07	ten této je ten čitatele že jo to je vlastně ta _e ta _e hodnota
0:46:14	kterou dostanu když _e když budu
0:46:19	M a pravděpodobnostma normálně násobit vobyčejný hodnoty vektoru
0:46:24	zkuste měřítek bude ta statistika nultý ho řádu vypadat
0:46:28	co to bude to skalár vektor
0:46:31	košíček s ovocem
0:46:33	prosím
0:46:34	jak to
0:46:37	A todleto je vektor
0:46:39	todleto je takovymle pěknej vektor
0:46:41	když ho vynásobíte koeficientem
0:46:44	tak do pořád vektor
0:46:46	jo takže bacha
0:46:49	ne já sem říkal nultého tak se líbáme mně se mně se občas jako plete
0:46:53	prosejvala pardon tak se omlouvám takže nultého řádu bude skalár
0:46:58	prvního řádu
0:47:00	bude vektor děkuju
0:47:02	tak a teďka jak to bude se má statistika má druhého řádu tady
0:47:08	_e
0:47:09	tady určitě matice
0:47:11	dyž sem řekl že budou
0:47:14	_e že žádný kovarianční matice nebudou
0:47:17	a že _e budeme pracovat jednotlivým _e element a má že
0:47:22	jako já sem mohl between _e tomu sem tam nadefinovat maticí přijímá jo
0:47:28	ale nejsem hodnej neudělal jsem to
0:47:31	takže si statistiky druhýho řádu v tomhle případě bude budou co
0:47:46	ve
0:47:49	to je trochu otázka já si teďka dívám že vlastně na to abych vám dal
0:47:52	pořádnou odpověď
0:47:54	tak by měl ještě trochu zapracovat na této rovnici ano
0:47:58	a _e přepsat i tak
0:48:01	aby se _e tahleta rovnice dallas vyhodnocovat
0:48:05	eště předtím než budu mít vlastně k dispozici _e než budu mít k dispozici střední
0:48:10	hodnotu
0:48:12	protože
0:48:17	protože tady u této rovnice by to chtělo abychom že jako střední hodnotu spočítanou
0:48:26	no
0:48:29	tak _e
0:48:32	prosím vás pomožte neříkal matematikou
0:48:35	když se počítá _e směrodatná odchylka něčeho
0:48:38	jo sigma
0:48:40	sigma na druhou
0:48:42	tak to může spočítat jako _e jako
0:48:45	jedna lomeno T
0:48:47	suma X
0:48:48	mínus mi
0:48:50	na druhou že jo
0:48:52	a nebo
0:48:54	si to můžu
0:48:57	přepsat
0:48:58	jako jedna lomeno T
0:49:01	suma
0:49:02	X na druhou
0:49:04	mínus
0:49:10	určitě
0:49:15	jo za X mi
0:49:17	vám právě postižené
0:49:27	mínus nějak do v tady možná dokázali odvoditelná nám právě pocit že když je že
0:49:32	když tam máte tu hodnotu mínus dva X mi
0:49:35	tak _e
0:49:40	tak si
0:49:42	tady sme krát E
0:49:44	jo
0:49:47	no to je mínus jedna pokud teda jako děláme nevychýlený odhad a pokud děláme takovej
0:49:52	ten vobyčejný
0:49:53	tak děleno se takhle
0:49:55	dobrý tak jo no tak _e já už radši snižuje si to nechám to si
0:50:00	odvozování protože to dycky dopadá špatně
0:50:03	ale chtěl jsem říct že tady toto _e rovnici vlastně můžeme přepsat
0:50:08	tak to
0:50:10	samozřejmě si do ní zapojíme své váhovací koeficienty jo to znamená
0:50:15	_e tady by to bylo očko že jo a tady bych někde daleko L je
0:50:19	_e kryjete
0:50:22	a _e
0:50:25	tady bych dal
0:50:27	taky L je to jenomže by vlastně mohl dat až na konci a sumu toho
0:50:31	L je T
0:50:34	a chtěl jsem říct že vlastně nám _e bude _e stačit
0:50:38	když budu
0:50:40	ve statistice nultého řádu prostě počítat
0:50:44	průběhu času
0:50:45	přičítat hodnoty nalejete jo udělám si akumulátor ten začátku dám na nulu a při každým
0:50:52	_e při každým _e čase tam budou přiřazovat hodnotu L je to je
0:50:57	jo
0:51:00	pak si udělám druhej akumulátor které bude vektorové A
0:51:06	a s každým čase tam budu přivazovat hodnotu _e relied _e toho váhovací o koeficientu
0:51:13	krát
0:51:14	současnej
0:51:16	vektor právě čase T
0:51:19	jo a tady toto budu pořád prostě dokola spát do akumulátoru
0:51:24	při každým novým čase to tam přičtu
0:51:27	a na konci až doběhne čas dokonce tak budu mít nebudu mít tady tohle jo
0:51:33	a konečně při počítání _e těch směrodatných odchylek
0:51:37	tak si budu muset udělat ještě jeden akumulátor
0:51:42	tedy když teda nepočítáme
0:51:45	splněny kovariančními maticemi tak bude vypadat nějak takhle _e tam budu akumulovat
0:51:50	hodnoty L je T krát _e
0:51:55	a teďka
0:51:57	abych se do toho nezasekl tak vám za napíšu jenom pro tu jednu konkrétní skalární
0:52:02	hodnotu tady
0:52:03	že tam bude _e
0:52:08	je
0:52:09	bude tam
0:52:10	krát _e hodnota
0:52:13	Z
0:52:14	T ho vektoru
0:52:16	a to bude
0:52:17	prosím
0:52:18	na druhou jo takže toto bude můj akumulátor toto budou moje statistiky druhýho řádu
0:52:25	až mě doběhne čas
0:52:28	tak pomocí tady této slavné rovnice kterou sem tady nestačil dodělat
0:52:32	tak dokážeme prostě udělat odhady střední hodnoty odhady
0:52:37	_e směrodatných odchylek
0:52:42	tak
0:52:46	_e dobrý máme vlastně
0:52:48	nějaké více či méně složité rovnice pro odhad parametrů modelu
0:52:53	_e na jedné jediné promluvě
0:52:56	jo teďka prosím vás opakuju
0:52:59	to co sem říkal minule že to trénování probíhá tak že vlastně si napřed inicializují
0:53:04	nějaké hodnoty modelu nějak prostě tu promluvu rozdělím
0:53:08	_e spočí spočítám si původní střední hodnoty původní _e směrodatný odchylky nebo kovarianční matici
0:53:16	a pustím přetrénování první fázi přetrénováním něco dá tady ty nějaké hodnoty L je to
0:53:22	je vlastně ty rozhodovací koeficienty
0:53:25	těma odhadnu nový hodnoty a takhle to potom podstrčím pořád dokolečka až na nějaké kriteriální
0:53:32	funkci což většinou bývá lekli uteklo celé _e z celé promluvy až to prostě přestane
0:53:38	let tak prohlásíme se model do trénovala že jo to
0:53:41	takhle toto brož velmi školní příklad když sem trénoval na jedné promluvě takhle to nikdy
0:53:47	není si promluv mám k dispozici třeba milion
0:53:50	a chci natrénovat jeden model
0:53:52	tak rovině teďka zkuste
0:53:54	povědět
0:53:56	jak
0:53:57	se vyrovnám
0:53:58	s milionem promluv
0:54:11	jo tady ta suma
0:54:13	té se rovná vod jedničky do tečka
0:54:16	to platí tady pro tuto konkrétní
0:54:19	promluvu jednu
0:54:21	já jseš nemám jednu ale milion a přesto chci natrénovat
0:54:26	můj model který má nějaký střední hodnoty nějaký teda ty odchylky nějaký přechodový pravděpodobnost
0:54:31	tak račte co mám dělat
0:54:44	tak
0:54:45	podívejte se kdyby zadali trošku
0:54:47	nebo tady tu pastelkou světelnou a pěkně tady ke každé sumě
0:54:53	eště přidělali jednu
0:54:55	a tam dám třeba
0:54:57	_m to tam mám dat Č rusky
0:55:01	a šel
0:55:02	bude index promluvy
0:55:06	jo všechny pro všechny sumy předělám tak
0:55:09	že pojedou přes všechny promluvy
0:55:13	a v rámci každé promluvit pojedou eště přes všechny časy
0:55:18	jo
0:55:19	jednoduchý prostě
0:55:21	tady budou mít _e
0:55:25	na váhovaný
0:55:26	vektory tentokrát nevím nepromluvili úplně ze všech
0:55:30	dole spočítám jako normalizační koeficienty
0:55:33	taky ze všech a tak dál
0:55:35	jo
0:55:36	takže tady byste si ke všem těm _e ty černým sou mám připsali včel
0:55:41	tady by to asi chtělo
0:55:43	_e eště nějak oindexovat že jo takže by to bylo tady osvč _e
0:55:47	_e by bylo relied Č
0:55:50	_e no taky zvětšil
0:55:52	_e každá bude mít jinou délku takže bysme tosče doplnili like céčku
0:55:57	ale prostě dokázali byste si představit co se děje jo
0:56:01	eště jednou ten algoritmus by _e probíhal tak
0:56:05	že bych dycky vzal promluvu
0:56:07	proto konkrétní promluvu abych spočítal
0:56:11	a osy
0:56:13	dopředným průběhem zpětným průběhem bych počítal betty
0:56:17	abych je
0:56:18	smil dohromady získal bych pro tuhle promluvu
0:56:22	_e ty moje krásný váhovací koeficienty zalijete
0:56:27	a teďka bych prostě
0:56:29	_e za pích no
0:56:31	tyto koeficienty do příslušné neodhadovat tři rovnice a počítal
0:56:36	a teď prosím vás se asi začnete příkladu na to prosím vás tady obtěžoval s
0:56:40	těmi statistikami a s těmi akumulátory že jo
0:56:45	když _e bych totiž měl
0:56:47	jednou promluvu
0:56:50	tak _e by bylo celkem jedno jako jakým pořadí bych tady udělal tu sumu jestli
0:56:55	bych šel napřed přesvědč k a
0:56:58	jo no _e nebo přesčasy
0:57:01	jestli bych si tady tohleto vyhodnotil nejdřív ten vršek vyhodnotil nevyrobit o jedno ale teďka
0:57:06	si představte že máme opravu několik miliard trénovacích vektorů
0:57:10	a každý průchod přes data něco stojí
0:57:13	to znamená já opravdu _e teď
0:57:17	pokud vám těch trénovacích promluv tolik
0:57:19	tak pro ně využil toho že jsem si nadefinoval tady tyhlety pěkný statistiky akumulátorem a
0:57:26	a vlastně na každé promluvě
0:57:29	budu dohořívat
0:57:31	do toho příslušnýho
0:57:32	akumulátoru
0:57:34	do toho nulu toho řádový ho
0:57:37	prvního řádový ho
0:57:39	a ji tady druhou řádový ho
0:57:42	projedu ne pro jednu promluvu ale projede úplně všechny
0:57:46	a teprve až to všechno skončí
0:57:49	tak si udělám nový odhady _e příslušných parametrů jo to znamená když to všechno
0:57:55	_e dokončím
0:57:57	tak tom prvního řádovým akumulátoru budu mít čitatele
0:58:02	no to řádovým akumulátoru budu mít jmenovatele _e prostě podělím a budu mít nový mean
0:58:08	tady té druhé rovnici to budu mít trochu složitější protože jsem to ještě nebylo ale
0:58:14	_e zase ze všech
0:58:16	hodnot který budou mít k dispozici
0:58:18	vypočítám příslušných teda ty howling jo a můžu valit další iteraci přes všechny data
0:58:25	tak
0:58:26	co to bylo asi _e šest co sem chtěl říci
0:58:30	k _e
0:58:31	trénování modelů
0:58:34	kde se teďka na chvilku
0:58:36	podívat S je na rozpoznávání
0:58:39	no tak zvanej viterbiho algoritmu
0:58:43	no jasně
0:58:44	prosím
0:58:46	_e nevím sestavte sme
0:58:51	teďka poslední minutu představte musím
0:58:56	no je
0:58:57	historický
0:58:58	ano sem číslo voznámit přednášky
0:59:01	tak nějak
0:59:03	items
0:59:07	no a o tom _e mít von jako trošku
0:59:10	lukáš není
0:59:12	no ukážeme státech
0:59:14	ví a neví kde to je
0:59:16	_e
0:59:17	volal mi neví jestli to máme dneska nebo jaké
0:59:21	prosím jo
1:01:38	tak dva tři
1:01:40	nouzovým dost dobře možné se měl být na dvou místech stejný čas zahozen
1:01:45	tak _e
1:01:47	poďme prosím vás na rozpoznávání
1:02:31	tak _e to rozpoznávání možná uděláme jako úplně _e úplně na papíře
1:02:38	a
1:02:39	a to následovně
1:02:41	_e vzpomeňte si na výpočet a of
1:02:44	jo a osy probíhaly tak
1:02:46	že sme měli vlastně tady stavy modelu
1:02:50	tady sme měli čas
1:02:52	a teďka sme tam vlast příkaz neměli _e graf T těch různých _e stavových sekvencí
1:02:58	který _e který vypadal
1:03:01	tedy vypadá nějak takhle
1:03:03	a my sme říkali že alfa je T
1:03:06	že je vlastně jakési ohodnocení toho _e že
1:03:11	sem v tomhletom _e stavu v tomletom čase
1:03:16	a předtím sem byl kdekoliv a berou v úvahu všechny možné testy protože při výpočtu
1:03:22	alfy se nám tam někde objevovala nějaká pěkná suma jo
1:03:26	a říkali sme že když prostě jako takhle proběhne a posledním čase
1:03:30	se ocitnu posledním stavu modelů tak saal alfa N
1:03:35	_e T plus jedna protože času skončil ně bude udávat celkovou baumwelchovu
1:03:42	_e likelihood vyslání možných dat _e tím celý modelem
1:03:48	jo a uvědomíme si prosím až F alfy je
1:03:52	se _e zohledněný všechny možné testy čili jsou tam sumy přitom výpočtu
1:03:58	tak a teďka mě zkuste říci ne někdy když sem vám začal povídat o
1:04:03	o
1:04:04	_m skrytých markovových modelech
1:04:07	bychom si mohli zkusit tipnout jak se spočítat ta likelihood P hvězdičkou
1:04:14	R _e se říkalo viterbiho a která vlastně bude likelihood vyslání zase dát mi modelem
1:04:20	a teďka bacha ne po všech možných cesta ale poté úplně nejlepší cestě
1:04:26	tak zkuste tak nějaký návrh
1:04:36	prosím
1:04:39	bude počítat
1:04:42	ale tak pozor tak já vám tam napíšu B vzoreček kterým sme tu alfu _e
1:04:47	které sme tu alfu počítali jo
1:04:49	takže alfa je
1:04:50	ste se počítala jako všechny možný předchozí stavy Í
1:04:57	_e jejich _e něj alfa
1:05:01	a texture tam bude
1:05:04	_e
1:05:06	přechod sorry ste i mínus jedna pardon
1:05:12	zda P T mínus jedna
1:05:15	přechodová pravděpodobnost _e T je a současnej vyslání současnýho
1:05:23	vektoru jo tak takhle jsem počítal
1:05:26	takhle jsem počítal alfy tak mě zkuste říct
1:05:29	_e jaká tam bude změna když budu počítat pouze s tou nejlepší cestu
1:05:36	a poradíme to smazání jednoho symbolu a přepsání třeba písmenka
1:05:42	no
1:05:43	dobrý
1:05:45	a nahradili maxem přesně tak
1:05:47	jo
1:05:49	takže jinými slovy když sme tady v tomhletom puntíku
1:05:53	tak nebereme v úvahu
1:05:55	obě dvě ty předchozí cesty ale berou v úvahu jenom tu kterou která je tlustší
1:06:00	která mi dá lepší hodnotu a tu druhou prostě takhle kimonu neberu ji úvahou vůbec
1:06:05	a zkuste si uvědomit analytik analogii T dynamickým
1:06:11	_e borcení času dete dvojí béčkem
1:06:14	my se vlastně úplně stejně byl jsem nějakým puntíků té _e matice jak se to
1:06:19	menovalo
1:06:20	částečných kumulovaných vzdáleností ne a teďka sem vlastně _e vybíral
1:06:25	odkud se tam dostanu s největší
1:06:29	pro s nejmenší možnou hodnotou
1:06:31	to sem vybrala ty ostatní sem zapomněl
1:06:34	jo tak N při výpočtu viterbiho se to bere naprosto stejně
1:06:39	a když potom dojdu do posledního času a do posledního stavu
1:06:46	tak _e
1:06:48	budou mít
1:06:50	tady
1:06:51	vtom puntíku nikoliv baumwelchovu ale viterbiho pravděpodobnost té o M
1:06:58	která bude vlastně maximum přes všechny možné stavové sekvence
1:07:04	vyslání vektoru o po těchto stavových sekvencích akorát že to _e akorát že to rozhodnutí
1:07:13	nedělám až na konci tedy jako když se podíváte na tu definici tak bych je
1:07:18	měl vlastně jako všechny si vymyslet
1:07:21	všechny spočítat a pak vybrat maximum a tady to míněním tady to maximum vlastně vybírám
1:07:27	lokálně v každém stavu v každém čase a když dojde na konec tak už to
1:07:31	maximum a motole
1:07:33	jo takže to úplně přesně stejné jako při počítání
1:07:37	_e D C dvojtečka
1:07:40	_e prostě
1:07:42	jak se řekne X hospic česky
1:07:45	výčet vyčerpávající prohledávání všech možností sem nahradil
1:07:50	_e výběrem ten nejlepší možnosti s každým uzlu mýho počítání
1:07:55	tak
1:07:57	a _e teď si pod dnem říct jak se tady tohleto dá implementovat co nám
1:08:02	to totiž _e v nám totiž pomůže ještě dál implementuje se toho pomocí takzvaného tokenpassing
1:08:09	a nebo u mě předávání půllitru
1:08:12	a vlastně graficky se to mohli už vidět na těch _e lukášovi k animací které
1:08:17	jsem vám tady předváděl _e které sem vám tady předváděl minule jo
1:08:22	inicializace probíhá takže vožice prázdný půllitr do každého vstupního stavu modelu
1:08:28	potom
1:08:29	_e iterujeme
1:08:31	kdy vlastně
1:08:33	_e kdekoliv
1:08:35	máme
1:08:36	ten
1:08:38	graf který se nám někam
1:08:40	_e někam takhle sdělí
1:08:42	_e sem
1:08:44	vjeď ku teda
1:08:46	sem miječku a sem _e sem čase to je
1:08:51	tak pokud se mohu dostat do nějakého dalšího stavu F prostě ten půllitr vezmu
1:08:56	a pošlu
1:08:58	do každého s těch následujících stavu
1:09:02	po cestě do toho půllitru dole ju
1:09:05	logaritmus a
1:09:07	příjde
1:09:09	plus logaritmus to je vysílací pravděpodobnosti byl
1:09:12	koncovém stavu
1:09:15	a pokud se mi v nějakém stavu se jde více půllitru
1:09:20	tak _e musím být kruťas a nechat jenom ten co má větší hodnotu adresoval menší
1:09:25	hodnotu tak _e tak zabít nebo vy Y vyhodit rozpor
1:09:29	tak
1:09:29	teď prosím vás se mně řekněte jak je možný že tady najednou jako _e začíná
1:09:34	začínám pracovat za S lokalit máma
1:09:38	a že je to takhle jako jednoduchý a předtím když jsem počítal baumwelch je tak
1:09:41	tam řádného velikými nebyly
1:09:45	které se používají taky samozřejmě ale to je to složitější
1:09:49	jak to že teďka si můžu dovolit tak jako projev pohodičce to všecko přepsat do
1:09:54	logaritmu
1:10:03	tam zkusím
1:10:04	přehodit _e ty zápisky
1:10:06	zkuste se podívat _e na původní stav tady tento
1:10:10	tady této rovnice
1:10:15	u
1:10:19	tak
1:10:20	já tam suma
1:10:21	logaritmu je se suma dobře
1:10:24	teďka tam suma není
1:10:27	teďka je tam _e k
1:10:33	a najednou jako je to všechno bezvadný protože vidíte že v této _e v této
1:10:39	rovnici není jedinej součet
1:10:41	sou tam pouze součiny
1:10:43	a součin se krásně převádí prostě na logaritmy takže když si
1:10:48	jenom napíšete log tady přes to všechno takže to log _e je T rovná se
1:10:53	_e sorry teďka už tam nejsou alfy protože _e vitter bod viterbiho částečný
1:10:59	pravděpodobnosti většinou _e značíme jako _e skorkov íčka
1:11:04	takže log svíjet E bude má
1:11:08	to je todle dobrý potom je tam C E
1:11:12	_e té
1:11:13	mínus jedna
1:11:16	co tam mám sandál
1:11:18	plus že jo plus logaritmus _e
1:11:21	a je
1:11:24	plus logaritmus
1:11:26	B
1:11:27	je
1:11:29	no C
1:11:32	jo takže v pohodě to přepíšeme _e a implementujeme to V logaritmy
1:11:38	tak to probíhá
1:11:39	rozpoznávání a pak prosím vás jako když přicházejí vstupní vektory
1:11:44	tak _e necháme _e C modelem pro lítá what _e pro lítala půllitry
1:11:49	_e když dojde na konec
1:11:52	tak jenom musíme vlastně zařídit aby se ten půllitr _e dostal ostrého _e z toho
1:11:57	mého
1:11:58	toho mého modelu
1:12:00	to znamená _e mám tam nějaký _e poslední
1:12:05	poslední vektor
1:12:07	poslední stav modelu
1:12:10	a abych ten půllitr dostal ven tak vlastně jenom
1:12:14	takže sem vám říkal když i muži _e
1:12:17	se
1:12:27	to je vše co se nemá rádo
1:12:30	tak
1:12:31	když mám vlastně tady _e tady ten graf
1:12:34	a _e tady je poslední opravdický čas ste
1:12:38	a je tam poslední vysílací stav modelu tak já mám vlastně poslední krok který musím
1:12:43	učiniti
1:12:44	a toho s toho modelu vylézt
1:12:46	a lezu ven o logaritmické _e pravděpodobnosti a
1:12:51	N
1:12:52	mínus jedna
1:12:53	_e jedna to je prostě ta úplně
1:12:56	je to úplně poslední
1:12:59	a ten _e půllitr který odeberu tady na konci
1:13:06	mě prosím udává
1:13:08	logaritmickou viterbiho pravděpodobnost vyslání sekvence vektorů tím modelem po nejlepší možné cestě
1:13:17	tak
1:13:19	_e
1:13:21	teď prosím
1:13:27	zase vypomůžu tady tohoto prezentaci
1:13:30	skutečně mu
1:13:32	pro s tomu ty
1:13:33	mediální představení
1:13:35	a
1:13:38	chtěl bych abychom se vrátili
1:13:40	_e vůbec tomu
1:13:42	původním problému rozpoznávání co je naším úkolem
1:13:47	naším úkolem je
1:13:49	rozpoznat když máme tady na vstupu nějakou promluvu
1:13:55	nějaký slova třeba jest nebo know bysme se teďka naučili
1:13:59	vyhodnocovat
1:14:00	tady tuhletu pravděpodobnost že sekvence vektorů byla produkována modelem slova je s
1:14:08	anebo že sekvence vektorů byla produkováno modelem slovanů
1:14:12	teď smím úkolem je rozpoznání vlastně co
1:14:15	co udělat
1:14:17	aby ty slova rozpozná tak my si tady tyhlety dvě pravděpodobnosti nebo likelihoody můžeme vyhodnotit
1:14:22	co myslíte že sou tady _e že sou tady ty hodnoty P je saténu co
1:14:27	to je
1:14:30	vidíte z nich nějaký data
1:14:33	vstupní nějak i
1:14:35	jako promluvte rabicka přišla
1:14:38	no jo ale já se ptám jako tady na toto na té jestli naplněnou jestli
1:14:42	to vidíte v nich
1:14:45	ne
1:14:46	v tom žádný nastane jsou to znamená P je schopen O sou jaký pravděpodobnosti
1:14:52	apriorní super
1:14:53	a jaký by bylo takový jako unk třeba doporučení
1:14:57	jak je nastavit
1:14:59	půl přesně tak jo pokud člověk jako nechce
1:15:03	před přiklonit ani jednou ani k druhýmu tak by bylo dobrý jeden a půl
1:15:07	takže _e tenhleten modýlek vyprodukuje jedno číslo
1:15:11	to je vono krát půl tahle modýlek vy po roku je druhý číslo to je
1:15:15	vono krát půl no a teďka prostě když to čísílko je větší tak řeknete že
1:15:20	to bylo jestli bych tohle větší tak řekne ze když to bylo know
1:15:24	tak
1:15:25	_e teď prosím vás ale bychom mohli možná si to dělat něco chytřejšího
1:15:31	a to chytřejší bude rozpoznávání _e spojitých šlo
1:15:38	jo nějaká promlouvá která _e
1:15:41	třeba bude mít _e za úkol rozpoznávat sekvence slov kočkopes
1:15:47	vo může být slovo kočka může být slovo pes
1:15:50	a ona by nám _e když řeknete kočka kočkopes
1:15:55	tak by měla
1:15:56	přesně
1:15:57	přepsat co ste řek
1:16:00	tak
1:16:01	očekávám vaše návrhy jak to budem dělat
1:16:05	nebo mí nebyl ní příklad když se to dělat třeba vytáčení telefonních čísel hlasem
1:16:10	jo máme čísla prostě vod nuly do devítky křížek hvězdička
1:16:14	to číslo může mít
1:16:15	op
1:16:16	_e nevím očistit do
1:16:18	deseti
1:16:19	čísílek
1:16:21	a vy máte rozpoznat
1:16:22	jak to udělá
1:16:28	nemáme se
1:16:30	to by bylo jednoduchý K ale nemáme
1:16:39	jo takže rozpoznávání spojitých
1:16:43	spojených slov
1:16:50	a kolik ano survey zapojíme ale jakým
1:16:53	přesně výstup na vstupu děláme takovou smyčku
1:16:56	kde _e řeknem
1:17:00	_e kde řekneme
1:17:03	dobrý
1:17:04	_e když _e bude to funguje to standardní skrytý markovův model akorát že bude trochu
1:17:10	složitější budou tam lítat _e ty piva do kterých se bude do líbat tady kliku
1:17:16	a když nějaké pivo
1:17:18	vypadne tady toho posledního stavu
1:17:21	tak se vrátí
1:17:23	do prvního stavu zase se prostě ostrov split ne
1:17:27	no všech možných _e modelu
1:17:29	a může se pokračovat dál
1:17:31	tak a teďka akorát si uvědomte E s
1:17:35	tady budeme mít prostě teda tu krásnou promluvu
1:17:39	vod do
1:17:42	která se mi
1:17:43	převede do _e do sekvence
1:17:47	vektoru s akustickými parametry že jo tady bude čas jedna tady bude časté
1:17:53	a _e
1:17:58	tady bude časté _e teďka co uděláme
1:18:03	co uděláme v čase T když ta promluva skončí
1:18:09	no právě tak tady v tomhletom posledním stavu modelu
1:18:13	budeme mít takovýhle velký škopek
1:18:16	S pravděpodobnosti
1:18:18	logaritmickou která bude třeba mínus šest tisíc osum set sedmdesát dva
1:18:24	tak a teď mně řekněte jestli jako sme
1:18:27	epic tady s tímto výsledkem nebo ne
1:18:40	asi na jeho protože když sme měli izolovaná slova
1:18:43	tak sem tam měl dva různý modely jeden byl na kočku druhý byl napsat každý
1:18:48	mně dal nějaký ohodnocení já jsem ta ohodnocení srovnala to co bylo vyšší tak vyhrálo
1:18:53	a rozpoznal
1:18:54	teďka je to takový zlý protože já mám jenom jeden model
1:18:59	potřebujeme trasu klimat došlo a jak by se teďka _e to zařídili co
1:19:04	co takhle
1:19:08	že dobrý ale pozor já vám to začne trochu vrtat maximum se vlastně vybíralo třeba
1:19:15	tady
1:19:17	teďka tady
1:19:19	maximum se vlastně vybírat po každým stavu
1:19:23	tak _e budeme vopravdu jak of bude chtít maximum
1:19:30	tak perfektní že těch děkuju je to naprosto přesně tak mi vlastně musíme _e kontrolovat
1:19:37	těžko píky který nám tady během token pásy nebo pivo passing algoritmu vycházejí tohoto stavu
1:19:43	a pamatovat si jaké sou odkud vylezli
1:19:47	jo když to když to řeknu _e jednoduše to znamená my tady doplníme nějaké
1:19:53	pseudo stavy
1:19:54	ten _e nebudou generovat žádné pravděpodobnosti
1:19:58	ale budou zodpovědné za to
1:20:01	že na ten škopek
1:20:02	který poletí zatím čtverečkem
1:20:05	se napíše
1:20:08	_e se napíše identita toho slova _m odkud _e odtud odkud ten škopek bylo to
1:20:14	znamená tady nissan absolvován
1:20:16	tady by se napsalo na nějakou kartičku tu a tak dále a samozřejmě tady ta
1:20:20	červená čára potom s těch škopku vybere _e vybere jeden
1:20:25	terry přežije
1:20:26	a který se vrátí na vstup
1:20:28	ale už bude mít na sobě kartičku a na té bude napsáno že _e že
1:20:33	_e vyletěl veslovat u
1:20:35	jo takhle to bude skutečně se všemi škopky které nám tam budou říkal s našim
1:20:39	algoritmu
1:20:41	a až nakonec
1:20:43	vypadne ten velký škopek
1:20:45	který bude mít
1:20:48	svou
1:20:49	likelihood která nám vůbec nevadí která nás moc nezajímá
1:20:53	tak bude mít prosím tak je
1:20:55	popsanou kartičku identitami slov
1:20:58	ve kterých V lítal jo a tady tohle
1:21:01	je prosím
1:21:03	to co
1:21:04	to se potřebuju
1:21:08	tak _e jinak tak ať íčka
1:21:11	to se N řeší tak může vlastně každý token nebo každý škopek má na sobě
1:21:16	nějakou struktura strukturu která sem nebral klink rekord
1:21:20	wall or
1:21:22	a při průchodu těmi čtvr a ty mi stavy se do té struktury něco napíše
1:21:26	jo ale to budete potřebovat až kdybyste chtěli něco takového implementovat
1:21:31	tak že jo takže tady je _e v je to
1:21:35	zobrazeno
1:21:37	tak prosím vás kornetistka rozpoznávání ještě trošku
1:21:41	že trošku dále
1:21:43	tady je vlastně _e
1:21:45	s obrazem ten _e ten případ kdy sme měli _e kdy sme měli teda rozpoznávání
1:21:51	dvou různých slov
1:21:54	S možností vracení začátek
1:21:58	s tím že tady budu mít i _e stavy které vlastně mejdlo jí procházející token
1:22:04	i nebo škopky a dávají jim jak identity
1:22:08	tak _e tetě
1:22:11	prosím _e se poďme trochu podívat zpátky na natrénováním modelů
1:22:17	no jasně
1:22:26	no
1:22:36	_e vona tam většinou ani nebývá to mezerami číslo ale takhle uvědomte si že tím
1:22:40	že tou čárkou poslední červenou
1:22:43	tady tímhle tím stavem
1:22:45	že projít _e jeden škopek _e s každým s každým frameu
1:22:49	jo to znamená každý čas každých deset milisekund tam letí jeden škopek není to tak
1:22:54	že by tam jako letěl jeden jako po konci slova mi ani nevíme kde konec
1:22:58	toho slova je jo to znamená každých deset milisekund automata s tam letí škopek
1:23:04	a jsem
1:23:08	ano
1:23:09	ano to se rozskokové na dalších devět
1:23:12	a je to také krok pozor tady toto jednoduchý příklad kde opravdu se trošku pokovená
1:23:17	dalších devět
1:23:18	a všechny škopky dokážeme udržet paměti že děláte nějaké rozpoznávání s velkým slovníkem
1:23:25	který má z dejme tomu padesát tisíc slov a všechny slova sou mezi sebou propojeny
1:23:30	ještě nějakým a jazykovým a pravděpodobnostma ke kterým se dostanem
1:23:34	tak tam všechny škopky nedokážete držet paměti o tom se potom musí dělat nějaký pruning
1:23:38	vy vlastně řeknete budu mít s každým čase aktivních jenom tisíc škopku a všechny ostatní
1:23:44	prostě wiki rujete _e a nenecháte dál žít a budete propagovat jenom těch tisíc aktivních
1:23:50	jo to toto jako vopravdu je potřeba pak při velký rozpoznávačích řešit
1:23:55	tady bysme se dokázali představě že ty škopky opravdu lítají s každým čase každým stavu
1:24:01	všude
1:24:03	a teďka si jenom uvědomte když tady je slovíčko ován
1:24:08	tedy _e který trvá já nevím _e který trvá půl
1:24:14	_e
1:24:15	půl sekundy jo
1:24:18	za jak dlouho tady tohle stavu vylítne první škopek
1:24:23	ne
1:24:26	ano takže po štvrtým jo po štvrtým _e stavu
1:24:30	už tady tento model začne vyhazovat
1:24:33	začne vyhazovat open i
1:24:36	jo ale
1:24:37	jejich kvalita nebude nic moc
1:24:39	protože vlastně se mi
1:24:42	čtyři vektory které jsou tady na začátku natáhnou na čtyři stavy který mají reprezentovat úplně
1:24:47	jiný lásky to znamená
1:24:50	budou to nějaký hrůzy
1:24:52	když se budete ale ten moc model vopravdu bude produkovat
1:24:56	token každej deset milisekund jako mašinka hodin
1:25:01	když se budete blížit konci tady tohoto slova
1:25:06	tak že toho modelu začnou vyhledávat kvalitní škopky
1:25:11	proč
1:25:12	protože prostě je sežer a vy si správný stavy tohoto modelu
1:25:18	to znamená budou to škopky který budou mít dobrý hodnoty
1:25:22	a když se potom _e dostanou dál do toho C E a budou se srovnávat
1:25:27	trošku kam a který vlítnou vodsaď tak budou mi hod naději na to že to
1:25:32	tady tyhlety škopky přežijou
1:25:34	no a potom pojedou dál prostě do _e do mlýnice a pak se to stejný
1:25:39	zopakuje druhým slovem a tak dál a tak dál
1:25:42	jo to znamená _e to _e to rozhodnutí
1:25:47	jak jsem měl vlastně ve své promluvě nasegmentovaná slova jestli to bylo prostě vo vánoci
1:25:52	_e stáhneš
1:25:55	a tady mezi nima byly nějaký hranice takto neděláte během toho rozpoznávací v algoritmu
1:26:02	ale dělat do až na konci protože se podíváte na kartičku
1:26:06	S líbila má která je na tom úplně posledním vyhrávaj tím skok
1:26:11	jo a děkuju tohleto byla velice dobrá otázka řekl
1:26:15	tak _e poďme se teďka podívat
1:26:18	jak to bude trénováním
1:26:20	_e modelu nějaký složitějších _e když třeba nebudu mít rozpoznávač tady jako hle tady nějakej
1:26:28	dvanácti číslo vek ale
1:26:31	padesáti tisíc slov
1:26:33	což je takovej standard pro angličtinu pro češtinu tak tři sta tisíc slov aby to
1:26:38	trošku fungoval
1:26:39	tak jak si myslíte že budem trénovat
1:26:42	zase jako aby model stálo za to
1:26:45	tak potřebuje mít k sobě aspoň
1:26:48	deset ale radši sto
1:26:51	trénovacích promluv
1:27:07	jo tak
1:27:08	představte si že budu mít natrénovat takovédle rozpoznávače teďka jako sto musím sehnat samozřejmě nějaký
1:27:14	data
1:27:16	a _e
1:27:17	u straně popovídat tak bity data měli vypadat
1:27:24	tak _e kdyby tady šlo nějaký kraviny jako třeba _e číslovky jedna nebo slova pes
1:27:29	počkat tak byste možná našli data nějaký zprávy nebo já nevím kdyby se slovo pes
1:27:34	objevovalo sto krát
1:27:35	kočkami tom taky oblast okna to znamená měli bychom šanci
1:27:39	_e tady tyhle modely natrénovat
1:27:42	teďka
1:27:44	_e vy tam byste ale chtěli aby to dobře fungovalo i na slova to kůlny
1:27:49	o ne jiné obhospodařovat silnějšími
1:27:52	a to byste možná jako prošli celý archiv české televize _e celý rok a to
1:27:55	slovy se tam našli jednou nějakým zábavným pořadu
1:27:59	a na takovým slovy byste natrénovali velmi špatný model
1:28:03	na jednom takže
1:28:04	X na to pude
1:28:15	jo teďka de o to abysme postavili modely na který budu mít dost trénovacího materiál
1:28:25	_mhm není sou drazí
1:28:27	nech nechci dělat
1:28:29	a to rozpoznávač teda za týden nemůžete nemodlí
1:28:39	_e
1:28:40	na to byste možná právě to celkové rozpoznávač tak _e řekl určitým nentek
1:28:44	velice slepice problém _e tak jako musíme to rozsekána menší jednotky ne když nepůjde natrénovat
1:28:51	model na slovo pes a na strana tým jako na S _e na kočka půjdou
1:28:57	ale na ty složitější slova nepůjdou takto budeme
1:29:00	hned rozdělit na nějaký jednotky a udělat jednu udělat modely tady těch malých jednotek
1:29:05	a s tohoto potom poskládat a co myslíte jak jednotky tak asi budou
1:29:11	jsme na přímo na jako základní zvuky řeči souhlásky že jo nebo fonémy sečtu budou
1:29:16	modely fonémů tak _e to bude vypadat tak
1:29:19	když budeme chtít udělat slovo je s
1:29:22	tak tam bude model
1:29:25	fonémů že jo
1:29:26	_e
1:29:27	S
1:29:29	a dohromady
1:29:30	tam to bude tvořit slovo je
1:29:33	my vlastně zřetězením _e tady těch tři modelů dostaneme zase normální markovův model
1:29:40	a s toho potom budeme moci ty slova
1:29:43	kdy skládat jo to znamená _e
1:29:46	pokud chceme udělat jo rozpoznávač tak takový velice užitečné je slov ován trumfli
1:29:52	tak to bude vypadat nějak takhle u vána čudu
1:29:56	vy
1:29:57	tak tady zase vidíme E volby
1:30:01	link node i
1:30:03	který má když provalí nějakej token
1:30:06	tak _e tak se to méně napíše
1:30:09	a pak to může jít tedy pěkně
1:30:11	na začátek
1:30:13	tak a co si myslíte že sou tady ty pí one kýtu a P s
1:30:16	V
1:30:21	zase jsou to nějaký pravděpodobnosti že jo
1:30:23	ale sou to pravděpodobnosti který nevidí žádný vstupní data žádný akustický vektory
1:30:28	toho že něco se generuje podle akustických vektoru je schovaných těch
1:30:32	těch kolečka
1:30:35	tak
1:30:36	asi
1:30:37	tam pořád na stejný věci to sou nějaký pravděpodobnosti že jo jaký
1:30:41	apriorní jako
1:30:43	tak takhle jako že bychom dávali apriorní pravděpodobností nějakým izolovaným slovům to asi nebude _e
1:30:49	moc _e moc nutný nebo
1:30:52	jako nebude to moc užitečný
1:30:55	ale už si můžeme _e zkusit představit
1:30:58	že budeme dělat něco složitějšího
1:31:01	a tam budou chtít _e za drát ovace vztahy nebo pravděpodobnosti mezi těmi danými slovy
1:31:09	jo podmíněnou pravděpodobnost
1:31:11	slova tu
1:31:13	když předtím bylo rozpozná viny slovo one
1:31:17	podmíněnou pravděpodobnost slova Q když předtím bylo rozpoznaný slovo tu a tak dál
1:31:24	tady tohle _e se menuje
1:31:27	bigramový jazykový model
1:31:30	digram proto čtem vlastně mám dvojice slov
1:31:33	na nichž počítám jak i pravděpodobnosti
1:31:37	a zase jako _e rozpoznávači slov u want úsilí
1:31:41	nám to asi moc nepomůže ale teďka si představte že _e rozpoznávat E s řeč
1:31:47	s velkým slovníkem
1:31:49	a teďka tam máte prostě _e akustika nebo
1:31:54	to je tyhle vlekli užitých těch more kolečka si nejsou moci sty jestli tam bylo
1:31:59	slova _e slovo prezident _e prezident václav klaus sálem nebo prezident pačes plavu
1:32:09	jo a tady už asi
1:32:11	cítíte že nám ty jazykový pravděpodobnosti nějaký bigramy
1:32:16	můžou pomoct protože podmíněná pravděpodobnost slova václav
1:32:22	když předtím bude prezident bude asi docela velká podmíněná pravděpodobnost klaus když předtím bylo václav
1:32:29	bude asi taky docela velká když to ty vostatní budou asi docela malý
1:32:34	tak kromě zkuste říct _e kde se tady tyhle pravděpodobnosti podmíněny vezmu
1:32:41	si
1:32:43	_e noviny jo ale jak jaké budu počítat
1:32:52	no
1:32:53	no přesně tak za rok dokázali bysme napsat nějakym vzoreček třeba když jako mám u
1:33:00	podmíněnou pravděpodobnost _e
1:33:03	_e slova
1:33:05	klaus
1:33:06	když václav
1:33:10	tak zkusíme sme na dohromady _e
1:33:13	jak by se to dalo vyhodnotit
1:33:15	na velkým korpusu no novinových dat
1:33:34	no přesně tak
1:33:35	jo takže normy tam vlastně k aut
1:33:38	já to budu značit takovým a tím křížkem count
1:33:41	slov
1:33:42	václav
1:33:44	klaus prázdné slovo ale sousloví takhle jo
1:33:48	lomeno count M
1:33:50	_e václav no a
1:33:52	příklad za naprosto přesně
1:33:54	takhle se skutečně o rádio u _e pravděpodobnosti digramu je to zase jako samozřejmě a
1:34:00	pak byste to mohli rozšířit na trigramy for gramy a tak dále ten tohleto schémátko
1:34:06	už tam bylo
1:34:07	o něco _e složitější
1:34:10	a jen jenom tak jako zkusíme ťuknout to si myslíte že tady u těch jazykový
1:34:14	modelu bude trochu problém
1:34:17	N provede ta jasný ale člověk jich jako dycky někde může stáhnout nebo nakoupit nebo
1:34:24	_e na webu je spousta dat srandovní
1:34:30	můžou být neaktuální toto ve velice dobrý když třeba rozpoznávat _e nějakou novou doménu
1:34:35	těch _e i třeba bysme tady dělali přednáškový systém na sítko
1:34:39	tak sme měli nějaký jazykový model který byl udělaný na obecnej českých datech jo jakým
1:34:44	pražský mluvený korpus brněnský mluvili korpus
1:34:47	další korpusy
1:34:50	moc to nefungovalo
1:34:51	jo takže museli jsme vlastně vzít doménový data
1:34:55	chlapci chrousta vy všechny studijním
1:34:58	podpory které jsou tady k dispozici na fit ku
1:35:00	a napočítali z nich _e jazykový model _e se potom vlastně smíchal v interpolováno s
1:35:07	tím standardním českým a začalo to nějak fungovat tak že tady toto je dobrý ale
1:35:13	eště další problém
1:35:15	co třeba když budete rozpoznávat větu
1:35:18	_e
1:35:19	umřel mýmu limon či část macourek
1:35:23	a v životě se trénovacích datech neviděli spojením on syčák macourek
1:35:31	jo když to vezmete čistě _e čistě pravděpodobnostně a procházeli byste tady takovouhle
1:35:36	takovouhle sítí
1:35:38	tak tam prostě budka spojnice mučíš a macourek vůbec nebude anebo tam bude admit bude
1:35:43	mít hodnotu nula
1:35:45	a tím pádem tady tato věta nemůže být nikdy
1:35:49	rozpozná
1:35:50	tak _e kdybyste na to šli
1:35:55	_e dobře jako konstantu jo ona se používají takový techniky jako tak zvaný B kofein
1:36:02	_e backoff _e jako ústup nějaké pozici jo takže já bych chtěl
1:36:06	hodnotou by gramům on či část macourek ale já je nemám protože sem neviděl trénovacích
1:36:11	datech takže můžu ustoupit o krok zpět
1:36:14	a říct tak teraso ryby gram nebude tak bude aspoň ne gram
1:36:19	a _e možná že už sem viděl nějakou pravděpodobnost _e slova macourek
1:36:25	jenom toho jednoho slova
1:36:27	já už samozřejmě dokážu navazovat nějakou pravděpodobnost _e nějakou konstantou a použiju místo B gramu
1:36:33	pravděpodobnost tady tohle mikro mu jo
1:36:36	o tom jako když byste chtěli vědět tak se přihlaste
1:36:39	_e pavlas marže do zapojil zpracování přirozeného jazyka
1:36:43	protože tam se tady tydle vědy docela _e docela dělají dobrý takže jako víme jak
1:36:49	by v zhruba fungovalo
1:36:51	_e rozpoznávání
1:36:53	_e tady s těmi _e s těmi foném ovými modely a trošku sme si řekli
1:36:59	vo jazykových modelech
1:37:00	a možná dokonce přednášky se poďme pobavit potom
1:37:05	jak by se takový fonému V modely
1:37:08	dali natrénovat
1:37:10	tak já vám řeknu _e co typicky bývá vstupem
1:37:14	takovýhle trénování
1:37:19	_e
1:37:23	true
1:37:28	no domluvit se tady zmizet je to dole
1:37:33	tak
1:37:36	_e vstupem trénování
1:37:38	vopravdu rozpoznávače s velkým slovníkem který je založený na fonémech
1:37:43	bývá třeba sto tisíc wavek
1:37:50	jo tady nebudu malovat všechny ale prostě
1:37:54	vždycky wavka a u toho máte textově zapsány _e co je vevnitř
1:37:59	takže
1:38:01	ahoj ferda
1:38:03	tak je tam další _e wavka
1:38:05	a tam je prostě mravenec šel nakoupit semestru takové _e znáte ke každé masce
1:38:11	textové předpisy
1:38:13	a naším cílem je zeť _e při
1:38:17	trénování
1:38:19	mít
1:38:20	sadu modelu
1:38:22	_e tady je prostě modýlek pro písmenko a tady je modýlek pro písmenko B
1:38:30	a tak dále náš pro písmenko Z
1:38:33	a každým to modeluje samozřejmě střední hodnota a nějaký ty směrodatný odchylky a tady jsou
1:38:39	nějaký ty přechodový
1:38:42	pravděpodobnosti jo
1:38:44	tak mi z asi před chvilkou ukázali jak tady toto perfektně zvládneme
1:38:48	když mám jednou promluvu mám jeden model o kterým víme že _e budu na té
1:38:55	promluvě trénovat
1:38:56	a pak sme si tam prostě nadefinovali nějaký jako L je se to magický čísílka
1:39:02	pomocí zalijete sem to všechno zvládnu
1:39:05	a teď tě
1:39:06	sme poněkud těším
1:39:08	případě
1:39:10	kdy mám velikánskou databázi dat
1:39:13	máme ke každé vase textový přepis a to je všecko
1:39:18	tak zkuste poradit
1:39:21	co bude
1:39:30	tak _e první _e první etapa
1:39:35	eště docela jednoduchá bude tak zvaný ditu P
1:39:39	grapheme to phoneme neboli převod slov
1:39:43	na fonémy
1:39:44	v češtině tady tohle docela v pohodě toto vlastně bych si mohl klidně přímo přepsat
1:39:50	do fonému
1:39:51	F _e rodeo tady bych _e třeba
1:39:57	jo sem _e
1:40:03	hrát
1:40:04	tak tady by to bylo trošku složitější že jo takže byste to
1:40:08	_e museli přepsat doméně L
1:40:12	asi by tam bylo polknu T mělo sem
1:40:16	S
1:40:17	_e hra to ale prostě nějak pomocí slovníku nebo pomocí nějakých pravidel bychom tady toto
1:40:23	zvládli to znamená ke každé promluvě teď mám sekvenci fonémů
1:40:30	a nevím kde které je
1:40:32	to znamená takový nápad jako že bych třeba vysekal s těch wavek
1:40:36	jako úseky který odpovídají písmenku S
1:40:41	jo vysekal bych to ze všech sto tisíc wavek a pak bych na trénoval model
1:40:45	S při předem zamítá
1:40:49	potřebujeme nějakou techniku která se dokáže vyrovnat s nesegmentovaný má trénovací má data
1:41:01	no
1:41:02	no toto do začíná vypadat dobře
1:41:06	takže _e já si T asi tady
1:41:09	udělám nějakou _e nějakou jednoduchou promluvu
1:41:13	dejme tomu
1:41:15	dejme tomu P
1:41:23	_e a pak by měl další moc _m promlouvat tam by bylo klepe jo
1:41:31	takže já si skutečně u téhle promluvy
1:41:34	vezmu
1:41:36	model
1:41:37	_e
1:41:38	_e a spojím je do jedno alenka a uvědomíme si prosím vás že vevnitř ty
1:41:44	modely fonému vypadají takhle že prostě každý má nějaký ty stavy _e nějaký přechody pravděpodobnosti
1:41:51	jo takže tady tohle bylo by bylo to je to _e
1:41:54	a u další promluvy bych zase _e udělal _e spojení modelu K
1:42:01	_m
1:42:02	_e
1:42:03	_e
1:42:04	_e
1:42:05	jo každej tady těchto modeluje normální korektní allen
1:42:11	teďka budu předpokládat že jejich _e že jejich _e
1:42:14	ne _e slušnej rozšířit jo je _e
1:42:18	že jejich _e parametry jsou nějakým způsobem inicializovaný
1:42:24	a já ta tak jak sme si to říkali tak si můžu klidně
1:42:28	u každýho s těchto _e těchto modelů vyhodnotit
1:42:34	ty měkké rozhazovat si pravděpodobnosti
1:42:38	který mě budou dávat jak bude který _e jak bude který
1:42:45	_e vektor náležet
1:42:48	kterému stavu
1:42:50	tady těchto
1:42:53	těchto modelu
1:42:54	jo
1:42:56	a teďka pozor
1:43:00	nebudu tady mít
1:43:02	_e tento stav
1:43:06	a tento stav který budou různý
1:43:08	ale protože sou to stavy který pochází z S T ze stejnýho foném ku tak
1:43:13	už budou vědět že tady tohleto je ten
1:43:16	stejný stav
1:43:18	tím pádem
1:43:20	_e pro ty červený
1:43:21	she pečky to znamená pro první stav
1:43:24	modelu pro
1:43:25	ta funkce L je _e já vám tam napíšu třeba L P jedna T
1:43:31	bude vypadat nějak takhle začátku hodně pak málo tak
1:43:38	tak tady zase bude
1:43:40	a tady zase nic jo
1:43:42	takže takhle sem vyhodnotil _e jednu funkci
1:43:47	_e jednu funkci _e
1:43:50	s mi říkali state occuppation likelihood tady tohle prvního stavu tohoto modelu na této promluvě
1:43:57	no ale já si tady toto samozřejmě udělám i na všech ostatních promluvách jo takže
1:44:02	takže _e teď prosím
1:44:05	si vezmu
1:44:07	_e teď si vezmu
1:44:09	další promluvu kde slovo klepe
1:44:13	jo
1:44:14	a
1:44:16	na tom slově klepe
1:44:18	udělám to sami
1:44:20	zase pro ten stejný ne stroj
1:44:24	protestem samý stav tohodle modelu
1:44:27	je to vyjede
1:44:29	někde
1:44:30	někde tady
1:44:31	jo a prosím vás tady tyto _e tyto funkce si uděláte pro všechny stavy vašeho
1:44:37	von nemovi ho
1:44:38	zvěřince
1:44:40	a potom _e jenom naznačit že když budeme neodhadovat
1:44:45	tak si prostě vezmu všechny
1:44:48	parametry tady téhleté
1:44:51	promluvy
1:44:53	a samozřejmě budu updatovat
1:44:56	příslušný akumulátor tady k tomu tomuhle stavu asi si dokážete představit že tady těchto pár
1:45:02	vektoru se uplatní protože budou váženy touto vysokou hodnotou těchto pár vektoru se uplatní
1:45:08	a ty ostatní se neuplatní jo
1:45:12	a potom si vezmu další promluvu a zase ten na tom akumulátoru se budou podílet
1:45:16	vektory které jsou tady po tímto kopečkama ty ostatní se neuplatní
1:45:21	a takhle si projedu všech svých sto tisíc trénovacích promluv
1:45:26	budu mít akumulátory
1:45:29	_e nultého prvního druhého řádu
1:45:33	pro já nevím čtyrycet tři fonému krásy stavy takže budují mít nějaký sto
1:45:38	sto dvacet nebo sto dvacet devět
1:45:41	pro si všecky trénovací data na konci vezmu
1:45:45	těhletěch sto dvacet devět akumulátoru a spočítám z nich nový parametry
1:45:50	svých stavu
1:45:51	jo a kouzlo na tom je takové
1:45:55	že skutečně
1:45:56	_e na začátku toho trénování vůbec nemusím tušit kde ty které fonémy jsou
1:46:04	když uděláte prvních pár iterací _e tak samozřejmě si to sou ty fonémy rozdíly nějak
1:46:09	rovnoměrně ale to totální hallův
1:46:12	ale pokud se podíváte na ty funkce zalijete tak zjistíte že po pár iteracích skutečně
1:46:18	si ty funkce L je to je přesně najdou ty své foném ty datech cache
1:46:22	až by člověk řekl že to je prostě nějaké kouzlo ale není to kouzlo je
1:46:26	to vobyčejný to vobyčejný baumwelch
1:46:29	a _e
1:46:31	optimálně si to ty
1:46:32	modely takle nastaví
1:46:34	jo takže _e
1:46:36	samozřejmě se tam potom musí jako řešit
1:46:39	další různé věci jako jak to optimalizovat jak to počítat C E
1:46:45	_e tak abyste nevyjeli dynamiky
1:46:48	kterou máte na počítači k dispozici a teda ten _e ale ta základní dále vopravdu
1:46:53	velice jednu
1:46:54	ano ve
1:46:56	konec přednášky příští pondělí si pěkně už víte
1:47:01	_e _m prosím vás nejezděte dopravními prostředky
1:47:05	jakými to se řídí
1:47:06	příští pondělí
1:47:09	a uspokojit ze silnice a uvidíme se za dva týdny na poslední přednášce
1:47:14	a na numerickém cvičení večerním

ZRE - přednáška 10.

2011

Jan "Honza" Černocký (Speech@FIT)