já sčítání na mojí přednášce
o zjev s
díky je ste přišli na opravu
letos jsem snažíme sme trestný trošku spoluorganizován tak snad
snad je spokojený a případně stěžujte to můžeme zlepšovat a co vám to líbí každý
a
asi nohy říct asi ve pestrý znáte neziskovku
dělané na komerčně virtuální host kostým virtuálních sledu ty naše virtuální sebe někam musíme ukládat
to vlastně
a používáme k tomu do s těžká open zjev s
vlastně veškerá data jsou na zjev eskou my nemáme data někde jinde takže
ten vývoj
to mi blízko takové _m a dneska bych vám chtěl říct
a co se za poslední rok dál
a kam vlastně open dřív _e směřuje dál
no takže si probereme
tak z rychlíku co se událo
release u nula sedum nula který vyšel v letošním červnu
a
potom
ne jenom tak jako zběžně
jelikož a to mám půl hodiny dolítnou ty největší novin který se teďka vaří upstreamu
sou jakoby zajímavý s pohledu nějakých větších na sezení
a
co se týče open z je fest nula sedum nula ní možná si budete pamatovat
obecně zjev esko nasazovali verzi nula šest něco že po pár dní partaj mu pokud
tam byly divoce procesy kterých je to bude je donutili ten systém nos klementová paměť
tak popadni a tady mu o
vlastně _e z je fast cash ark začal couvat
a pak už nikdy pořádně nedorostl a ty mašiny jak by končily
se spoustou hradby boulí paměti
která byla ale tak dost frekventovaná říct tesco nedokázalo dalo použít
no a řešení na
tohle pro bandu vysunout datové buffery se tak keše teda s fabriky šizou
té nejnižší jaderné paměti zeslabují
do
paměti alokované normálním lokátor entry se používá potom by pro uživatelský prostor
akorát v jádře se nepoužívá virtuální paměť takže vlastně já a je potřeba když chcete
třeba jako do té paměti nakešovány nějakých sto dvacet osum kilo bajtů
a dát tak je potřeba
vlastně ty data rozložit po více stránkách za sebou a tím pádem je potřeba si
někdo jiný trest seznam těch stránek
auto my vlastně _e vede že vlastně
nepoužíváme
slabej o velikosti větší než nějaký tvůj
příště z násobek stránky co vlastně
co vlastně ta doporučená maximální velikost alokace v jádře jinak
potom jakoby narážíte na problémy s rychlostí
a právě která a pdf to projekt přesunout data stih jaderných slohů do
normální paměti
a
využívající tiském skener bez vesty
projeví se to takže pokud vám to mašina běží idiote k normálně prostě ark zabere
tolik kolik má krásně nakešovány a systém se konat nebude tvářit že jako došla paměť
přitom prostě ukazuje že třeba při celý domem
na nějaké mašině
s třást dvaceti osmi
tady je krásně vidět o tom jak se to chová třeba po kopírování většího souboru
pořád dokola
předtím pečený vlastně ta
a jak chce je target velikost
areg cosi jako zjev esku myslí že kam až může jejích aby může nevyšel vlastně
všechno pane systému
a vypadne call prostor aplikacím no a vlastně na tom starém s systému hledání paměti
je vidět že jako se to na kolo konzistentně a po čase prostě když tam
nebo prostě žádný jako input a nebo pro to důvod tak prostě to tak je
tolik os tak spadla z infos pokračovalo mnohem míň než o
a tady potom vidět potom u pečování
že dneska u se to chová jako
další
teda na novinky vlnová sedmičce
je nestranný víc lidí komprimovaná ark pokud máte komprimované data se to je na disku
tak teďka i data nakešovány rámce té ark budou komprimovaná pokud se na ně přístupy
víc jak bych s krát
pak se tolerance nechají dekomprimovaná se furt netočil a na to co sou to sama
dekomprese
a přibyla vektorizace ryzí a
check samův večer čtyři to znamená
pokud máte nějaký
novější procesory co jako dneska pět let a starší
teda pět let ano novější a už vlastně mají všechny _e vejk se
a právě o nich to je ta optimalizace takže ryzí se počítá už teďka vektorových
instrukcích je nejrychlejší
a přibyly
nové check sami pokud děkuju nevěříte falešnou štyřice kde
statisticky může docházet nějakým kolizím
tak můžete posílit už tam byla šla dvě stě padesáti statika přibyla šlape se dvanáctka
další houby dneska jen anebo je dobré
a
další věc co byla žádána právě hodně na linuxu
bylo o
možnost _e kantova to
počet objektů v tom jenom daným fáze stanu protože
zjev pro s tím jako prostě nemá problém ale pokud vy si na to na
vytváříte milióny a milióny souboru pak je prostě projedete nějakýma šimkem něčím takovým
tak to vytvoříte pro takovou zátěž na třeba i no cash a podobně
že by ten kontejner potom jako není moc dobrej soused vůči ostatním no a
a jako
legitimní usecase na milióny a milióny že souborů
se jako tohle dá dost těžko
většinou to znamená že třeba jako
někdo zapomene umazala php sem fily a podobně
takže možnost to zavíst limit _e data set na právě počet lidí no do to
sama na objektů v tomto seznamu
jo je to podstatě ano tlemit jako by akorát že je pro se tomu neříká
je no ta lidí no
jak byli na počet
počet souboru nebo adresářů pod tím jedním no to se tam
a potom
jelikož vlastně celým tím důvodem po ta cena linuxu bylo používat zjev s na superpočítačích
a to znamená opravdu velký hromady disků a velký hromady j bodů tak ruce zašli
konečně pracovat na tom že
že to je můžete si třeba zablikat letku na místě prostě toho
mladýho disku tak teď rouše je to integrovaný se zjev _e skener vám automaticky rozsvítí
filmu tu letku prostě a
ty pozici
nebo to samý jako že takže třeba beru se notifikace o tom že budu že
tam vopravit posunutej disk
že třeba je možno s udělat aut replace
pokuď auto ripe zapnutý tak jako že byste to nefungovalo protože tam chyběla integrace právě
s linuxem tak jo nula sedmičky ušlo má lepší
a
spolu jakoby host
to kompresí se souboru těžce zabývali kluci protože
zrovna myslim dat _e nebo které který jako ste s větších firem který v její
zjev esko
mají hodně nízkej snad komprimované data
a třeba když ste teďka posílali data set nebo respektive snapshot komprimovaného datasetů tak jako
by
ten zjev _e stream se snažil být von i kompatibilnější mezi implementacemi
a tak aby to přečetla třeba ještě voda klín klementa c jenže to pak má
tebou nevýhodu že třeba data set který se jako zkomprimovat desetkrát pokud a máte nějaký
nikoli měřit ty soubory
a
bude na to poslání mít desetkrát větší velikost
a
možno stresu nebo sem discích
to asi znáte pokud je přesto používáte a máte třeba data
v jednom velkým no to se tu dejme tomu já bych měl třeba u sebe
notebooku lomeno hmotnost nakládal to nemám moc
rozbitý na
když si chci zálohovat po nějaký nestabilní lince
tak jako by když nespadlo připojení po často se mnou tak se mu celý jsem
začít znova a protože nebyla možnost na navázat a jakoby v momentě kdy to kdy
ten krysích na test kdy přijímající zradě spadnul
ta tak
to z irsko vlastně od mazalo všechno přijatá data muselo začít nanovo
a teďka na tom místě to přímá ní zůstane do tohoto zůstanou
pokud dáte flag rysy ju to mínus pes
a
na tom datasetů si vy čtete že není
do poslaný ale na to can na navázání předloženého sedum
a tomu sem dopad předáte ten docker na a u
on ví vlastně fuk které pozici toho snapshot u
se pokračuje
a z řípu a jeho státu mínusu w jo a r
se podívám potom s produkci
vlastně
vidíte life co mám na zjev esko chodí za request _e
histogramu pěkně bolo po latencích
po prostě nanosekund áčko jako desítky sekund vidíte a jednotlivý request i kam se umístí
leje a jakoby jestli náhodou vám třeba jakoby
neblbne někde nějakej disk že se jako request is použiju třeba trvají prostě deset sekundu
se nemá stát
tak tady to pěkně uvidíte
no a je možno zapózovat zkrat co jako doteď našlo když vám třeba jako vypadnou
disk nebo ste
pustili s krapet hotovo
a pouze přerušit dneska je možno stopa uznal
a byste jako
měli možnost kouknout jestli se to pole se chová dobře
a jestli jakoby není přetížený reálně aplikacema nebo pokuď je tak máte možnost právě jako
by si ten zkrat nechat na noc prostě líbí už není taková zátěž
no
a co teda bylo zjev neska přidat přistálo nedávno a bude to váš nějakým zjev
a jsou mínus nula osum je podpora nativního šifrování
aha
vlastně to šifrování je vlast ústavu mohli dělat teď
takže ste si zašifroval i ty jednotlivý blokový deva jsi a ukládá lidé vlastně benzínku
váš potom na nahoru pivo šifrovaný blokový deva jestli
me nevýhoda takovýho přistupuje že pokud mám třeba dva disky míru tak
na procesoru efektivně šifru dvakrát abych volil ty šifrovaný dopr vždycky na
dva bloky v a jsi
pod tím drnem
no a
pokud by zjev esko bude vědět o tom šifrování tak pokud teda ta přímá taky
může rovnou zašifrovat a pak na miro duše už du prostě dvakrát zašifrované
a
takže tady výkon je to vlastně jakoby číst implementované vtom že to zjev esko o
té o ten věci ví ale přesto jakoby neklade zpráv co vy klacky pod nohy
je správce nepotřebuje k tomu aby mohl třeba řeknou ty konzistenci pole
tak nepotřebuje vidět klíče
tím jak je to navržené vlastně
to že jsou to ta data která uživatelů že osa jsme schopni verifikovat i bez
klíče
no a teda vlastně které bloky jsou o potom šifrované pokud to šifrování používáte
tak pokud si představíte ten stromeček zjev eskadro se ukládají data tak vlastně šifrovaná sou
ty úplně nejposlednějším ta nejposlednější úroveň kde sou uživatelská data
jak by meta data struktura půl struktura datasetů a tak
je vidět a na zašifrovat se nedá
ale potom na struktura datasetů vevnitř tou sou jakoby data
to už vidět není
na jak se to používá hlas to je teda vidět vlastně
cotangent se umí šifrujeme ho měla jsem
dvou
spousty mluví o bodech
nebo respektive dvou kódovací schématech
defaultní je dvě stě padesáti šesti bitové cc _e pokud zapleten ke všem rovná se
o
a
přiznat přistálo to do mástru
takže to by si teďka zkompiluje že kde _hm tak máš vlastně
ta vlastně ale jako byl ten zjev a zdrží pole si že nás to se
drží stejnou že tě nikde nerozbije data můžete používat
to je to že jako nekonečné mašina kde to by to je druhá věc jo
ale že to nerozbije data to se drží
a klíč můžete zadávat teda
aby to syrové bity nebo hexa ale doporučuju vždycky když třeba načítáte ten klíč z
nějakého souboru tak prostě používat úpadku pás prejs protože nad tím je právě ještě d
p výkyvy je
dva co je vlastně nejsme k mechanizmus na
snížení bud for s útoků takže pokud byste měli jako
pokud byste chtěli používat šifrování tak
doporučuju
heslo tak aby bylo z zařazena do cesty to pytlíky je dva
a
klíče jsou potom jako by ten data set flíček _m se
s tím že klíče sedí polda se podle pro sebe takže pokud máte jakou pokud
si zašifruje té
krutosti data set tak potom všechny že byla to se pěkným budou automaticky šifrované tím
klíčem
na
klíče se dají změnit
vlastně co se potom ní jak by klíčky klíčem se pokud měníte slov
a není to tak že byste museli při změně snad šifrovat všechna data na disku
no a
tady je vlastně tak a jako z rychlíku o náhled na to jak dřív aspoň
komentované to šifrování
a co obrázku je dobře vidět že se chlapci zamysleli i nad tím jak používat
šifrování na to de duplikovaným poller
játra produkci
dnešní dneska moc nedoporučuju to do duplikaci používat protože většinou pošle veškerý výkon asi
ale _e
o
pokud na to má to svůj úzkej se víte co děláte tak deduplikace se dneska
dá použít tradici prování
to jenom právě ještě vysvětlení šlo
tomu pí výkyvy je to je vidět
a
není až tak vidět každopádně
ano mají stejný klíč
přesně tak
přesně
čím teda jako vykecá váš to že tam vše nějaký duplikáty
ale a
do tohoto deduplikace tak jako tak
no a
co bych měl zmínit to by to budete chtít nasazovat
vždycky o jakoby když se dozvíte se zavolá zavádí je nějaká takovádle výrazná novinka
tak se hledá kam jakoby data meta data
té featury uložit no a
tak aby to bylo soudně proveditelné neztrácel jste výkon
a tak
chlapci zda to pravé napsali tak
že u pipu využívaly všechny možná ho mám místečkách těch strukturách
co tram a jako za poměrně
náš tak závažný závažných důsledek že na tom datasetů nahoře
nás je first omezení nakoupíš rovná se dva
to znamená pokud tam uložíte nějaký soubor tak jako by na tom ještě na ta
data set úrovni je tam potom uložený dvakrát
a jinač
standardně best ten kryt se můžete mít až koupíš rovná se tři
a
no jak jsem řekl zmínil s tím prstu deduplikace jí tak neduplikuje právě informaci jo
jako že blocích se stejným data má v rámci toho jedno data se to
a je to právě omezený na nákupy stejný
však nedají se de duplikovat data
mezi datasety šifrovaný různým klíčem
no a
krajina a tak je
něco u určen já vám tak fundovaně až tak ne povim protože zatim je hodně
matematiky a _e co si pamatujte pokud používáte
šifrování v kombinaci s kompresí koledujete si o průšvih
a
protože vlastně komprese jinak operace nad těma data má
a
jak to vysvětlit beztoho
abychom sou
do matiky
možný to je útočníkovi udělal statistickou analýzu
tím že to šifruje tech
třeba právě teď php session fily jsou sou dobrý příklad ono je to podstatě ta
samá položka miliónkrát jako bys s trošku jinejma data má ale ne ten co bude
vždycky stejný velikosti a jakoby tempa ten se začne opakovat
a
a s tou kompresí jakoby útočníkovi dáte možnost analýze com objekt by rozlámal ten klíč
zpětně
no ja
velkou novinkou co se chystá právě do nula osmičky je dík vás teda trade
a vlastně na zjev esku větší pole
s většími trest dycky trpí dlouhýma ryb který byl fajmana
pokud vám blicí třeba tady právě ten příklad tak když si představím že by byly
nějaký čtyř první desky
tak budeme vodejde jeden tak vlastně
potom na jeho obnovu su osum zapojený vlastně čtyři dycky jako by se čtou data
ze čtyřech disku abys obnovená jeden
co jakoby
v tu chvíli to by to pole chci dát do kupy co nejrychlejc tak a
právě dick laser tady jde o tom že s že kluci našli způsob
jak zapojit prostě všechny disky do tý obnovy
a o co de
a když tady před představíte trošku větší se tak s více ryzí skupinám a tak
d klastr trade je analogický akorát
ty data soudu šoupala
podle nějakého klíče
a permutují se prostě tak aby se jako rozložili tu všech těch deskách ale jako
by
level redundance zůstane stejný jako u to ryzí
zase je tam potom možnost tedy klastru tricích respektive rykla se tady dva a tři
kde tam potom jsou o dva disky nebo tři dycky na paritu
a
asi vo dobrý změně že pokud chcete stavět do potom kdy klastr trade výdech tak
je to je to hodně na náročný a na jako počet disků aby to zašlo
dávat smysl
a
pokud máte storage mě vestu pokud dvaceti diskama tak se vás netýká se tady asi
moc netýká
no a ještě právě na téma
a toho r se uvedou když teda vypadne disk tak abysme to bavili co nejrychlejc
a
resolver funguje dneska tak že vlastně
ja zjev esko pokud narazí na nějakou chybu
někde nějaká data která jsou rozbitá a má je z čeho opravy taky upraví
a o čem je r silver pokud teda vypad disk a potřebu to opravit
tak vlastně pokud ten přečtou pane všechna data vtom půl tak vono se to upraví
a resolved právě poch prochází
sice sekvenčně ta data
ale jak bych logické struktuře tak _e byla možná že tady mám prostě adresář a
začnu procházet po jednom
pěkně jako
položky v něm
potom na další adresát zase pěkně postupně takže problém je že na disku po čase
typu ty ryby
na to zkontrolování potom nebudu vypadat lineárně
ale budeme strašně s skákat sem tam
protože
takže mám s podstaty koupil on white file systému
ta data budou frekventovaná
a no a vida právě z jak které jsou verzi zrychlit
ta jelikož ty jednotlivá a jeho čekáte ty a jeho příkazy
na red silver fakt není potřeba vykonat hned tak my si jako můžeme
pozdržet a navyšovat si třeba tři sta megabajtů jednotlivých a jo requestu které by šly
náhodně po diskách
ta rámce si je přerovnáme
a pak je na disky pošlem pěkně jeden za druhým takže to vyjde sekvenčně
tady je potom příklad to co se však vysoko
prezentoval s toho jo výsledků že vypadá
kde se over
s tím cachování
z nějakých prostě třiceti čtyř hodin to stáhnul na dvě
no
a co se
co se mě vůbec nejvíc líbí s toho co se teďka vaří zjev esku se
často vytýká to že se nedá odebrat vyjde
ta vlastně
takovou jakoby nejčastější chybou admin a že chce přidat disk nebo prostě dělá nějaké operace
o ohledně
přidávání disků a místo toho aby tam aby admin přidal vyjde von nějakých více disk
a že dejme tomu že uděláme nějaké ryzí
no pěti diskách tak prostě omylem tam vynechá to rizicích
a to znamená že pokud ten boom přidává pět nových výdajů po jednom disku
prezident
a tu se jako ne novou odebrat protože prostě jak je co jako zjev esko
jednou schvátit určena na
no a
jde jak to jako obejít když už je fresku nemáme plot point red river itsec
by nedá zapsat znova učebnu možná data
snadno a přemístit je
tak jí dá je zase prostě zavíst _e jinde dešti tabulku
a pokuď odmazává _m disk tak si budu pamatovat kde ty data měl nějakým způsobem
ty data rozprsknu pumpu stávajícímu mém místě
a ale furt si musím pamatovat že to jsou to data z nějakého videu který
tam předtím existoval a ty však objem virtuální
no a
nevím jak ale chlapcům se tam nějak
naskytla cesta jak potom stejně uděláte rýma těch dat stejně dikčním tabulky a donutit
z je tesco to za co znova
akorát ale novinka je eště uplně horka a
to o kódu bylo napsáno málo a jenom pruh of konce takže von praxi bych
to čekal tak jako
roky
pokuď
pokuď i
tak dáš potom zipu rýmů
a na každý ten disk o co ti tam potom bude tvářit jako virtuální
že vlastně jakoby netrávím o tom že ty si velkou odebral
a ty data nakopíruje _m do volnýho místa na půl
a budeme si pamatovat kde ty data na tom disku byli prosím kola nebo virtuálnímu
že vlastně aby se jako nemuseli přepsat ty adresy už uloženej dát kde co bylo
a že hledáme ten soubor má kousek dát tam na tom disku
aby se to celý nemuselo prostě projít a dealokovat tak zavedu právě tu tabulku že
ty data byly tam ale prostě nově uložený jsou webu byl umístěn na zbytku
jo vona ti opak prostě vrátí
a
to je asi ta poslední věc stojí za zmínku a jsou meta data holky šimková
se s
a do vlastně cesty
kde se ukládají data a jakoby jak se stravují data přijet esku při přibylo
a rozlišení jesle de o data nebo jestli do o meta data
a
hlasem a location pásmu request _e o tom
mít možnost vydělit buďto část
d devu které už existují
a nebo nové ví devi na metr na meta data
tou podstatě vy to budete znát jako tý rectory
když řeknu že chci třeba má malé boky
a co právě show většinou to meta data čtyři kilo harnesses déčka
a _e vlastně větší data třeba minovém medové a větší boky na rotační disky
tak to právě o tom co meta data holky šimková se s ono teda
pokud se bavíme o
o těch o tom separátních devices na meta data tak to nejsou jenom meta data
ale malé bloky obecně
a vlastně s tím s tímhle můžete všechny ty malý čtyř kilový boky nededikovat ne
stretch
no a přepadne průběh open skiers developer summit můj postřeh s toho je že je
vidět se že vlastně vývoj open zjev eska se teďka hodně drahá nad linuxem
původní upstream bylo na ty jo mu jsem ale
taky linuxový kernel má mnohem víc možností a jakoby snadněji se snadněji se na linuxu
prototypu je takže
dneska je defakto a týmem to sousto featur
zjev a jsou linux
no a na tom sami tupadly dvě zajímavé věci
a jednak
to že bys deduplikace něco mohlo být
ty meta
metanem se napadlo jaký až tisíckrát zrychlit
na a
pak tam pak má možnost
ja rozšířit ryzí pokud ste si vytvořili ležícího čtyřech diskách
spousta lidí řeší že chce přidat pátý šestý disk do té jedné lidí skupiny
do ty to nešlo
a zase
existuje akorát nápad jak to naimplementovat nějaký reálný výsledek můžeme čekat ose tak za rok
a na otázky nám asi moc času nezbylo ale zastavte se na stánku nebo napište
jí mého já s tím z irskem lidem numerál pomáhá dyž mě stihli neotravujte
takže ku za pozornost