Rady a tipy jak vytáhnout z cloudového úložiště Amazonu ještě více
 x   TIP: Přetáhni ikonu na hlavní panel pro připnutí webu
Reklama

Rady a tipy jak vytáhnout z cloudového úložiště Amazonu ještě víceRady a tipy jak vytáhnout z cloudového úložiště Amazonu ještě více

 

Rady a tipy jak vytáhnout z cloudového úložiště Amazonu ještě více

Google       3. 9. 2017       927×

Datové úložiště Amazon S3 aneb Simple Storage Service je na pohled jedna z nejjednodušších služeb AWS (Amazon Web Services) ovšem podle Michala Hatáka, šéfa zakázkového vývoje aplikací v digitální agentuře INIZIO.cz toho nabízí daleko více.

Reklama
Reklama

Jak je řečeno v názvu „Simple Storage Service respektive S3“, jedná se o jednoduché, a to cloudové úložiště, ale umí toho mnohem víc, než by skutečně člověk čekal.

Podle Amazonu se jedná o „Secure, durable, highly-scalable cloud storage”, což v překladu znamená bezpečné, spolehlivé, škálovatelné a neomezené,“ říká Michal Haták, šéf zakázkového vývoje aplikací v INIZIO.cz s tím, že je to objektové úložiště, každý objekt má klíč, data/hodnotu, číslo verze, metadata a ACL (Acces Control List), které umožňuje ukládat soubory, ale nelze třeba nainstalovat operační systém.

Jde v zásadě o key/value store, kdy každý objekt může mít až 5 TB za cenu přibližně 8 haléřů za GB na měsíc plus něco málo za požadavky.

Soubory jsou uloženy v bucketech čili „kýblících“, kdy jde vlastně a vaši podsložku, kde jsou ukládané data. Tu máte na AWS s univerzálním „namespacem“, což je název bucketu a ten musí být unikátní globálně. 

S3 Má „read-after-write consistency“ pro nové objekty, ale už jen „eventual consistency“ pro změny a mazání. Co to znamená? „Když něco vložíte, hned můžete číst, když to ale aktualizujete nebo smažete, tak to chvíli trvá, méně však než sekundu,“ vysvětluje Haták z INIZIO.cz.

Dále se S3 vyznačuje téměř stoprocentní spolehlivostí a dostupností. V AWS jdou velmi podrobně nastavovat práva jednotlivých uživatelů a služeb. Amazon to nazývá IAM aneb Identity and Acces Management. S3 nabízí dvojí API, jednak klasické SOAP, pak stále populárnější REST. Navíc „Simple Storage Service“ může sloužit jako HTTP server sám o sobě.

S3 má více tierů

Služba má víc tierů, a tedy úrovní dostupnosti. Certifikace Tier představují světový standard vytvořený organizací Uptime Institute. Jedná se o celosvětově uznávanou klasifikaci pro porovnávání vlastností, výkonnosti a dostupnosti infrastruktury datových center.

„V základu operujeme s klasickou S3, ale vedle toho je ještě S3-IA, tedy infrequently accessed, kdy se účtuje méně za úložiště, ale víc za přístupy, tedy hodí se tam, kde chceme mít stejnou spolehlivost, ale zároveň k datům nepřistupujeme tak často,“ říká Michal Haták, šéf zakázkového vývoje aplikací v INIZIO.cz

Pak existuje trošku víc extrémnější „S3-Reduced Redundancy Storage“, který mírně osekává spolehlivost objektů a má horší odolnost vůči současnému selhání více datových center, tedy „Concurent facillity fault tolerance“ a hodí se například na data, která se dají znovu vygenerovat, nebo jejich ztráta tolik nebolí jaké jsou různé náhledy a vodoznaky.

Vedle toho pak ještě stojí „glacier“, což je spíše archiv než úložiště. Glacier je neskutečně levný, a to až desetinásobně oproti verzi S3 Standard a každý vhozený archiv může mít až 40 TB, ale na jeho vyzvednutí je potřeba 3–5 hodin.

Životní cyklus „kýblíků“

Pro jednotlivé buckety můžeme nastavit jakýsi životní cyklus (lifecycle). Bucket (nebo jeho část) má určitá pravidla pro přesuny mezi jednotlivými typy úložiště.

Dá se třeba jednoduše říct, že se objekt má po 30ti dnech přesunout do IA, po dalších šedesáti do „glacieru“ a po dalších 425ti úplně smazat. Je to hodně volitelné, až na pár neduhů: pokud máte nastavenou transition to IA, pak glacier jde nastavit až 30 dní po, když ne, pak klidně hned druhý den.

Např. v INIZIO.cz dle slov Hatáka ukládají access logy a sami se jim mažou. Stačilo jen párkrát kliknout. Tyhle pravidla se dají nastavit buď na celý bucket a nebo třeba jen na podsložku.

S3 nabízí možnost zapnout verzování

Tudíž jednoduše můžete mít všechny verze daného objektu, a to včetně jeho smazání, kdy to vlastně vytvoří jen „delete mark“. Platí se úložiště za každou revizi, například máte objekt, co má 1GB, 10x ho upravíte bez změny velikosti a platíte 10 GB úložiště.

Jakmile ale jednou verzování zapnete, už nejde vypnout, můžete jej jedině pozastavit (suspend). Verzování se také dá integrovat s bucketovými pravidly. Navíc ještě můžete zapnout MFA (Multi-Factor Authentication) pro mazání.

 

Jak na replikaci?

Pokud máte verzování zapnuté, můžete jednoduše kliknout a váš bucket nechat automaticky replikovat do jiného regionu. Jestli tedy třeba nahrajete něco do bucketu ve Frankfurtu, AWS vám to hned dá například do Oregonu.

Na určité události si nastavíte „event“

Událostí je například, pokud se vytvoří nový objekt, čili nahrajete nový soubor a eventem pak může být notifikace v SNS (Simple Notification Service), SQS (Simple Queue Service) a nebo Lamda (serverless) funkce.

Použít se to může podle šéfa zakázkového vývoje aplikací v INIZIO.cz tak, že necháváte logy z ELB (Load Balanceru) ukládat do S3. V momentě, kdy ELB uloží log, S3 samo zavolá funkci, která ho projde a data uloží do log-storage, kterou máte mimo AWS. Dalším příkladem může být to, že při uložení obrázku funkce sama vytvoří náhledové obrázky.

 

I přes zajímavý výčet je tu ještě pár drobností, které mají spíše specifickou použitelnost. První z nich je to, že můžete mít na „kýblíku“ práva pro přístup a to přímo nastavená jako politiku anebo jako ACL (Access Control List). Hodí se ale spíš, když už trošku víc pracujete s ostatními službami. Můžete také nastavit logování veškeré aktivity (access log) do jiného bucketu a v neposlední řadě rovněž šifrování dat.

×Odeslání článku na tvůj Kindle

Zadej svůj Kindle e-mail a my ti pošleme článek na tvůj Kindle.
Musíš mít povolený příjem obsahu do svého Kindle z naší e-mailové adresy kindle@programujte.com.

E-mailová adresa (např. novak@kindle.com):

TIP: Pokud chceš dostávat naše články každé ráno do svého Kindle, koukni do sekce Články do Kindle.

   
0 hlasů
Google
(fotka) Nikola VránováNikola se zajímá o řízení projektů, hledání nových talentů, startupy a pořádání společenských akcí.
Facebook    

Nové články

Reklama
Reklama
Obrázek ke článku Facebook spouští službu Marketplace V ČR

Facebook spouští službu Marketplace V ČR

Společná platforma Marketplace usnadní lidem na Facebooku vyhledávání, nákup a prodej použitého zboží na lokální úrovni. Bude tak přímou konkurencí pro weby a aplikace se stejným zaměřením jako je například Letgo, Bazoš, Aukro, Sbazar a další.

Obrázek ke článku DistrCut – optimalizace pomocí distribuované inteligence

DistrCut – optimalizace pomocí distribuované inteligence

Optimalizační systémy, které jsem dosud popisoval, se týkaly vždy optimalizace na jednom zařízení. Optimalizovalo se dělení tyčového materiálu na jedné pile, vypalování plošného materiálu na jednom plazmovém stroji, řídilo se tavení na jedné elektrické obloukové peci.

Ve výrobním procesu je však často nutné optimalizovat činnost celého výrobního úseku, kde je více různých objektů odlišného typu a koordinovat činnost těchto objektů k dosažení společného cíle, zpravidla kvality finálního výrobku. Řešení tohoto problému umožňuje distribuovaná inteligence.

loadingtransparent (function() { var po = document.createElement('script'); po.type = 'text/javascript'; po.async = true; po.src = 'https://apis.google.com/js/plusone.js'; var s = document.getElementsByTagName('script')[0]; s.parentNode.insertBefore(po, s); })();
Hostujeme u Českého hostingu       ISSN 1801-1586       ⇡ Nahoru Webtea.cz logo © 20032017 Programujte.com
Zasadilo a pěstuje Webtea.cz, šéfredaktor Lukáš Churý