Rady a tipy jak vytáhnout z cloudového úložiště Amazonu ještě více

Datové úložiště Amazon S3 aneb Simple Storage Service je na pohled jedna z nejjednodušších služeb AWS (Amazon Web Services) ovšem podle Michala Hatáka, šéfa zakázkového vývoje aplikací v digitální agentuře INIZIO.cz toho nabízí daleko více.

Jak je řečeno v názvu „Simple Storage Service respektive S3“, jedná se o jednoduché, a to cloudové úložiště, ale umí toho mnohem víc, než by skutečně člověk čekal.

„Podle Amazonu se jedná o „Secure, durable, highly-scalable cloud storage”, což v překladu znamená bezpečné, spolehlivé, škálovatelné a neomezené,“ říká Michal Haták, šéf zakázkového vývoje aplikací v INIZIO.cz s tím, že je to objektové úložiště, každý objekt má klíč, data/hodnotu, číslo verze, metadata a ACL (Acces Control List), které umožňuje ukládat soubory, ale nelze třeba nainstalovat operační systém.

Jde v zásadě o key/value store, kdy každý objekt může mít až 5 TB za cenu přibližně 8 haléřů za GB na měsíc plus něco málo za požadavky.

Soubory jsou uloženy v bucketech čili „kýblících“, kdy jde vlastně a vaši podsložku, kde jsou ukládané data. Tu máte na AWS s univerzálním „namespacem“, což je název bucketu a ten musí být unikátní globálně. 

S3 Má „read-after-write consistency“ pro nové objekty, ale už jen „eventual consistency“ pro změny a mazání. Co to znamená? „Když něco vložíte, hned můžete číst, když to ale aktualizujete nebo smažete, tak to chvíli trvá, méně však než sekundu,“ vysvětluje Haták z INIZIO.cz.

Dále se S3 vyznačuje téměř stoprocentní spolehlivostí a dostupností. V AWS jdou velmi podrobně nastavovat práva jednotlivých uživatelů a služeb. Amazon to nazývá IAM aneb Identity and Acces Management. S3 nabízí dvojí API, jednak klasické SOAP, pak stále populárnější REST. Navíc „Simple Storage Service“ může sloužit jako HTTP server sám o sobě.

S3 má více tierů

Služba má víc tierů, a tedy úrovní dostupnosti. Certifikace Tier představují světový standard vytvořený organizací Uptime Institute. Jedná se o celosvětově uznávanou klasifikaci pro porovnávání vlastností, výkonnosti a dostupnosti infrastruktury datových center.

„V základu operujeme s klasickou S3, ale vedle toho je ještě S3-IA, tedy infrequently accessed, kdy se účtuje méně za úložiště, ale víc za přístupy, tedy hodí se tam, kde chceme mít stejnou spolehlivost, ale zároveň k datům nepřistupujeme tak často,“ říká Michal Haták, šéf zakázkového vývoje aplikací v INIZIO.cz

Pak existuje trošku víc extrémnější „S3-Reduced Redundancy Storage“, který mírně osekává spolehlivost objektů a má horší odolnost vůči současnému selhání více datových center, tedy „Concurent facillity fault tolerance“ a hodí se například na data, která se dají znovu vygenerovat, nebo jejich ztráta tolik nebolí jaké jsou různé náhledy a vodoznaky.

Vedle toho pak ještě stojí „glacier“, což je spíše archiv než úložiště. Glacier je neskutečně levný, a to až desetinásobně oproti verzi S3 Standard a každý vhozený archiv může mít až 40 TB, ale na jeho vyzvednutí je potřeba 3–5 hodin.

Životní cyklus „kýblíků“

Pro jednotlivé buckety můžeme nastavit jakýsi životní cyklus (lifecycle). Bucket (nebo jeho část) má určitá pravidla pro přesuny mezi jednotlivými typy úložiště.

Dá se třeba jednoduše říct, že se objekt má po 30ti dnech přesunout do IA, po dalších šedesáti do „glacieru“ a po dalších 425ti úplně smazat. Je to hodně volitelné, až na pár neduhů: pokud máte nastavenou transition to IA, pak glacier jde nastavit až 30 dní po, když ne, pak klidně hned druhý den.

Např. v INIZIO.cz dle slov Hatáka ukládají access logy a sami se jim mažou. Stačilo jen párkrát kliknout. Tyhle pravidla se dají nastavit buď na celý bucket a nebo třeba jen na podsložku.

S3 nabízí možnost zapnout verzování

Tudíž jednoduše můžete mít všechny verze daného objektu, a to včetně jeho smazání, kdy to vlastně vytvoří jen „delete mark“. Platí se úložiště za každou revizi, například máte objekt, co má 1GB, 10x ho upravíte bez změny velikosti a platíte 10 GB úložiště.

Jakmile ale jednou verzování zapnete, už nejde vypnout, můžete jej jedině pozastavit (suspend). Verzování se také dá integrovat s bucketovými pravidly. Navíc ještě můžete zapnout MFA (Multi-Factor Authentication) pro mazání.

Jak na replikaci?

Pokud máte verzování zapnuté, můžete jednoduše kliknout a váš bucket nechat automaticky replikovat do jiného regionu. Jestli tedy třeba nahrajete něco do bucketu ve Frankfurtu, AWS vám to hned dá například do Oregonu.

Na určité události si nastavíte „event“

Událostí je například, pokud se vytvoří nový objekt, čili nahrajete nový soubor a eventem pak může být notifikace v SNS (Simple Notification Service), SQS (Simple Queue Service) a nebo Lamda (serverless) funkce.

Použít se to může podle šéfa zakázkového vývoje aplikací v INIZIO.cz tak, že necháváte logy z ELB (Load Balanceru) ukládat do S3. V momentě, kdy ELB uloží log, S3 samo zavolá funkci, která ho projde a data uloží do log-storage, kterou máte mimo AWS. Dalším příkladem může být to, že při uložení obrázku funkce sama vytvoří náhledové obrázky.

I přes zajímavý výčet je tu ještě pár drobností, které mají spíše specifickou použitelnost. První z nich je to, že můžete mít na „kýblíku“ práva pro přístup a to přímo nastavená jako politiku anebo jako ACL (Access Control List). Hodí se ale spíš, když už trošku víc pracujete s ostatními službami. Můžete také nastavit logování veškeré aktivity (access log) do jiného bucketu a v neposlední řadě rovněž šifrování dat.