Celkový počet aktivních uživatelů v MetaVO na konci roku 2016 byl 1611. Pro srovnání, koncem roku 2015 mělo v MetaVO účet 1338 uživatelů. Cloudové prostředí MetaCloud využívá 170 uživatelů z českých akademických a výzkumných institucí. Cloudové zdroje jsou dále nabízeny v rámci EGI zahraničním výzkumníkům (FedCloud apod.). Prostředí Hadoop vyzkoušelo 73 uživatelů.
Meziročně vzrostl počet CPU jader v MetaVO na 13540 CPU jader (vloni 12408, obě hodnoty jsou uvedené včetně cloudových strojů a Hadoop). Stroje ve vlastnictví centra CERIT-SC běží, díky důsledné virtualizaci, v obojetném režimu (cloud i Torque), počty jader se přidělují podle aktuální poptávky v obou prostředích.
V roce 2016 uživatelé MetaVO propočítali celkové 9475 CPU let. Z toho v dávkovém systému (PBS Torque) bylo propočítáno více než 8,2 tis. CPU let (oproti 6,5 tis. CPU let v roce 2015). Dalších 628 CPU let bylo zkonzumováno v cloudu CESNEtu, 664 CPU let v cloudu CERIT-SC a 16 CPU let v prostředí Hadoop. Zároveň meziročně došlo k nárůstu počtu spuštěných úloh v prostředí PBS Torque z 2,9 milionů v roce 2015 na 3,6 milionů v roce 2016. Průměrný uživatel MetaCentra spustil měsíčně cca 190 úloh.
Do mezinárodním výpočetní infrastruktury EGI jsou zapojené zdroje CESNETU (496 CPU jader) a FZÚ AV ČR (2816 CPU jader). Na těchto strojích bylo v roce 2016 propočítáno 5963 CPU let v 6 mil. úlohách, v předchozím roce 3228 CPU let v 5 mil. úlohách.
V MetaCentrum NGI jsou zapojeny tři skupiny zdrojů. Národní výpočetní a úložné kapacity zapojené v MetaVO, které jsou k dipsozici pro zaměstnance a studenty akademických a výzkumných organizací v ČR a jejich výzkumné partnery. Sem patří zdroje využívající dávkový systémPBS Torque, cloudové stroje z MetaCloudu a specializovaná výpočetní platforma Hadoop. Kromě toho MetaCentrum NGI spravuje rovněž stroje dedikované projektu ELIXIR a stroje zapojené do mezinárodní výpočetní infrastruktury EGI.
MetaVO včetně Torque, MetaCloudu a Hadoop (bez strojů zapojených do EGI)
Elixir VO
EGI
Následující graf ukazuje průměrné vytížení výpočetních clusterů a strojů v MetaVO v roce 2016. Základem pro výpočet průměrného vytížení (100%) je celkový počet dostupných CPU-core-seconds mínus počet CPU-core-seconds strojů, které nebyly v provozu. Rezervované stroje jsou započítané tak, jako by byly plně využity, bez ohledu na jejich skutečné využití. Údaj v závorce udává počet CPU v clusteru na konci roku. Nula značí, že cluster byl v průběhu roku vyřazen.
Průměrné vytížení volně dostupných strojů v MetaCentru se pohybovalo mezi 65 a 92 %. Vytížení okolo 70% je optimální, vyšší vytížení již znamená faktickou saturaci a způsobuje delší doby čekání úloh ve frontě. Nižší hodnoty vytížení vykazují stroje, které byly do MetaCentra zapojeny až v průběhu sledovaného období nebo jsou unikátní vyhrazené pro specifický typ výpočtů nebo vyhrazené pro některou skupinu.
Propočítaný čas organizacemi na všech strojích zapojených v MetaCentru v dávkovém režimu (plánovací servery arien + wagap).
Na cloudových strojích MetaCentra (cluster dukan a warg) bylo v roce 2016 zkonzumováno 628 CPU let. Cluster dukan.ics.muni.cz zahrnuje celkem 120 CPU jader (240 s HT), 10 uzlů po 4x 6-core Intel Xeon E5649 2.53GHz a 96 GB RAM. Cluster warg.meta.zcu.cz zahrnuje celkem 208 CPU jader (416 HT), 13 uzlů po 2x 8-core Intel Xeon E5-2650 v2 2.60GHz a 64 GB RAM. Následující graf ukazuje využití cloudových strojů po týdnech na clusteru dukan a warg.
Cloudové stroje CESNETu využívali nejvíce uživatelé z virtuálních organizací MetaCloud (MetaVO 70 %), enmr.eu 14,5 %, Fedcloud (3,45 %) a intraloud (6,87 %). Celkem cloud využívají uživatelé z 16 virtuálních organizací a skupin.
Počty nově spuštěných virtuálních serverů po týdnech ukazuje následující graf. Celkem bylo nastartováno na clusteru dukan přes 17 tisíc virtuálních strojů, týdně pak průměrně více než 320.
Krátkodobě běžící stroje spotřebovávají jen zlomek cloudové kapacity (CPU), nejvíce spotřebovávají dlouho běžící virtuální stroje. Konkrétně 84% (loni 78%) virtuálních strojů bylo spuštěno méně než hodinu. Strojů běžících více než měsíc byla jen necelá 2% (loni 2 %).
Na cloudových strojích CERIT-SC bylo v roce 2016 zkonzumováno více než 664 CPU let. Stroje ve vlastnictví centra CERIT-SC běží, díky důsledné virtualizaci, v obojetném režimu (cloud i Torque), počty jader se cloudu přidělují podle aktuální poptávky v obou prostředích. Využití cloudu je znázorněno na následujícím grafu.
V open-source frameworku Hadoop pro distribuovaná datová úložiště a distribuované zpracování velkých objemů dat za použití algoritmu MapReduce bylo v roce 2016 propočítáno 16 CPU let v 5550 úlohách. Na diskových polích o kapacitě 1047 TB je uloženo 326 TB dat. Dalších 13 TB dat je vyhrazeno pro Ceph. Denní vytížení Hadoop prostředí v čase vyjadřuje násedující graf.
Prostředí Hadoop vyzkoušelo v roce 2016 63 uživatelů MetaCentra, 5 největších počtářů zkonzumovalo více než 95% propočítaného času.
Do EGI jsme v roce 2015 poskytli celkem 3700 CPU jader. Z toho 3204 CPU jader poskytlo FZÚ AV ČR (pragelcg2) a 496 CPU jader poskytl CESNET (prague_cesnet_lcg2). Uživatelé z virtuálních organizací v EGI celkem propočítali 5963 CPU let.
Nejvíce strojového času využily projekty ALICE, ATLAS, BELLE a AUGER.
Pro VO ELIXIR spravujeme celkem 76 CPU jader umístěných na UOCHB AV ČR v Praze a PřF JU v Českých Budějovících a 100 TB diskové pole. Na clusterech se v roce 2015 propočítalo 33 CPU let v necelých 100 tisících úlohách.
TODO aktualizovat
Meziročně opět vzrostlo zaplnění diskových polích v MetaCentru i v CERIT-SC. Mimo to, se podařilo integrovat diskové pole jiných vlastníků do infrastruktury MetaCentra (CEITEC, ELIXIR). Přístup na taková pole je dedikován vlastníkům, po dohodě s nimi může býrt přístupný i pro další uživatele.
Na prvním grafu je vidět míra zaplnění diskových polí, na dalším pak využití přidělených prostor na archivních úložištích typu HSM.
