2018
MetaCentrum mělo na konci roku 2018 2020 uživatelů s aktivním účtem. Pro srovnání, koncem roku 2017 mělo v MetaCentru účet 1908 uživatelů. Ke cloudovému prostředí MetaCloud mělo přístup 285 uživatelů z českých akademických a výzkumných institucí (245 v roce 2017). Do prostředí Hadoop mělo přístup 157 (157) uživatelů.
Meziročně vzrostl počet CPU jader zapojených v národním výpočetním prostředí MetaVO na 17860 CPU jader (vloni 14686), z toho 6032 CPU jader patřilo CESNETu a 6132 CPU jader Centru CERIT-SC. Zbývajících 5696 CPU jader vlastnily univerzity, Akademie věd ČR a velké projekty.
V roce 2018 uživatelé MetaVO propočítali celkem 11302 CPU let (10572 v roce 2017).
- Z toho v dávkovém systému (PBS Torque a PBS Pro) bylo propočítáno více než 9 tis. CPU let (oproti 8,4 tis. CPU let v roce 2017), z toho 3,8 tis. CPU let bylo propočítáno na experimentálních strojích CERIT-SC a 5,2 tis. CPU let na strojích CESNETu a ostatních poskytovatelů. V dávkovém režimu bylo v roce 2018 spuštěno 5 mil. úloh (4,8 mil. ve 2017).
- V prostředí MetaCloudu bylo propočítáno 2332 CPU let (2095 CPU let v roce 2017) na 10662 (10688) virtuálních strojích. Z toho 1420 (912) CPU let bylo zkonzumováno v cloudu CESNETu, 912 (1183) CPU let v cloudu CERIT-SC.
- V open-source frameworku Hadoop pro distribuovaná datová úložiště a distribuované zpracování velkých objemů dat za použití algoritmu MapReduce byly v roce 2018 propočítáno 12 (2) CPU let čistého procesorového času (nikoliv walltime) v 4265 (11) úlohách (17240 map/reduce).
Do mezinárodní výpočetní infrastruktury EGI byly v dávkovém režimu (HPC) zapojené zdroje CESNETU (496 CPU jader) a FZÚ AV ČR (3276 CPU jader) a dalších 208 CPU jader bylo dedikováno do FedCloudu (zdroje CESNETu).
Vlastníci zdrojů
V MetaCentrum NGI jsou zapojeny tři skupiny zdrojů.
- Národní výpočetní a úložné kapacity zapojené v MetaVO jsou k dipsozici pro zaměstnance a studenty akademických a výzkumných organizací v ČR a jejich výzkumné partnery. Sem patří zdroje využívající dávkový systém PBS Pro (Torque v první polovině roku), cloudové stroje z MetaCloudu a specializovaná výpočetní platforma Hadoop.
- Kromě toho MetaCentrum NGI spravuje stroje zapojené do mezinárodní výpočetní infrastruktury EGI.
- Stroje dedikované ELIXIRu.
MetaVO včetně PBS, MetaCloudu, Hadoop a ELIXIR (bez strojů zapojených do EGI)
- CERIT-SC (6132 CPU): ungu, urga, zapat, zorg, zefron, zenon, zigur, zegox, zebra, zewura, zelda, glados, black, phi -- zapojené dle potřeby v PBS Pro/Torque nebo v MetaCloudu.
- CESNET (7180 CPU)
- PBS Pro/Torque (5824 CPU): doom, gram, hildor, hagrid, mandos, manegrot, minos, tarkil, ramdal, ida, meduseld, aman, nympha, grimbold
- MetaCloud (732 CPU): dukan, duilin, gorbag
- Hadoop (416 CPU): hador
- EGI FedCloud (208 CPU): warg
- ELIXIR: (1528 CPU): elmo
- FZÚ AV ČR (800 + 3276 CPU): kalpa, luna + EGI stroje
- MU CEITEC-NCBR (1104 CPU): perian, lex, zubat, krux
- ZČU (400 CPU): alfrid, konos
- MU Loschmidt Laboratories (264 CPU) losgar, loslab
- PřF JČU (64 CPU): haldir
- FEL ČVUT (22 CPU): mudrc
- ÚEB AV ČR (48 CPU): bofur
- UP Olomouc (128 CPU): upol128
- TUL (400 CPU): charon
Statistiky využití zdrojů MetaVO
Využití strojů v dávkovém systému PBS
Následující graf ukazuje průměrné vytížení výpočetních clusterů a strojů v MetaVO v roce 2018. Základem pro výpočet průměrného vytížení (100%) je celkový počet dostupných CPU-core-seconds mínus počet CPU-core-seconds strojů, které nebyly v provozu. Rezervované stroje jsou započítané tak, jako by byly plně využity, bez ohledu na jejich skutečné využití. Údaj v závorce udává počet CPU v clusteru na konci roku. Nula značí, že cluster byl v průběhu roku vyřazen.
Průměrné vytížení volně dostupných strojů v MetaCentru se pohybovalo mezi 65 a 95 %. Vytížení okolo 70% je optimální, vyšší vytížení již znamená faktickou saturaci a způsobuje delší doby čekání úloh ve frontě. Nižší hodnoty vytížení vykazují stroje, které byly do MetaCentra zapojeny až v průběhu sledovaného období nebo jsou unikátní, vyhrazené pro specifický typ výpočtů nebo vyhrazené pro některou skupinu.
Agregované průměrné vytížení.
Počet úloh a doba čekání na spuštění podle jejich předpokládané doby trvání. Kratších úloh přichází do PBS systému mnohem více než dlouhých a čekají na spuštění kratší dobu, což je žádoucí chování celého sysému. Nejvíce úloh mělo předpokládanou dobu běhu v rozmezí 4-24 hodin. Nejméně bylo úloh s délkou trvání více než 2 týdny a průměrně čekaly na spuštění nejdéle.
Průměrná doba čekání ve frontách rozřazených podle předpokládané doby běhu úlohy potvrzuje, že nejkratší úlohy čekají na spuštění nejkratší dobu, nejsnáze se v PBS systému umísťují (vyplňují volná místa).
Počet CPU jader, počet úloh a propočítaný čas v jednotlivých letech.
Uživatelé
Využití MetaCentra organizacemi (wagap + arien)
Následující graf ukazuje počty uživatelských publikací s poděkováním e-infrastruktuře vykázaných v systému Perun (modrý sloupec) a převzatých z veřejné databáze Web of Science (WoS, oranžový sloupec). V Perunovi evidujeme všechny typy publikací, včetně publikací neimportovaných do RIVu, proto jich je více než publikací evidovaných v databázi WoS, ve které jsou zahrnuté pouze kvalitní bodované publikace. Za rok 2018 byla data k publikacím posbírána už na začátkuledna, předpokládáme nárůst v počtu publikací vykázaných v roce 2018, uživatelé je do systému Perun v kládají až s výroční zprávou. Také ve WoS se některé publikace z konce roku objevují se zpožděním.
TOP organizace dle počtu publikací s poděkováním MetaCentru /CERIT-SC za využití infrastruktury (zdroj WoS)
TOP uživatelské publikace s poděkováním podle vědních oborů (zdroj WoS)
Typy uživatelských publikací s poděkováním (zdroj WoS)
Seznam publikací s poděkováním MetaCentru (zdroj WoS)
Citation Report (zdroj WoS)
Využití MetaCloud
Využití prostředí Hadoop
V open-source frameworku Hadoop pro distribuovaná datová úložiště a distribuované zpracování velkých objemů dat za použití algoritmu MapReduce bylo v roce 2017 propočítáno 12 CPU let (čistý procesorový čas, nikoliv walltime) v 4265 tis. úlohách (17240 map/reduce tasks). Na diskových polích o kapacitě 1047 TB je uloženo 360 TB dat. Část diskového prostoru je vyhrazená pro Ceph.
Úložné prostory
Meziročně opět vzrostlo zaplnění diskových polích v MetaCentru i v CERIT-SC. Mimo to, se podařilo integrovat diskové pole jiných vlastníků do infrastruktury MetaCentra (CEITEC, ELIXIR). Přístup na taková pole je dedikován vlastníkům, po dohodě s nimi může býrt přístupný i pro další uživatele.
Na prvním grafu je vidět míra zaplnění diskových polí, na dalším pak využití přidělených prostor na archivních úložištích typu HSM.
