MetaCentrum mělo na konci roku 2021 2606 uživatelů s aktivním účtem. Pro srovnání, koncem roku 2020 mělo v MetaCentru účet 2225 uživatelů.
Meziročně vzrostl počet CPU jader pořízených v národním výpočetním prostředí MetaVO (grid + cloud) na 34084 CPU jader (vloni 32036), z toho 10972 CPU jader patřilo CESNETu (bez EGI) a 7664 CPU jader Centru CERIT-SC. Zbývajících 15448 CPU jader (bez EGI) vlastnily univerzity, Akademie věd ČR a velké projekty.
Dalších 6230 CPU jader bylo k dispozici v mezinárodním prostředí EGI. V dávkovém režimu (HTC) byly zapojené zdroje CESNETU (1040 CPU jader) a FZÚ AV ČR (5190 CPU jader) a část kapacity MetaCentrum Cloudu bylo k dispozici v EGI FedCloudu.
V roce 2021 uživatelé MetaVO, MetaCentrum cloudu a Kubernetes propočítali celkem 22647 CPU let (16630 v roce 2020).
PBS
celkem PBS 17794 CPU let, 13,2 mil. úloh
MetaCentrumCloud
V čistě cloudovém režimu bylo propočítáno celkem 4481 CPU let, instancí 15127 (včetně FedCloud 641 CPU let).
Kubernetes
v provozu od poloviny října, propočítáno celkem 373 CPU let
Mezinárodní výpočetní infrastruktura EGI
celkem 9581 CPU let, 9,3 mil. úloh/virtuálních strojů (zdroj EGI accounting portál)
V MetaCentrum NGI jsou zapojeny následující typy výpočetních kapacit
Rozdělení výpočetních zdrojů mezi výpočetními centry (vlastníky HW). Graf ukazuje stroje běžící na konci roku 2021.
Celkem 40314 CPU jader (prosinec 2021)
Následující graf ukazuje průměrné vytížení výpočetních clusterů a strojů v MetaVO v roce 2021. Základem pro výpočet průměrného vytížení (100%) je celkový počet dostupných CPU-core-seconds mínus počet CPU-core-seconds strojů, které nebyly v provozu. Rezervované stroje jsou započítané tak, jako by byly plně využity, bez ohledu na jejich skutečné využití. Údaj v závorce udává počet CPU v clusteru na konci roku. Nula značí, že cluster byl v průběhu roku vyřazen.
Průměrné vytížení volně dostupných strojů v MetaCentru se pohybovalo v roce 2021 mezi 65 a 95 %. Vytížení okolo 70% je optimální, vyšší vytížení již znamená faktickou saturaci a způsobuje delší doby čekání úloh ve frontě. Nižší hodnoty vytížení vykazují stroje, které byly do MetaCentra zapojeny až v průběhu sledovaného období nebo jsou unikátní, vyhrazené pro specifický typ výpočtů nebo vyhrazené pro některou skupinu.
Vytížení strojů zapojených v meta-pbs v průběhu celého roku 2021. Průměrné vytížení CPU se pohybovalo okolo 68 %. Do průměru jsou započítany všechny výpočetní clustery, i ty, které jsou vyhrazeny s přednostním právem vlastníkům a jejichž vytížení obvykle bývá nižší.
Vytížení strojů zapojených v cerit-pbs v průběhu celého roku 2021. Průměrné vytížení CPU se pohybovalo okolo 66 %. Do průměru jsou započítany všechny výpočetní clustery, i ty, které jsou specializované a dokáží obsloužit jen určitý typ výpočtů.
Využití MetaCentra organizacemi (Meta VO, PBS) dle propočítaného času
PBS server meta-pbs
PBS server cerit-pbs
PBS servery meta-pbs + cerit-pbs + elixir-pbs
Nárůst celkového propočítaného CPU času, počtu úloh a počtu CPU jader META VO
Počet úloh a doba čekání na spuštění dle požadované délky úloh.
Počet úloh a propočítaný čas dle požadované délky úloh.
V cloudu rozlišujeme stroje podle určení nebo vlastníků: meta, cerit-sc, egi, mu, recetox, csirt.
Zdroje jsou nabízené 2 způsoby: osobní využití s omezením počtu a velikosti běžících instancí a projektové využití
Část kapacity je exportovaná do cerit-pbs (dávkové využití).
Podíl propočítaného času spotřebovaného v MetaCentrum Cloud
Využití RAM
Počet spuštěných instancí (vm)
Počet založených projektů
Struktura HW podle vlastníků -- počet GPU a počet jader CPU
Ke clusterům pořízeným z projektu ELIXIR-CZ mělo prostřednictvím plánovacího systemu elixir-pbs dedikovaný přístup 72 uživatelů projektu ELIXIR-CZ, uživatelé MetaCentra sem mohli posílat krátké výplňové úlohy pouze tehdy, pokud byl cluster nevyužitý. V cloudovém prostředí uživatelé z ELIXRu založili celkem 15 projektových skupin a 13 individuálních účtů.
Velikost clusteru ke konci roku 2021: 2936 (pbs) + 2656 CPU jader cloud
V roce 2021 propočítáno elixir-pbs 1621CPU let ve 943 tisících úlohách, v cloudu pak uživatelé z elixíru propčítali 555 CPU let v 213 instancích.
Mezi největší počtáře (organizace, služby) podle propočítaného času na strojích projektu ELIXIR-CZ patří (pbs) UK (31 %), MU (17%), RE Galaxy ELIXIR (10 %), FZÚ AV ČR (10 %), ČVUT (9 %) a UPOL (4%), ostatní propočítali 23 %.
Nejvíce propočítaného času bylo ve frontě global, do které směřují také krátké úlohy z jiných pbs systémů. Druhou nejžádanější frontou byla fronta obsluhující stroje s velkou pamětí, třetí pak fronta pro aplikaci RepeatExplorer Galaxy.
Následující obrázek ukazuje, na kterém clusteru projektu ELIXIR-CZ se propočítalo nejvíce.
Většina úloh požadovala několik málo jader na jeden běh, vyskytly se však úlohy požadující až 640 CPU jader. Podobně si většina úloh vystačila s požadavkem na paměť v řádu desítek GB, vyskytly se však i úlohy požadující 1 TB RAM. Grafy mají logaritmické měřítko.
Vytížení strojů zapojených v elixir-pbs v průběhu celého roku 2021 (1. 1. 2021 - 31. 12. 2021). Průměrné vytížení CPU se pohybovalo okolo 43 %. Cluster je dedikovaný projektu ELIXIR-CZ, který má k výpočetním zdrojům prioritní přístup.
Z celkového využitého CPU času ELIXIR využil 7 % CPU času (elixir-projects), což je 555 CPU let ve 213 instancích.
Rozdělení výpočetního času mezi projekty registrované pod hlavičkou Elixíru.
Službě RE Galaxy (elixirre) bylo vyhrazeno 11 uzlů po 32 jádrech, tj. celkem 352 CPU jader.
Na následujících grafech je znázorněné vytížení těchto dedikovaných výpočetních prostředků, průměrná doba čekání úlohy na spuštění a denní počty nově spuštěných úloh.
Počet úloh přicházejících do systému a propočítaný čas.
Meziročně opět vzrostlo zaplnění diskových polích v MetaCentru i v CERIT-SC. Mimo to, se podařilo integrovat diskové pole jiných vlastníků do infrastruktury MetaCentra (CEITEC, ELIXIR). Přístup na taková pole je dedikován vlastníkům, po dohodě s nimi může býrt přístupný i pro další uživatele.
Následující graf ukazuje počty uživatelských publikací s poděkováním e-infrastruktuře vykázaných v systému Perun (modrý sloupec) a převzatých z veřejné databáze Web of Science (WoS, oranžový sloupec). V Perunovi evidujeme všechny typy publikací, včetně publikací neimportovaných do RIVu, proto jich je více než publikací evidovaných v databázi WoS, ve které jsou zahrnuté pouze kvalitní bodované publikace. Za rok 2021 byla data k publikacím posbírána koncem ledna, předpokládáme nárůst v počtu publikací vykázaných v roce 2021, uživatelé je do systému Perun v kládají až s výroční zprávou. Také ve WoS se některé publikace z konce roku objevují se zpožděním.
Následující graf byl pořízen v březnu 2022 a ukazuje počty uživatelských publikací s poděkováním za využití zdrojů a příslušné citace. Zdroj WoS.
Publikace za rok 2021 členěné podle oborů. Zdroj WoS.
Počet publikací s poděkováním MetaCentru vykázaných v evidenci MetaCentra celkově a část publikací zveřejněná ve WoS.
Seznam uživatelských publikací za rok 2021 s poděkováním
Následující tabulka a graf ukazují propočítaný čas v rámci jednotlivých mezinárodních projektů (VO), kterým poskytujeme výpočetní výkon.
Následující tabulka a graf ukazují počty spuštěných virtuálních strojů jednotlivými projkety (VO).
Rozdělení dle projektů (podpořených virtuáních organizací).
Počet CPU jader zapojených do EGI HTC: 6230 CPU jader, z toho
Přehled z HTC Compute EGI accounting portálu zobrazuje accountingová data ze všech výpočetních středisek výpočetní kapacity s vysokou propustností v infrastruktuře EGI v NGI_CZ. Účetní informace jsou shromažďovány pouze od středisek zdrojů, která jsou součástí federace EGI a jsou certifikována v GOCDB. Zobrazená metrika je Normalized Elapsed time (HEPSPEC06) * Number of Processors. Pro srovnání s naší metodikou je potřeba dělit přibližně 4, v EGI jsou započítaná HT jádra.
Podrobné grafy pro využití clusteru praguelcg2 (golias, FZU)
Podrobné grafy pro využití clusteru prague_cesnet_lcg2 (skurut, CESNET)
Statistiky za VO auger, kde všude pořítali.