2021

zelena-tabulka-v4
 

MetaCentrum mělo na konci roku 2021 2606 uživatelů s aktivním účtem. Pro srovnání, koncem roku 2020 mělo v MetaCentru účet 2225 uživatelů.

Meziročně vzrostl počet CPU jader pořízených v národním výpočetním prostředí MetaVO (grid + cloud) na 34084 CPU jader (vloni 32036), z toho 10972 CPU jader patřilo CESNETu (bez EGI) a 7664 CPU jader Centru CERIT-SC. Zbývajících 15448 CPU jader (bez EGI) vlastnily univerzity, Akademie věd ČR a velké projekty.

Dalších 6230 CPU jader bylo k dispozici v mezinárodním prostředí EGI. V dávkovém režimu (HTC) byly zapojené zdroje CESNETU (1040 CPU jader) a FZÚ AV ČR (5190 CPU jader) a část kapacity MetaCentrum Cloudu bylo k dispozici v EGI FedCloudu.

V roce 2021 uživatelé MetaVO, MetaCentrum cloudu a Kubernetes propočítali celkem 22647 CPU let (16630 v roce 2020).

PBS

celkem PBS 17794 CPU let, 13,2 mil. úloh

MetaCentrumCloud

V čistě cloudovém režimu bylo propočítáno celkem 4481 CPU let, instancí 15127 (včetně FedCloud 641 CPU let).

 

Kubernetes

v provozu od poloviny října, propočítáno celkem 373 CPU let

 

Mezinárodní výpočetní infrastruktura EGI 

celkem 9581 CPU let, 9,3 mil. úloh/virtuálních strojů (zdroj EGI accounting portál)

 

Vlastníci zdrojů

V MetaCentrum NGI jsou zapojeny následující typy výpočetních kapacit

 pocet-jader-graf

 

 zdroje-instituce

Rozdělení výpočetních zdrojů mezi výpočetními centry (vlastníky HW). Graf ukazuje stroje běžící na konci roku 2021.

poskytovatelhw-2021

 


Celkem 40314 CPU jader (prosinec 2021)

 

Statistiky využití zdrojů MetaVO

Využití strojů v dávkovém systému PBS

Následující graf ukazuje průměrné vytížení výpočetních clusterů a strojů v MetaVO v roce 2021. Základem pro výpočet průměrného vytížení (100%) je celkový počet dostupných CPU-core-seconds mínus počet CPU-core-seconds strojů, které nebyly v provozu. Rezervované stroje jsou započítané tak, jako by byly plně využity, bez ohledu na jejich skutečné využití. Údaj v závorce udává počet CPU v clusteru na konci roku. Nula značí, že cluster byl v průběhu roku vyřazen.

Průměrné vytížení volně dostupných strojů v MetaCentru se pohybovalo v roce 2021 mezi 65 a 95 %. Vytížení okolo 70% je optimální, vyšší vytížení již znamená faktickou saturaci a způsobuje delší doby čekání úloh ve frontě. Nižší hodnoty vytížení vykazují stroje, které byly do MetaCentra zapojeny až v průběhu sledovaného období nebo jsou unikátní, vyhrazené pro specifický typ výpočtů nebo vyhrazené pro některou skupinu.

  

clustery-utilisation2021

 

Vytížení strojů zapojených v meta-pbs v průběhu celého roku 2021. Průměrné vytížení CPU se pohybovalo okolo 68 %. Do průměru jsou započítany všechny výpočetní clustery, i ty, které jsou vyhrazeny s přednostním právem vlastníkům a jejichž vytížení obvykle bývá nižší.

 meta-utilization-avg

 

Vytížení strojů zapojených v cerit-pbs v průběhu celého roku 2021. Průměrné vytížení CPU se pohybovalo okolo 66 %. Do průměru jsou započítany všechny výpočetní clustery, i ty, které jsou specializované a dokáží obsloužit jen určitý typ výpočtů.

cerit-utilization-avg

 

Uživatelé

Využití MetaCentra organizacemi (Meta VO, PBS) dle propočítaného času

PBS server meta-pbs

 meta-uzivatele

PBS server cerit-pbs

 


 

PBS servery meta-pbs + cerit-pbs + elixir-pbs

instituce-cpu-cas

Nárůst celkového propočítaného CPU času, počtu úloh a počtu CPU jader META VO

cpus-jobs-time-meta-cerit-elixir-kubern-cloud

Počet úloh a doba čekání na spuštění dle požadované délky úloh.

 pocet-uloh-cekani-dle-walltime

Počet úloh a propočítaný čas dle požadované délky úloh.

pocet-uloh-cpu-cas-dle-walltime
 

Využití MetaCentrum Cloud

V cloudu rozlišujeme stroje podle určení nebo vlastníků: meta, cerit-sc, egi, mu, recetox, csirt.

Zdroje jsou nabízené 2 způsoby: osobní využití s omezením počtu a velikosti běžících instancí a projektové využití

Část kapacity je exportovaná do cerit-pbs (dávkové využití).

 

Podíl propočítaného času spotřebovaného v MetaCentrum Cloud

cloud-whole-cpuhours

Využití RAM

cloud-whole-RAMhours

Počet spuštěných instancí (vm)

 cloud-whole-instances

Počet založených projektů

cloud-whole-projects

 Struktura HW podle vlastníků -- počet GPU a počet jader CPU

cloud-HW-gpucloud-HW

 

 

ELIXIR-CZ VO v PBS a v cloudu

Ke clusterům pořízeným z projektu ELIXIR-CZ mělo prostřednictvím plánovacího systemu elixir-pbs dedikovaný přístup 72 uživatelů projektu ELIXIR-CZ, uživatelé MetaCentra sem mohli posílat krátké výplňové úlohy pouze tehdy, pokud byl cluster nevyužitý. V cloudovém prostředí uživatelé z ELIXRu založili celkem 15 projektových skupin a 13 individuálních účtů.

Velikost clusteru ke konci roku 2021: 2936 (pbs) + 2656 CPU jader cloud

V roce 2021 propočítáno elixir-pbs 1621CPU let ve 943 tisících úlohách, v cloudu pak uživatelé z elixíru propčítali 555 CPU let v 213 instancích.

Využití v PBS

Mezi největší počtáře (organizace, služby) podle propočítaného času na strojích projektu ELIXIR-CZ patří (pbs) UK (31 %), MU (17%), RE Galaxy ELIXIR (10 %),  FZÚ AV ČR (10 %), ČVUT (9 %) a UPOL (4%), ostatní propočítali 23 %.

elixir-organizace

Nejvíce propočítaného času bylo ve frontě global, do které směřují také krátké úlohy z jiných pbs systémů. Druhou nejžádanější frontou byla fronta obsluhující stroje s velkou pamětí, třetí pak fronta pro aplikaci RepeatExplorer Galaxy.

elixir-fronty-cputime

Následující obrázek ukazuje, na kterém clusteru projektu ELIXIR-CZ se propočítalo nejvíce.

 elixir-clustery-cas

Většina úloh požadovala několik málo jader na jeden běh, vyskytly se však úlohy požadující až 640 CPU jader. Podobně si většina úloh vystačila s požadavkem na paměť v řádu desítek GB, vyskytly se však i úlohy požadující 1 TB RAM. Grafy mají logaritmické měřítko.

elixxir-cpu-ram-distribuce

Vytížení strojů zapojených v elixir-pbs v průběhu celého roku 2021 (1. 1. 2021 - 31. 12. 2021). Průměrné vytížení CPU se pohybovalo okolo 43 %. Cluster je dedikovaný projektu ELIXIR-CZ, který má k výpočetním zdrojům prioritní přístup. elixir-utilization-avg

elixir-elan-eltu-vytizeni

elixir-elmo-elwe-vytizeni

 

Elixir v cloudu

Z celkového využitého CPU času ELIXIR využil 7 % CPU času (elixir-projects), což je 555 CPU let ve 213 instancích.

cloud-whole-cpuhours

Rozdělení výpočetního času mezi projekty registrované pod hlavičkou Elixíru.

elixir-cloud-projekty 

 

Služba Elixir RepeatExplorer Galaxy

 

Službě RE Galaxy (elixirre) bylo vyhrazeno 11 uzlů po 32 jádrech, tj. celkem 352 CPU jader.

Na následujících grafech je znázorněné vytížení těchto dedikovaných výpočetních prostředků, průměrná doba čekání úlohy na spuštění a denní počty nově spuštěných úloh.

Počet úloh přicházejících do systému a propočítaný čas.

regalaxy-cpucas-jobs

 

 regalaxy2021

 

 

Úložné prostory

Meziročně opět vzrostlo zaplnění diskových polích v MetaCentru i v CERIT-SC. Mimo to, se podařilo integrovat diskové pole jiných vlastníků do infrastruktury MetaCentra (CEITEC, ELIXIR). Přístup na taková pole je dedikován vlastníkům, po dohodě s nimi může býrt přístupný i pro další uživatele.

storage

 

Publikace s poděkováním za využití

Následující graf ukazuje počty uživatelských publikací s poděkováním e-infrastruktuře vykázaných v systému Perun (modrý sloupec) a převzatých z veřejné databáze Web of Science (WoS, oranžový sloupec). V Perunovi evidujeme všechny typy publikací, včetně publikací neimportovaných do RIVu, proto jich je více než publikací evidovaných v databázi WoS, ve které jsou zahrnuté pouze kvalitní bodované publikace. Za rok 2021 byla data k publikacím posbírána koncem ledna, předpokládáme nárůst v počtu publikací vykázaných v roce 2021, uživatelé je do systému Perun v kládají až s výroční zprávou. Také ve WoS se některé publikace z konce roku objevují se zpožděním.

 Následující graf byl pořízen v březnu 2022 a ukazuje počty uživatelských publikací s poděkováním za využití zdrojů a příslušné citace. Zdroj WoS.

citation-index

Publikace za rok 2021 členěné podle oborů. Zdroj WoS.

wos-obory-visualization

 

Počet publikací s poděkováním MetaCentru vykázaných v evidenci MetaCentra celkově a část publikací zveřejněná ve WoS.

publikace 

 

Seznam uživatelských publikací za rok 2021 s poděkováním

 

 

 

EGI

FedCloud

 

Následující tabulka a graf ukazují propočítaný čas v rámci jednotlivých mezinárodních projektů (VO), kterým poskytujeme výpočetní výkon.

  

 Následující tabulka a graf ukazují počty spuštěných virtuálních strojů jednotlivými projkety (VO).

cloud-egi

Rozdělení dle projektů (podpořených virtuáních organizací).

 cloud-egi-projekty

 

 

HTC

Počet CPU jader zapojených do EGI HTC: 6230 CPU jader, z toho

Přehled z HTC Compute EGI accounting portálu zobrazuje accountingová data ze všech výpočetních středisek výpočetní kapacity s vysokou propustností v infrastruktuře EGI v NGI_CZ. Účetní informace jsou shromažďovány pouze od středisek zdrojů, která jsou součástí federace EGI a jsou certifikována v GOCDB. Zobrazená metrika je Normalized Elapsed time (HEPSPEC06) * Number of Processors. Pro srovnání s naší metodikou je potřeba dělit přibližně 4, v EGI jsou započítaná HT jádra.

 

Podrobné grafy pro využití clusteru  praguelcg2 (golias, FZU)

2021-golias-njobs

 

2021-golias-normalized_walltime

 

Podrobné grafy pro využití clusteru prague_cesnet_lcg2 (skurut, CESNET)

2021-skurut-njobs

 

2021-skurut-normalized_walltime

 

 

Statistiky za VO auger, kde všude pořítali.

2021-auger-njobs

2021-auger-normalized_walltime

 

 

 


 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Poslední změna:Tue Apr 12 16:57:20 CEST 2022