Menu

2021

 

MetaCentrum mělo na konci roku 2021 2606 uživatelů s aktivním účtem. Pro srovnání, koncem roku 2020 mělo v MetaCentru účet 2225 uživatelů.

Meziročně vzrostl počet CPU jader pořízených v národním výpočetním prostředí MetaVO (grid + cloud) na 34084 CPU jader (vloni 32036), z toho 10972 CPU jader patřilo CESNETu (bez EGI) a 7664 CPU jader Centru CERIT-SC. Zbývajících 15448 CPU jader (bez EGI) vlastnily univerzity, Akademie věd ČR a velké projekty.

Dalších 6230 CPU jader bylo k dispozici v mezinárodním prostředí EGI. V dávkovém režimu (HTC) byly zapojené zdroje CESNETU (1040 CPU jader) a FZÚ AV ČR (5190 CPU jader) a část kapacity MetaCentrum Cloudu bylo k dispozici v EGI FedCloudu.

V roce 2021 uživatelé MetaVO, MetaCentrum cloudu a Kubernetes propočítali celkem 22647 CPU let (16630 v roce 2020).

• Z toho v dávkovém systému (PBS) bylo propočítáno téměř 17,8 tis. CPU let (oproti 13,6 tis. CPU let v roce 2020), z toho 4,6 tis. CPU let bylo propočítáno na experimentálních strojích CERIT-SC a 11,6 tis. CPU let na strojích CESNETu a ostatních poskytovatelů, dalších 2936 CPU let bylo propočítáno na strojích pod PBS elixir (1007 v roce 2020). V dávkovém režimu bylo v roce 2021 spuštěno 12,2 mil. úloh (13 mil. ve 2020).
• V prostředí MetacentrumCloud bylo propočítáno 4481 CPU let  (3006 CPU let v roce 2020) na 15 tisících (13 tis. v loňském roce) virtuálních strojích. Dalších 3266 CPU let je propočítaný čas strojů exportovaných do PBS (započítáno v cerit-pbs) a 373 CPU let bylo exportováno do Kubernetes.

PBS

celkem PBS 17794 CPU let, 13,2 mil. úloh

• meta-pbs 11558 CPU let, 6,6 mil. úloh
• cerit-pbs 4615 CPU let, 4,6 mil. úloh
• elixir-pbs 1621 CPU let, 943 tis. úloh

MetaCentrumCloud

V čistě cloudovém režimu bylo propočítáno celkem 4481 CPU let, instancí 15127 (včetně FedCloud 641 CPU let).

 

Kubernetes

v provozu od poloviny října, propočítáno celkem 373 CPU let

 

Mezinárodní výpočetní infrastruktura EGI 

celkem 9581 CPU let, 9,3 mil. úloh/virtuálních strojů (zdroj EGI accounting portál)

• FedCloud 641 CPU let,  virtuálních strojů
• EGI HTC 8940 CPU let (elapsed time*number of processors -- HT), 9,3 mil. úloh

 

Vlastníci zdrojů

V MetaCentrum NGI jsou zapojeny následující typy výpočetních kapacit

• Národní výpočetní a úložné kapacity zapojené v MetaVO jsou k dispozici pro zaměstnance a studenty akademických a výzkumných organizací v ČR a jejich výzkumné partnery. Sem patří
  
  • zdroje využívající dávkové systémy PBS Pro,
  • cloudové stroje z MetaCentrum cloudu
  • Kubernetes
• Kromě toho MetaCentrum NGI spravuje stroje zapojené do mezinárodní výpočetní infrastruktury EGI.

 

 

 

Rozdělení výpočetních zdrojů mezi výpočetními centry (vlastníky HW). Graf ukazuje stroje běžící na konci roku 2021.

 

Celkem 40314 CPU jader (prosinec 2021)

• CERIT-SC (7936 CPU jader): uruk, urga, ursa, zefron, zenon, zewura, zelda, glados, gladosag, black, white, phi, k8s -- zapojené dle potřeby v PBS, K8s nebo v MetaCloudu/FedCloudu
  • PBS Pro (6384 CPU jader)
  • Kubernetes (1280 CPU jader)
  • cloud (272 CPU jader )
• CESNET (13324CPU jader)
  
  • PBS Pro (10972 CPU jader): aman, adan, doom, grimbold, hildor, hagrid, mandos, manegrot, meduseld, minos, tarkil, ida, nympha, oven, kirke
  • MetaCloud (1312 CPU jader: cloud
  • EGI HTC (1040 CPU jader)
• ELIXIR (5624 CPU jader)
  
  • PBS Pro (3096 CPU jader): elmo, eli + elwe, eltu
  • MetaCloud (2528 CPU): cloud
• Ostatní
  
  • Fyzikální ústav AV ČR
    
    • PBS Pro (2624 CPU jader)
    • EGI HTC (5190 CPU jader)
  • Masarykova univerzita CEITEC-NCBR (912 CPU jader): lex, zubat, krux
  • Masarykova univerzita ÚVT a C4E (1552 CPU jader): cloud
  • Masarykova univerzita RECETOX (336 CPU jader): cloud
  • Masarykova univerzita FSS (48 CPU): cloud
  • Karlova univerzita (1328 CPU jader): cha, fau, mor, pcr
  • Západočeská univerzita (368 CPU jader):  alfrid, konos
  • Botanický ústav AV ČR: (352 CPU jader): ibot, draba, carex
  • Technická univerzita Liberec (480 CPU jader): charon
  • Univerzita Palackého Olomouc (128 CPU jader): upol128
  • Ústav experimentální botaniky (112 CPU jader): samson
  • Ústav biologie obratlovců AV ČR (24 CPU jader): bofur

 

Statistiky využití zdrojů MetaVO

Využití strojů v dávkovém systému PBS

Následující graf ukazuje průměrné vytížení výpočetních clusterů a strojů v MetaVO v roce 2021. Základem pro výpočet průměrného vytížení (100%) je celkový počet dostupných CPU-core-seconds mínus počet CPU-core-seconds strojů, které nebyly v provozu. Rezervované stroje jsou započítané tak, jako by byly plně využity, bez ohledu na jejich skutečné využití. Údaj v závorce udává počet CPU v clusteru na konci roku. Nula značí, že cluster byl v průběhu roku vyřazen.

Průměrné vytížení volně dostupných strojů v MetaCentru se pohybovalo v roce 2021 mezi 65 a 95 %. Vytížení okolo 70% je optimální, vyšší vytížení již znamená faktickou saturaci a způsobuje delší doby čekání úloh ve frontě. Nižší hodnoty vytížení vykazují stroje, které byly do MetaCentra zapojeny až v průběhu sledovaného období nebo jsou unikátní, vyhrazené pro specifický typ výpočtů nebo vyhrazené pro některou skupinu.

  

 

Vytížení strojů zapojených v meta-pbs v průběhu celého roku 2021. Průměrné vytížení CPU se pohybovalo okolo 68 %. Do průměru jsou započítany všechny výpočetní clustery, i ty, které jsou vyhrazeny s přednostním právem vlastníkům a jejichž vytížení obvykle bývá nižší.

 

 

Vytížení strojů zapojených v cerit-pbs v průběhu celého roku 2021. Průměrné vytížení CPU se pohybovalo okolo 66 %. Do průměru jsou započítany všechny výpočetní clustery, i ty, které jsou specializované a dokáží obsloužit jen určitý typ výpočtů.

 

Uživatelé

Využití MetaCentra organizacemi (Meta VO, PBS) dle propočítaného času

PBS server meta-pbs

 

PBS server cerit-pbs

 

 

PBS servery meta-pbs + cerit-pbs + elixir-pbs

Nárůst celkového propočítaného CPU času, počtu úloh a počtu CPU jader META VO

Počet úloh a doba čekání na spuštění dle požadované délky úloh.

 

Počet úloh a propočítaný čas dle požadované délky úloh.

 

Využití MetaCentrum Cloud

V cloudu rozlišujeme stroje podle určení nebo vlastníků: meta, cerit-sc, egi, mu, recetox, csirt.

Zdroje jsou nabízené 2 způsoby: osobní využití s omezením počtu a velikosti běžících instancí a projektové využití

Část kapacity je exportovaná do cerit-pbs (dávkové využití).

 

Podíl propočítaného času spotřebovaného v MetaCentrum Cloud

Využití RAM

Počet spuštěných instancí (vm)

 

Počet založených projektů

 Struktura HW podle vlastníků -- počet GPU a počet jader CPU

 

 

ELIXIR-CZ VO v PBS a v cloudu

Ke clusterům pořízeným z projektu ELIXIR-CZ mělo prostřednictvím plánovacího systemu elixir-pbs dedikovaný přístup 72 uživatelů projektu ELIXIR-CZ, uživatelé MetaCentra sem mohli posílat krátké výplňové úlohy pouze tehdy, pokud byl cluster nevyužitý. V cloudovém prostředí uživatelé z ELIXRu založili celkem 15 projektových skupin a 13 individuálních účtů.

Velikost clusteru ke konci roku 2021: 2936 (pbs) + 2656 CPU jader cloud

V roce 2021 propočítáno elixir-pbs 1621CPU let ve 943 tisících úlohách, v cloudu pak uživatelé z elixíru propčítali 555 CPU let v 213 instancích.

Využití v PBS

Mezi největší počtáře (organizace, služby) podle propočítaného času na strojích projektu ELIXIR-CZ patří (pbs) UK (31 %), MU (17%), RE Galaxy ELIXIR (10 %),  FZÚ AV ČR (10 %), ČVUT (9 %) a UPOL (4%), ostatní propočítali 23 %.

Nejvíce propočítaného času bylo ve frontě global, do které směřují také krátké úlohy z jiných pbs systémů. Druhou nejžádanější frontou byla fronta obsluhující stroje s velkou pamětí, třetí pak fronta pro aplikaci RepeatExplorer Galaxy.

Následující obrázek ukazuje, na kterém clusteru projektu ELIXIR-CZ se propočítalo nejvíce.

 

Většina úloh požadovala několik málo jader na jeden běh, vyskytly se však úlohy požadující až 640 CPU jader. Podobně si většina úloh vystačila s požadavkem na paměť v řádu desítek GB, vyskytly se však i úlohy požadující 1 TB RAM. Grafy mají logaritmické měřítko.

Vytížení strojů zapojených v elixir-pbs v průběhu celého roku 2021 (1. 1. 2021 - 31. 12. 2021). Průměrné vytížení CPU se pohybovalo okolo 43 %. Cluster je dedikovaný projektu ELIXIR-CZ, který má k výpočetním zdrojům prioritní přístup. 

 

Elixir v cloudu

Z celkového využitého CPU času ELIXIR využil 7 % CPU času (elixir-projects), což je 555 CPU let ve 213 instancích.

Rozdělení výpočetního času mezi projekty registrované pod hlavičkou Elixíru.

 

 

Služba Elixir RepeatExplorer Galaxy

 

Službě RE Galaxy (elixirre) bylo vyhrazeno 11 uzlů po 32 jádrech, tj. celkem 352 CPU jader.

Na následujících grafech je znázorněné vytížení těchto dedikovaných výpočetních prostředků, průměrná doba čekání úlohy na spuštění a denní počty nově spuštěných úloh.

Počet úloh přicházejících do systému a propočítaný čas.

 

 

 

 

Úložné prostory

Meziročně opět vzrostlo zaplnění diskových polích v MetaCentru i v CERIT-SC. Mimo to, se podařilo integrovat diskové pole jiných vlastníků do infrastruktury MetaCentra (CEITEC, ELIXIR). Přístup na taková pole je dedikován vlastníkům, po dohodě s nimi může býrt přístupný i pro další uživatele.

 

Publikace s poděkováním za využití

Následující graf ukazuje počty uživatelských publikací s poděkováním e-infrastruktuře vykázaných v systému Perun (modrý sloupec) a převzatých z veřejné databáze Web of Science (WoS, oranžový sloupec). V Perunovi evidujeme všechny typy publikací, včetně publikací neimportovaných do RIVu, proto jich je více než publikací evidovaných v databázi WoS, ve které jsou zahrnuté pouze kvalitní bodované publikace. Za rok 2021 byla data k publikacím posbírána koncem ledna, předpokládáme nárůst v počtu publikací vykázaných v roce 2021, uživatelé je do systému Perun v kládají až s výroční zprávou. Také ve WoS se některé publikace z konce roku objevují se zpožděním.

 Následující graf byl pořízen v březnu 2022 a ukazuje počty uživatelských publikací s poděkováním za využití zdrojů a příslušné citace. Zdroj WoS.

Publikace za rok 2021 členěné podle oborů. Zdroj WoS.

 

Počet publikací s poděkováním MetaCentru vykázaných v evidenci MetaCentra celkově a část publikací zveřejněná ve WoS.

 

 

Seznam uživatelských publikací za rok 2021 s poděkováním

 

 

 

EGI

FedCloud

 

Následující tabulka a graf ukazují propočítaný čas v rámci jednotlivých mezinárodních projektů (VO), kterým poskytujeme výpočetní výkon.

 Následující tabulka a graf ukazují počty spuštěných virtuálních strojů jednotlivými projkety (VO).

Rozdělení dle projektů (podpořených virtuáních organizací).

 

 

 

HTC

Počet CPU jader zapojených do EGI HTC: 6230 CPU jader, z toho

• prague_cesnet_lcg2 (skurut CESNET): 1040 CPU jader
• praguelcg2 (golias FZU): 5190 CPU jader

Přehled z HTC Compute EGI accounting portálu zobrazuje accountingová data ze všech výpočetních středisek výpočetní kapacity s vysokou propustností v infrastruktuře EGI v NGI_CZ. Účetní informace jsou shromažďovány pouze od středisek zdrojů, která jsou součástí federace EGI a jsou certifikována v GOCDB. Zobrazená metrika je Normalized Elapsed time (HEPSPEC06) * Number of Processors. Pro srovnání s naší metodikou je potřeba dělit přibližně 4, v EGI jsou započítaná HT jádra.

 

Podrobné grafy pro využití clusteru  praguelcg2 (golias, FZU)

 

 

Podrobné grafy pro využití clusteru prague_cesnet_lcg2 (skurut, CESNET)

 

 

 

Statistiky za VO auger, kde všude pořítali.