2024

Navigace:

Přehled

 MetaCentrum VO sestává z výpočetní kapacity poskytované přes PBS, v Kubernetes, OpenStack Cloudu a SecurityCloudu. Část kapacit je poskytováno v mezinárodním prostředí EGI. Tyt

2024	celkem	PBS celkem	Elixir	Cloud	Kubernetes	SensitiveCloud
počet úloh/podů/vm		11,4 mil	274 tis. PBS	49 tis vm	725 tis. pods
CPU čas (walltime)		24527 CPU let	1584,4 CPU let PBS	10133 CPU let	2737
GPU čas		269,6 GPU let	n/a	50,6 GPU let	27,8 GPU let
Počet uživatelů	3490 registrovaných	1875 alespoň 1 úloha	106	1281 projects	200 rancher, 428 jupyter+alphafold
Počet CPU jader v prosinci		36452 (včetně Elixir a CERIT-SC)	3448 PBS + XX cloud	7368	3008	952
Počet GPU karet v prosinci		365	0	78	47	18

 

MetaCentrum VO mělo na konci roku 2024 3490 uživatelů s aktivním účtem. Pro srovnání, koncem roku 2023 mělo v MetaCentru účet 3055 uživatelů.

MetaCEntrum VO sestává z výpočetní kapacity poskytované přes PBS, v Kubernetes, OpenStack Cloudu a SecurityCloudu. Část kapacit je poskytováno v mezinárodním prostředí EGI.

 

Meziročně narostl počet CPU jader pořízených v národním výpočetním prostředí MetaVO (grid + cloud) na todo CPU jader (vloni 41288), z toho xxx CPU jader patřilo CESNETu (bez EGI, xxx PBS, xxxcloud), CERIT-SC měl xxx (xxx PBS + xxx cloud, xx K8s). Zbývajících xxx CPU jader (bez EGI) vlastnily univerzity, Akademie věd ČR a velké projekty.

Dalších TODO6460 CPU jader bylo k dispozici v mezinárodním prostředí EGI. V dávkovém režimu (HTC) byly zapojené zdroje CESNETU (1040 CPU jader) a FZÚ AV ČR (5420 CPU jader) a část kapacity MetaCentrum Cloudu bylo k dispozici v EGI FedCloudu.

V roce 2024 uživatelé MetaVO, MetaCentrum cloudu a Kubernetes propočítali celkem xxx CPU let (31858 v roce 2023).

• Z toho v dávkovém systému (PBS) bylo propočítáno více než 24,5 tis. CPU let (22,5 tis. CPU let v roce 2023) ve 11,4 mil. úloh (10,1 mil. ve 2023). Z toho více než 2,9 mil. úloh požadovalo GPU.
• V prostředí MetacentrumCloud bylo propočítánocelkem 10133 CPU let včetně exportu do PBS (10880 CPU let v roce 2023) na téměř 49 tisících (20 tis. v loňském roce) virtuálních strojích. V propočítaném čase je zahrnutý povolený overcommiting.
• V prostředí Kubernetes bylo v provozu 3008 CPU jader (952 CPU jader vyhrazených pro Sensitive Cloud), na kterých bylo propočítáno celkem 2737 CPU let (1977 CPU let v roce 2023).

 

 

 

Vlastníci zdrojů

V MetaCentrum NGI jsou zapojeny následující typy výpočetních kapacit

• Národní výpočetní a úložné kapacity zapojené v MetaVO jsou k dispozici pro zaměstnance a studenty akademických a výzkumných organizací v ČR a jejich výzkumné partnery. Sem patří
  
  • zdroje využívající dávkové systémy PBS Pro,
  • cloudové stroje z MetaCentrum cloudu
  • Kubernetes
• Kromě toho MetaCentrum NGI spravuje stroje zapojené do mezinárodní výpočetní infrastruktury EGI.
•  
•  
• TODO
•  

 

 

 

 

TODO Celkem 49386 CPU jader (prosinec 2023)

• CERIT-SC (8120 CPU jader): capy, uruk, urga, ursa, zefron, glados, black, phi, zia, gita, zenon, zelda, k8s -- zapojené dle potřeby v PBS, K8s nebo v MetaCloudu/FedCloudu
  • PBS Pro (5152 CPU jader)
  • Kubernetes (2432 CPU jader)
  • cloud (536 CPU jader )
• CESNET (21104 CPU jader)
  
  • PBS Pro (18624 CPU jader): aman, adan, tarkil, ida, halmir, galdor, nympha, kirke, grimbold, hildor, tyra, turin, hagrid
  • MetaCloud (1440 CPU jader: cloud
  • EGI HTC (1040 CPU jader): skurut
• ELIXIR (5624 CPU jader)
  
  • PBS Pro (3224 CPU jader): elmo, eli + elwe, eltu, elan
  • MetaCloud (2400 CPU): cloud
• Ostatní
  
  • Fyzikální ústav AV ČR
    
    • PBS Pro (3008 CPU jader): luna
    • EGI HTC (5420 CPU jader)
  • Masarykova univerzita ÚVT a C4E (1600 CPU jader): cloud
  • Masarykova univerzita RECETOX (336 CPU jader): cloud
  • Masarykova univerzita FSS (0(48) CPU): cloud
  • Karlova univerzita (1520 CPU jader): cha, fau, mor, pcr, fer
  • Západočeská univerzita (368 CPU jader):  alfrid, konos
  • Botanický ústav AV ČR: (352 CPU jader): ibot, draba, carex, vinca
  • Technická univerzita Liberec (480 CPU jader): charon
  • Univerzita Palackého Olomouc (128 CPU jader): upol128
  • Ústav experimentální botaniky (112 CPU jader): samson

 

 

 

Statistiky využití zdrojů MetaVO

Využití strojů v dávkovém systému PBS

V květnu roku 2024 došlo k velkému třesku, kdy ze tří samostatných plánovačů (meta x elixir x cerit-sc) zbyl jediný společný, takže data jsou oproti minulým letům poskytována souhrnně a některé statistiky překládáme na dvě části, první před třeskem, druhá po něm, z důvodu jiného způsobu zpracování.

celkem 53 clusterů, 36452 CPU jader

• propočítaný CPU čas: 24527 CPU let
• propočítaný GPU čas: 269,6 GPU let,
• počet úloh: 11,4 mil. úloh, z toho 2,9 mil. úloh požadovalo GPU
• 1875 uživatelů spustilo úlohu. Zbytek účet používal pro sdílení výsledků dat s kolegy nebo k ukládání dat.

 

Průměrné vytížení všech strojů zapojených v meta-pbs v průběhu celého roku 2024

 Následující graf ukazuje průměrné vytížení výpočetních clusterů a strojů v MetaVO v roce 2024. Základem pro výpočet průměrného vytížení (100%) je celkový počet dostupných CPU-core-seconds mínus počet CPU-core-seconds strojů, které nebyly v provozu. Rezervované stroje jsou započítané tak, jako by byly plně využity, bez ohledu na jejich skutečné využití. Údaj v závorce udává počet CPU v clusteru na konci roku. Nula značí, že cluster byl v průběhu roku vyřazen.

Průměrné vytížení (CPU) volně dostupných strojů v MetaCentru se pohybovalo v roce 2022 okolo 65 %. Vytížení okolo 70% je optimální, vyšší vytížení již znamená faktickou saturaci a způsobuje delší doby čekání úloh ve frontě. Nižší hodnoty vytížení vykazují stroje, které byly do MetaCentra zapojeny až v průběhu sledovaného období nebo jsou unikátní, vyhrazené pro specifický typ výpočtů nebo vyhrazené pro některou skupinu. Clustery s GPU mají také nižší využití CPU, protože jsou využívány primárně pro výpočty na GPU.

 

Průměrné vytížení clusterů se liší podle toho, zda jsou vlastněné CESNETem a jsou využitelné všem bez rozdílu, anebo zda patří některé uživatelské skupině, která má prioritní přístup a ostatní uživatelé jsou zde limitovaní, využití je proto nižší. Průměrné vytížení CPU se pohybovalo okolo 70 %, GPU pak více než 70 %. Do průměru jsou započítany všechny výpočetní clustery, i ty, které jsou vyhrazeny s přednostním právem vlastníkům a jejichž vytížení obvykle bývá nižší.

Na jaře probíhala migrace všech strojů na nový plánovač a zároveň postupná reinstalace všech uzlů na nový operační systém. Tomu odpovídá graf průměrného vytížení za všechny stroje.

 

 

• Průměrné vytížení všech clusterů [PDF]
• Průměrné vytížení GPU clusterů [PDF]

 

Podrobnější pohled na některé nedávno pořízené zajímavé stroje a clustery

Pro nejnáročnější AI výpočty byl k dispozici je výkonný server capy NVIDIA DGX s 8 GPU kartami H100 s 40 GB GPU MEM propojenými NVLinkem.

O takto velké a rychlé grafické karty byl taková zájem, že v listopadu byl uveden do provozu cluster bee 960 CPU jádry s nejnovější 32x GPU NVIDIA H100 s 96 GB GPU MEM v každém z 20 uzlů.

• 10 uzlů bylo zpřístupněno dávkovým způsobem v MetaCentru - cluster bee.cerit-sc.cz,
• 8 uzlů bylo k dispozici v Kubernetes / Rancheru,
• 2 uzly byly zařazeny v Sensitive Cloudu pro práci s citlivými daty.

Ve stejno dobu připojil Fyzikální ústav Akademie věd nový cluster magma.fzu.cz sestávající z 23 uzlů celkem s 2208 CPU jádry a každý s 1,5 TB RAM, bez grafických karet.

 

Využití výkonného stroje DGX H100

Stroj centra CERIT SC DGX H100 se 4 kartami NVIDIA H100 (GPU RAM 40 GB každá) byl pořízen v polovině roku (červen 2023).  Je přístupný přes speciální frontu a jen pro uživatele, kteří doložili, že jej opravdu potřebují a umí využít. Standardní úlohy, které mohou být spočítány na méně výkonných kartách, na tento stroj vůbec nezařazujeme.  I tak si získal velikou oblibu. Po prázdninách se využití GPU karet zvýšilo až ke 100 % a je prakticky stále obsazený.

 

 

Využití clusteru bee.cerit-sc.cz

 

Využití clusteru magma.fzu.cz 

Následují statistiky využití všech clusterů zapojených do PBS. 

Počet úloh a průměrná doba jejich čekání na spuštění v závislosti na počtu požadovaných CPU jader. Naprostá většina úloh přicházejících do systému požaduje 1 CPUs. Nejdéle čekají úlohy  požadující více než 128 CPU jader.

 

Počet úloh a průměrná doba jejich čekání na spuštění v závislosti na požadované délce běhu úlohy. Naprostá většina úloh požadovala dubu běhu do 24 hodin a průměrně čekaly na spuštění do 20 hodin. Nejdéle čekaly úlohy požadující více než týdenní čas běhu. Graf ukazuje rovněž úlohy, které požadovaly GPU, bez ohledu na jejich velikost, díky prioritním gpu frontám, tyto úlohy nečekaly průměrně více než 10 hodin.

Počet úloh a jimi propočítaný čas v závislosti na počtu požadovanýc CPU jader. Z grafu je patrnné, že nejvíce do systému přisšlo 1 CPU úloh a tyto propočítaly největší CPU čas. Nejčastěji uživatelé pouštějí úlohy do 16 CPU jader, je to z důvodu optimalizace doby spuštění. Do systému však, díky speciálním strojům typu UV s mnoha CPU jádry a velkou sdílenou pamětí, přicházelo poměrně dost úloh vyžadujících více než 128 CPU jader. Tyto propočítaly souhrnně 1000 CPU let.

 

Počet úloh a jimi propočítaný čas v závislosti na délce úlohy. 

 Následující graf ukazuje souhrnný pohled na průměrné využití strojů s přihlédnutím k jejich údržbě. Průměrně bylo v údržbě okolo 10 % strojů. V polovině září se začaly clustery odstavovat z provoz, dobíhaly na nich dlouhé úlohy, aby v květnu mohlo dojít k jejich postupné reinstalaci a přepnutí na nový plánovací systém. 

 

Graf demonstrující využítí podle front a propočítané času v nich

 

 

TODO Vývoj počtu jader, propočítaného času a počtu úloh ukazuje, že zatímco počet CPU jader, které jsou k dispozici a propočítaný čas rostou proporčně, celkový počet propočítaných úloh roste pomaleji a v posledním roce dokonce klesl. Lze to vysvětlit prodloužení délky jednotlivých úloh.

 

Software (moduly)

Následující grafy vycházejí z dat ze syslogu o spouštěných modulech v úlohách běžících pod PBS od února do prosince 2024, za leden už data nejsou k dispozici.

Uživatelé použili 3800 různých modulů v 11 milionech úlohách. Pokud úloha požadovala více modulů, započítala se vícekrát.

Pokud se podíváme na četnost použití konkrétních modulů, 50 nejčastějších modulů tvoří 87 % všech úloh, které modul požadovaly. 100 nejčastěji spouštěných modulů tvoří 94 % všech úloh s moduly.

Následující graf ukazuje 50 nejčastěji použitých modulů podle počtu úloh, ve kterých byly požadované.

Následující graf ukazuje 50 nejoblíbenějších modulů používaných nejvíce uživateli.

 

Využití komerčního SW podle počtu spuštění vypadá následovně:

Využití komerčního SW podle počtu uživatelů, kteří jej použili ve svých úlohách.

 

Propočítaný čas TOP 50 moduly.

Propočítaný čas komerčními SW.

 

 

Elixir (PBS)

106 uživatelů z projektu ELIXIR spustilo alespoň jednu úlohu a na dedikovaných strojích propočítali celkem 1584 CPU let ve 27 tis. úlohách.

Následují grafy ilustrující využití strojů uživateli z projektu ELIXIR. Kromě toho na strojích běžely výplňové úlohy jiných uživatelů, ty zde nejsou započítány.

 

Open OnDemand

Část úloh v PBS je zadávána a spouštěna z grafického prostředí OpenOnDemand. Úlohy byly odbavovány v prioritní interaktivní frontě a běžely v PBS.

• 350 uživatelů zadalo alespoň 1 úlohu, 172 uživatelů alespoň 5 úloh
  
• celkem 6155 úloh
  
• celkem uživatelé propočítali 63,5 CPU let

 

 Jednotlivé aplikace OnDemndu

Aplikace	počet úloh	počet uživatelů	CPU let
RStudio	2232	125	551,97
Jupyter	1683	144	273
Desktop	1018	146	264,7
Matlab	514	59	325,4
Ansys	483	27	108,5
biop-desktop	103	13	0,29
VMD	48	25	0,6
CLC genomics	2	2	-
repet	2	2	-
Alphafold jobs	99	3	124,4

 

Uživatelé (PBS)

Využití MetaCentra organizacemi (Meta VO, PBS) dle propočítaného času. Na první grafu je Akademie věd započítána jako jedna organizace, na druhém jak počítaly jednotlivé ústavy Akademie věd. Do počtu uživatelů jsou započítáni pouze ti, kteří v roce 2024 spustili alespoň jednu úlohu.

 

TODO  Počet uživatelů dle institucí, kteří použili gridové služby MetaCentra (spustili úlohu). Na prvním obrázku je AV ČR jako celek, na druhém jsou pak pouze uživatelé z jednotlivých ústavů AV ČR.

  

 

 

Kubernetes

na konci roku 2024 bylo v provozu 3008 CPU jader (vloni 2432) , na kterých bylo propočítáno celkem 2737 (vloni 1917) CPU let. Rancher použilo 200 uživatelů, 428 uživatelů vyzkoušelo jupyter + alphafold/foldify.

K dispozici bylo 47 GPU karet různých typů:

Typ GPU karty	počet
NVIDIA H100 96 GB NVL	8
NVIDIA H100 PCIe	2
NVIDIA A40	21
NVIDIA L4	1
NVIDIA A10	5
NVIDA A100 80GB PCIe	10

 V rámci Kuberbetes běží také SensitiveCloud

• CPU jader: 952
• GPU: 18

 

 Využití významných aplikací běžících v Kubernetes

• Alphafold/Foldify 130 lidí, 3418 podů, 1189 různých proteinů, 31,4 CPU let, 1,05, GPU let
• JupyterHub 9978 podů, 213 CPU let, 4,38 GPU let, z toho JupyterNotebooky 4804 podů, 190 CPU let, 4,31 GPU let (V JupyterHuby se spouští i jiné pody, např. ColabFold)
• 3057x JupyterNotebooks, 231 uživatelů

 

Běžící projekty (měřeno od srpna 2024)

• eLTER 128 podů. 5,65 CPU let, 10,3 GPU let
• C-Scale (EGI) 8017 podů, 37,2 CPU let, 4,21 GPU let
• C9088 MU 296 podů, 3,99 CPU let, 0 GPU
• CAS Cryosparc 2 pody, 22,5 týdnů CPU let
• ELI Cryosparc 1 pod, 2,1 CPU týdnů, 0 GPU
• CEITEC Cryosparc 1985 podů, 36,5 CPU let, 22,8 GPU let
• CAS Jupyterhub 250 podů, 23,9 CPU let, 0 GPU
• IPCEI Jupyterhub 137 podů, 3,49 CPU let, 1,32 GPU let
• Chipster 243 podů, 23,3 CPU let, 0 GPU
• JCU RAG 184 podů, 2,87 CPU let, 4,18 GPU let
• Loschmidt 26493 podů, 49,5 CPU let, 0 GPU

 

 

 

 

MetaCentrum Cloud

 

V roce 2024 MetaCentrum Cloud provozoval 7368 CPU jader a 78 GPU karet.

Bylo propočítáno celkem 10133 CPU let v 49 tis. instancích, z toho ve FedCloud xxx CPU let ve xxx instancích.

V cloudu rozlišujeme stroje podle určení nebo vlastníků: meta, cerit-sc, egi, mu, recetox, csirt.

Zdroje jsou nabízené 2 způsoby: osobní využití s omezením počtu a velikosti běžících instancí a projektové využití

Část kapacity je exportovaná do cerit-pbs (dávkové využití).

 

Podíl propočítaného CPU času spotřebovaného v MetaCentrum Cloud

 

 

Podíl propočítaného GPU času spotřebovaného v MetaCentrum Cloud

 

 

Úložné prostory

Meziročně opět vzrostlo zaplnění diskových polích v MetaCentru i v CERIT-SC. Mimo to, se podařilo integrovat diskové pole jiných vlastníků do infrastruktury MetaCentra (CEITEC, ELIXIR). Přístup na taková pole je dedikován vlastníkům, po dohodě s nimi může být přístupný i pro další uživatele.

 

 

Publikace

Seznam publikací s poděkováím infrastruktuře z WoS [PDF]

Organizace u publikací s poděkováním e-INFRA CZ (WoS):

Typ publikací

Kategorie publikací

Publikace podle zemí autorů

 

Publikace podle oborů

Citece (WoS)

 

EGI statistiky

 

Za celý rok bylo na klasteru skurut spuštěno 1,2 milionu gridových úloh [2], normovaný propočítaný čas činil 62 milionů hodin (v jednotkách HS23) [3].

[2] https://accounting.egi.eu/egi/site/prague_cesnet_lcg2/elap_processors/VO/DATE/2024/1/2025/1/egi/onlyinfrajobs/
[3] https://accounting.egi.eu/egi/site/prague_cesnet_lcg2/normelap_processors/VO/Year/2024/1/2024/12/egi/onlyinfrajobs/