2020

 zelena-tabulka2021-v3_cropped

 

MetaCentrum mělo na konci roku 2020 2225 uživatelů s aktivním účtem. Pro srovnání, koncem roku 2019 mělo v MetaCentru účet 2185 uživatelů. Ke cloudovému prostředí MetaCloud bylo registrováno 470 (258 v 2019) projektových skupin uživatelů z českých akademických a výzkumných institucí a 22 1ze zahraničí. Do prostředí Hadoop mělo přístup 141 (162) uživatelů.

Meziročně vzrostl počet CPU jader pořízených v národním výpočetním prostředí MetaVO (grid + cloud) na 32036 CPU jader (vloni 22334), z toho 13876 CPU jader patřilo CESNETu (bez EGI) a 6176 CPU jader Centru CERIT-SC. Zbývajících 11984 CPU jader (bez EGI) vlastnily univerzity, Akademie věd ČR a velké projekty. Z toho 8432 CPU jader bylo pořízeno až koncem roku 2020 a bude zprovozněno v průběhu ledna 2021.

Dalších 6230 CPU jader bylo k dispozici v mezinárodním prostředí EGI. V dávkovém režimu (HTC) byly zapojené zdroje CESNETU (1040 CPU jader) a FZÚ AV ČR (5190 CPU jader) a část kapacity MetaCentrum Cloudu bylo k dispozici v EGI FedCloudu.

V roce 2020 uživatelé MetaVO a MetaCentrum cloudu propočítali celkem 16630 CPU let (13129 v roce 2019).

PBS

celkem PBS 13624 CPU let, 13,2 mil. úloh

MetaCentrumCloud

celkem 5701 CPU let, instancí 13544 (včetně FedCloud)

 

Mezinárodní výpočetní infrastruktuře EGI 

celkem 8196 CPU hodin, 10197909 úloh/virtuálních strojů (zdroj EGI accounting portál)

Vlastníci zdrojů

V MetaCentrum NGI jsou zapojeny tři skupiny zdrojů.

 

cpus

cpus-organizace

Rozdělení výpočetních zdrojů mezi výpočetními centry (vlastníky HW). První graf ukazuje stroje běžící na konci roku 2020.

resource-providesr-running2020

Následující graf zahrnuje, oproti grafu předchozímu, stroje také zakoupené na konci roku 2020 a zprovozněné až na začátku roku 2021.

  resource-providesr


Celkem 38266 CPU jader (prosinec 2020), z toho 8432 CPU jader pořízeno koncem roku a zprovozněno v lednu 2021

 

Statistiky využití zdrojů MetaVO

Využití strojů v dávkovém systému PBS

Následující graf ukazuje průměrné vytížení výpočetních clusterů a strojů v MetaVO v roce 2019. Základem pro výpočet průměrného vytížení (100%) je celkový počet dostupných CPU-core-seconds mínus počet CPU-core-seconds strojů, které nebyly v provozu. Rezervované stroje jsou započítané tak, jako by byly plně využity, bez ohledu na jejich skutečné využití. Údaj v závorce udává počet CPU v clusteru na konci roku. Nula značí, že cluster byl v průběhu roku vyřazen.

Průměrné vytížení volně dostupných strojů v MetaCentru se pohybovalo v roce 2020 mezi 65 a 95 %. Vytížení okolo 70% je optimální, vyšší vytížení již znamená faktickou saturaci a způsobuje delší doby čekání úloh ve frontě. Nižší hodnoty vytížení vykazují stroje, které byly do MetaCentra zapojeny až v průběhu sledovaného období nebo jsou unikátní, vyhrazené pro specifický typ výpočtů nebo vyhrazené pro některou skupinu.

  

prumer_vytizeni

Vytížení strojů zapojených v meta-pbs v průběhu celého roku 2020. Průměrné vytížení se pohybovalo okolo 66 %. Do průměru jsou započítany všechny výpočetní clustery, i ty, které jsou vyhrazeny s přednostním právem vlastníkům a jejichž vytížení obvykle bývá nižší.

 meta-all-nodes-utilization

  

Vytížení strojů zapojených v cerit-pbs v průběhu celého roku 2020. Průměrné vytížení všech strojů (průměř přes všechny stroje) se pohybovalo okolo 70 %. Průměrné vytížení jednotlivých strojů je znázorněné na druhém grafu. Speciální stroje (XeonPhi -- phi a UV stroje -- urga, ursa, uruk) mají vytížení nižší. 

 cerit-all-nodes-utilization

 

Doba čekání úloh na spuštění v jednotlivých frontách PBS cerit-pbs. Jsou započítané i úlohy, které nemohly být spuštěné kvůli chybě v zadání ma byly odstraněny až po delší době čekání. 

cerit-cekani-fronty

Rozložení počtu úloh dle požadované doby běhu úlohy (walltime) ukazuje, že nejvíce úloh běželo do 4 hodin. Delších úloh bylo na počet méně, ale propočítaný čas byl srovnatelný s propočítaným časem kratších úloh.

pocetuloh-cputime-dlewalltime 

Rozložení průměrné doby čekání na spuštění úlohy dle požadované doby běhu ukazuje, že krátké úlohy čekaly krátce a dlouhé úlohy čekaly déle, což svědčí o správném nastavní plánovače.

ulohy-cekani-dlewalltime

Uživatelé

Využití MetaCentra organizacemi (Meta VO, PBS) dle propočítaného času

PBS server meta-pbs

meta-instituce-bila

PBS server cerit-pbs

cerit-institutions-cpu-bila 

 Publikace s poděkováním za využití

Následující graf ukazuje počty uživatelských publikací s poděkováním e-infrastruktuře vykázaných v systému Perun (modrý sloupec) a převzatých z veřejné databáze Web of Science (WoS, oranžový sloupec). V Perunovi evidujeme všechny typy publikací, včetně publikací neimportovaných do RIVu, proto jich je více než publikací evidovaných v databázi WoS, ve které jsou zahrnuté pouze kvalitní bodované publikace. Za rok 2020 byla data k publikacím posbírána koncem ledna, předpokládáme nárůst v počtu publikací vykázaných v roce 2020, uživatelé je do systému Perun v kládají až s výroční zprávou. Také ve WoS se některé publikace z konce roku objevují se zpožděním.

publikace

 

 

TOP organizace dle počtu publikací s poděkováním MetaCentru /CERIT-SC/e-INFRA za využití infrastruktury (zdroj WoS, rok 2020)

publikace-organizace

 

 

TOP uživatelské publikace s poděkováním podle vědních oborů (zdroj WoS, rok 2020)

publikace-research_areas

 

Report citací z let 2013-2021, zdroj WoS, leden 2021

 Web of Science [v 5 35] - Citation Report

 

 Typy uživatelských publikací s poděkováním (zdroj WoS, rok 2020)

 publikace-type

 

 Seznam publikací s poděkováním MetaCentru (2020, zdroj WoS)

 

 Využití MetaCentrum Cloud

 

V MetaCentrum Cloud bylo ke konci měsíce k dispozici celkem 9560 CPU jader,  z toho 3120 CPU jader bylo pořízeno koncem roku 2020 a bude dáno do provozu v průběhu ledna 2021 a 2400 jader bylo k dispozici výhradně prostřednictvím PBS a v následujících statistikách nejsou zohledňovány. V čistě cloudovém režimu bylo koncem roku 2020 v provozu 4040 CPU jader.

 

Rozdělení jader v OpenStacku podle vlastníků (započítáno všech 9560 CPU jader): Největší část kapacity 37 % (3536 CPU jader) patří centru CERIT-SC, 28% (2688 CPU jader) patří projektu ELIXIR-CZ,  20 % (1904 CPU jader) patří CESNETu,  Ústav výpočetní techniky MUNI vlastní 644 CPU jader, 400 CPU jader patří  projektu C4E, 336 CPU jader RECETOXu a 48 CPU jader vlastní FSS MUNI.

Jsou zde započítaná jádra (3120), která byla pořízená na konci 2020, ale zprovozněna budou až na začátku následujícího roku. Na prvním obrázku je celkový poměr počtu jader po započítání veškerého pořízeného HW, na druhém pak podíl pouze zapojeného HW.

cloud-hw-leden2021cloud_hw_november2020

Následující graf ukazuje rozdělení zdrojů v obecně přístupném cloudu, po odečtení dedikovaného HW projektům vlastníků (csirt, cerit-dedicated).

 cloud-general-cpucores-november2020

 

V prostředí MetacentrumCloud bylo propočítáno 3006 CPU let  (1468 CPU let v roce 2019) na 13278 (12 tis. v loňském roce) virtuálních strojích.

Celkový počet přidělených CPU hodin pro jednotlivé typy projektů, včetně těch dedikovaných.

cpuhours-whole-cloud2020

 Celkový počet přidělených CPU hodin, RAM, disků pro jednotlivé typy projektů v kategorii general (bez dedikovaných).

 vyuziti-cloud

 

Na GPU kartách bylo propočítáno 273 tis. GPU hodin. Koncem roku 2020 bylo k dispozici 34 karet Nvidia 1080(2080) a 1 GPU karta Nvidia Titan.

Uživatelé cloudu

Uživatelé založili 470 projektů a vedle toho běžely stovky individuálních instancí.

Největší uživatelé cloudu:

Velké projekty z projektu ELIXIR: 15 projektů, 4036618 CPU hodin, 523 VM

 cloud-elixir-projects

Velcí uživatelé přicházející z MetaCentra: 38 projektů, 5188578 CPU hodin, 1546 VM

cloud-meta-projects

Uživatlé přicházející z EGI (FedCloud): 20 projektů, 3726263 CPU hodin, 1910 VM

cloud-egi-cpucas

 

ELIXIR-CZ VO v PBS a v cloudu

Ke clusteru pořízenému z projektu ELIXIR-CZ mělo prostřednictvím plánovacího systemu elixir-pbs dedikovaný přístup 72 uživatelů projektu ELIXIR-CZ, uživatelé MetaCentra sem mohli posílat krátké výplňové úlohy pouze tehdy, pokud byl cluster nevyužitý. V cloudovém prostředí uživatelé z ELIXRu založili celkem 15 projektových skupin.

Velikost clusteru ke konci roku 2020: 1664 (pbs) + 2656 CPU jader (cloud, z toho 896 CPU jader bylo nakoupeno koncem roku 2020 a bude zprovozněno v lednu 2021).

V roce 2020 na tomto clusteru bylo propočítáno (pbs) 1007 CPU let ve 983 tisících úlohách, v cloudu pak 461 CPU let v 526 instancích.

 

Využití v PBS

Mezi největší počtáře (organizace, služby) podle propočítaného času na strojích projektu ELIXIR-CZ patří (pbs) UK (28%), RE Galaxy ELIXIR (15%),  MU (14%), ČVUT 11% a UPOL 6%, ostatní propočítali 26%.

elixir-instituce-time

 

Nejvíce propočítaného času bylo ve frontě global, do které směřují také krátké úlohy z jiných pbs systémů. Druhou nejžádanější frontou byla fronta obsluhující apliklaci RepeatExplorer Galaxy. Fronta loslab zůstala nevyužitá, protože se veškéré výpočty z této fronty přesunoly do cloudového prostředí.

elixir-cputime-queue

 

Následující obrázek ukazuje, na kterém clusteru se propočítalo nejvíce.

elixir-cputime-clusters

Většina úloh požadovala několi málo jader na jeden běh, vyskytly se však úlohy požadující až 128 CPU jader. Podobně si většina úloh vystačila s požadavkem na paměť v řádu desítek GB, vyskytly se však i úlohy požadující téměř 1 TB RAM.

elixir-cpu-ram-distribution

 

 Elixir RE Galaxy

 

Službě RE Galaxy (elixirre) bylo vyhrazeno 11 uzlů po 32 jádrech, tj. celkem 352 CPU jader.

Na následujících grafech je znázorněné vytížení těchto dedikovaných výpočetních prostředků, průměrná doba čekání úlohy na spuštění a denní počty nově spuštěných úloh.

Využití dedikovaných jader bylo v průměru třetinové, což se projevilo velmi krátkou dobou čekání úloh na spuštění. Průměrná doba čekání ve frontě elixirre byla 8 minut, minimální doba 1 vteřinu, maximální doba více než týden, ale zdůvodu chyby v zadání jedné úlohy. Denní přírůstky nově zadaných úloh byly přibližně rovnoměrné.

regalaxy-stat1

Služba RE Galaxy (elixirre) běží na clusteru elmo5, který má celkem 800 CPU jader. Následující graf ukazuje využití kapacity tohoto clusteru v porovnání s běžnými frontami, které na něj mají rovněž přístup.

regalaxy-stat3

Většina úloh bežící v RE Galaxy požadovala 1 CPU a 4-8 GB RAM, vyskytly se však i úlohy požadující více než 32 CPU jader a více než 128 GB RAM. Průměrná doba čekání úloha na spuštění byla 8 minut. Je zde vidět anomálii u úlohy požadující 32-63 CPU jader a více než 128 GB RAM, která čekala více než týden z důvodu chyby v zadání.

regalaxy-stat2

 

 

Využití strojů ELIXIR-CZ zapojených v cloudu

Velikost clusteru zapojeného v cloudu byla ke konci roku 2020 2656 CPU jader, z toho 896 CPU jader bylo nakoupeno koncem roku 2020 a bude zprovozněno v lednu 2021.

Projekty uživatelů ELIXIR-CZ běžící v cloudu propočítaly v roce 2020 celkem 461 CPU let a běžely v 526 instancích. V cloudovém prostředí uživatelé z ELIXIRu založili celkem 15 projektových skupin, jejich podíl na využití HW ukazuje následující obrázek.

elixir-cloud-projekty

 

 

Úložné prostory

Meziročně opět vzrostlo zaplnění diskových polích v MetaCentru i v CERIT-SC. Mimo to, se podařilo integrovat diskové pole jiných vlastníků do infrastruktury MetaCentra (CEITEC, ELIXIR). Přístup na taková pole je dedikován vlastníkům, po dohodě s nimi může býrt přístupný i pro další uživatele.

diskova-pole-stav-leden

 

EGI

FedCloud

Přehled z Cloud Compute EGI accounting portálu zobrazuje accountingová data ze všech center cloudových zdrojů v infrastruktuře EGI v České republice. Jsou shromažďovány pouze od zdrojů, která jsou součástí federace EGI a jsou certifikována v GOCDB. Zobrazená metrika je Elapsed time * Number of Processors. 

 

Následující tabulka a graf ukazují propočítaný čas v rámci jednotlivých mezinárodních projektů (VO), kterým poskytujeme výpočetní výkon.

 

fedcloud-vos-cpuhours-table

 fedcloud-vos-cputime-duringyear

 Následující tabulka a graf ukazují počty spuštěných virtuálních strojů jednotlivými projkety (VO).

 Fedcloud-vos-number-vms

 Fedcloud-vos-time

 

HTC

Počet CPU jader zapojených do EGI HTC: 6230 CPU jader, z toho

Přehled z HTC Compute EGI accounting portálu zobrazuje accountingová data ze všech výpočetních středisek výpočetní kapacity s vysokou propustností v infrastruktuře EGI v NGI_CZ. Účetní informace jsou shromažďovány pouze od středisek zdrojů, která jsou součástí federace EGI a jsou certifikována v GOCDB. Zobrazená metrika je Elapsed time * Number of Processors.

 egi-htc-tabulka

 egi-HTC-kolac

 

Počet úloh z EGI accounting portálu za rok 2020 a rozdělení mezi podpořené virtuální organizace.

 HTC-vos-jobs-table

HTC-vos-jobs-graph 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Poslední změna:2021-03-01 12:47:05