2019
MetaCentrum mělo na konci roku 2019 2185 uživatelů s aktivním účtem. Pro srovnání, koncem roku 2018 mělo v MetaCentru účet 2020 uživatelů. Ke cloudovému prostředí MetaCloud bylo registrováno 258 projektových skupin uživatelů z českých akademických a výzkumných institucí a 114 ze zahraničí. Do prostředí Hadoop mělo přístup 162 (157) uživatelů.
Meziročně vzrostl počet CPU jader zapojených v národním výpočetním prostředí MetaVO (grid+ cloud) na 22334 CPU jader (vloni 17860), z toho 9864 CPU jader patřilo CESNETu a 5390 CPU jader Centru CERIT-SC. Zbývajících 7086 CPU jader vlastnily univerzity, Akademie věd ČR a velké projekty.
V roce 2019 uživatelé MetaVO a MetaCentrum cloudu propočítali celkem 13129 CPU let (11302 v roce 2018).
- Z toho v dávkovém systému (PBS Pro arien, wagap) bylo propočítáno téměř 10,8 tis. CPU let (oproti 9 tis. CPU let v roce 2018), z toho 3,7 tis. CPU let bylo propočítáno na experimentálních strojích CERIT-SC a 7,1 tis. CPU let na strojích CESNETu a ostatních poskytovatelů. Dalších 923 CPU let bylo propočítáno na strojích pod PBS elixir. V dávkovém režimu bylo v roce 2019 spuštěno 8,6 mil. úloh (5 mil. ve 2018).
- V prostředí MetacentrumCloud bylo propočítáno 618 CPU let v novém OpenSTacku a 850 CPU let v OpenNebule (2332 CPU let v roce 2018) na 12 tisících (10662) virtuálních strojích.
- V open-source frameworku Hadoop pro distribuovaná datová úložiště a distribuované zpracování velkých objemů dat za použití algoritmu MapReduce byly v roce 2019 propočítáno XX (12) CPU let čistého procesorového času (nikoliv walltime) v YYYY (4265) úlohách (???? map/reduce).
Do mezinárodní výpočetní infrastruktury EGI byly v dávkovém režimu (HPC) zapojené zdroje CESNETU (496 CPU jader) a FZÚ AV ČR (3904 CPU jader) a část kapacity MetaCentrum Cloudu bylo poskytnuto v EGI FedCloudu (zdroje CERIT-SC).
Vlastníci zdrojů
V MetaCentrum NGI jsou zapojeny tři skupiny zdrojů.
- Národní výpočetní a úložné kapacity zapojené v MetaVO jsou k dipsozici pro zaměstnance a studenty akademických a výzkumných organizací v ČR a jejich výzkumné partnery. Sem patří zdroje využívající dávkový systém PBS Pro, cloudové stroje z MetaCloudu a specializovaná výpočetní platforma Hadoop.
- Kromě toho MetaCentrum NGI spravuje stroje zapojené do mezinárodní výpočetní infrastruktury EGI a dalších mezinárodních projektů.
- Stroje dedikované ELIXIRu.
MetaVO včetně PBS, MetaCloudu, Hadoop a ELIXIR (bez strojů zapojených do EGI), prosinec 2019
- CERIT-SC (5390 CPU): uruk, urga, ursa, zefron, zenon, zewura, zelda, glados, black, phi -- zapojené dle potřeby v PBS Pro nebo v MetaCloudu/FedCloudu.
- CESNET (10360 CPU)
- PBS Pro (8904 CPU): aman, adan, doom, grimbold, hildor, haldir, hagrid, mandos, manegrot, meduseld, minos, tarkil, ida, nympha
- MetaCloud (544 CPU): dukan, gorbag
- Hadoop (416 CPU): hador
- EGI DPC (496 CPU)
- ELIXIR: (1504 CPU PBS + 1632 CPU): elmo, MetaCentrum cloud
- FZÚ AV ČR (784 + 3904 CPU): kalpa, luna + EGI stroje
- MU CEITEC-NCBR (1080 CPU): perian, lex, zubat, krux
- MU ÚVT a C4E (562 CPU jader)
- ZČU (400 CPU): alfrid, konos
- IBOT AV ČR: (288 CPU): draba, carex
- TUL (480 CPU): charon
- UP Olomouc (128 CPU): upol128
- ÚEB AV ČR (48 CPU): bofur
Statistiky využití zdrojů MetaVO
Využití strojů v dávkovém systému PBS
Následující graf ukazuje průměrné vytížení výpočetních clusterů a strojů v MetaVO v roce 2019. Základem pro výpočet průměrného vytížení (100%) je celkový počet dostupných CPU-core-seconds mínus počet CPU-core-seconds strojů, které nebyly v provozu. Rezervované stroje jsou započítané tak, jako by byly plně využity, bez ohledu na jejich skutečné využití. Údaj v závorce udává počet CPU v clusteru na konci roku. Nula značí, že cluster byl v průběhu roku vyřazen.
Průměrné vytížení volně dostupných strojů v MetaCentru se pohybovalo mezi 65 a 95 %. Vytížení okolo 70% je optimální, vyšší vytížení již znamená faktickou saturaci a způsobuje delší doby čekání úloh ve frontě. Nižší hodnoty vytížení vykazují stroje, které byly do MetaCentra zapojeny až v průběhu sledovaného období nebo jsou unikátní, vyhrazené pro specifický typ výpočtů nebo vyhrazené pro některou skupinu.
2018 -- Počet úloh a doba čekání na spuštění podle jejich předpokládané doby trvání. Kratších úloh přichází do PBS systému mnohem více než dlouhých a čekají na spuštění kratší dobu, což je žádoucí chování celého sysému. Nejvíce úloh mělo předpokládanou dobu běhu v rozmezí 4-24 hodin. Nejméně bylo úloh s délkou trvání více než 2 týdny a průměrně čekaly na spuštění nejdéle.
Průměrná doba čekání ve frontách rozřazených podle předpokládané doby běhu úlohy potvrzuje, že nejkratší úlohy čekají na spuštění nejkratší dobu, nejsnáze se v PBS systému umísťují (vyplňují volná místa).
Počet CPU jader, počet úloh a propočítaný čas v jednotlivých letech.
Následující graf ukazuje průměrnou dobu čekání dle požadavků na velikost paměti a počet CPU jader. Nejméně dlouho čekají na spuštění úlohy požadující málo jader a relativně málo paměti.
Počty úloh podle požadavků na paměť a CPU vyjadřuje následující graf.
MetaCentrum Cloud
Uživatelé
Využití MetaCentra organizacemi (Meta VO, PBS)
Následující graf ukazuje počty uživatelských publikací s poděkováním e-infrastruktuře vykázaných v systému Perun (modrý sloupec) a převzatých z veřejné databáze Web of Science (WoS, oranžový sloupec). V Perunovi evidujeme všechny typy publikací, včetně publikací neimportovaných do RIVu, proto jich je více než publikací evidovaných v databázi WoS, ve které jsou zahrnuté pouze kvalitní bodované publikace. Za rok 2019 byla data k publikacím posbírána už na začátku ledna, předpokládáme nárůst v počtu publikací vykázaných v roce 2019, uživatelé je do systému Perun v kládají až s výroční zprávou. Také ve WoS se některé publikace z konce roku objevují se zpožděním.
TOP organizace dle počtu publikací s poděkováním MetaCentru /CERIT-SC za využití infrastruktury (zdroj WoS)
TOP uživatelské publikace s poděkováním podle vědních oborů (zdroj WoS)
Typy uživatelských publikací s poděkováním (zdroj WoS)
Seznam publikací s poděkováním MetaCentru (201, 9zdroj WoS)
Využití MetaCloud
ELIXIR-CZ
Průměrná doba čekání (v hodinách) na spuštění úlohy na strojích elmo dle nároku příchozích požadavků.
Počty úloh dle požadavků na počet CPU a RAM
Vytížení strojů vlastníka ELIXIR-CZ zapojených v PBS
Vytížení clusteru elmo5 částečně vyhrazeného pro RE Galaxír:
Využití dedikovaných strojů pro službu RE Galaxy (11 strojů po 32 CPU, 350 CPU jader celkem)
Propočítaný čas úlohami z RE Galaxy. Modrá část znázorňuje období, kdy RE Galaxy běžela na dedikovaném výpočetním clusteru Centra CERIT-SC, červená část je po migraci na dedikované vlastní stroje projektu ELIXIR-CZ.
Průměrná doba čekání úloh na spuštění přicházejících ze služby z RE Galaxy v PBS systému. Modrá část znázorňuje období, kdy RE Galaxy běžela na dedikovaném výpočetním clusteru Centra CERIT-SC, červená část je po migraci na dedikované vlastní stroje projektu ELIXIR-CZ.
Počty příchozích úloh do PBS z RE Galaxy (denní průměry). Modrá část znázorňuje období, kdy RE Galaxy běžela na dedikovaném výpočetním clusteru Centra CERIT-SC, červená část je po migraci na dedikované vlastní stroje projektu ELIXIR-CZ.
Úložné prostory
Meziročně opět vzrostlo zaplnění diskových polích v MetaCentru i v CERIT-SC. Mimo to, se podařilo integrovat diskové pole jiných vlastníků do infrastruktury MetaCentra (CEITEC, ELIXIR). Přístup na taková pole je dedikován vlastníkům, po dohodě s nimi může býrt přístupný i pro další uživatele.
