2018

zelena-tabulka2018

MetaCentrum mělo na konci roku 2018 2020 uživatelů s aktivním účtem. Pro srovnání, koncem roku 2017 mělo v MetaCentru účet 1908 uživatelů. Ke cloudovému prostředí MetaCloud mělo přístup 285 uživatelů z českých akademických a výzkumných institucí (245 v roce 2017). Do prostředí Hadoop mělo přístup 157 (157) uživatelů.

Meziročně vzrostl počet CPU jader zapojených v národním výpočetním prostředí MetaVO na 17860 CPU jader (vloni 14686), z toho 6032 CPU jader patřilo CESNETu a 6132 CPU jader Centru CERIT-SC. Zbývajících 5696 CPU jader vlastnily univerzity, Akademie věd ČR a velké projekty.

V roce 2018 uživatelé MetaVO propočítali celkem 11302 CPU let (10572 v roce 2017).

Do mezinárodní výpočetní infrastruktury EGI byly v dávkovém režimu (HPC) zapojené zdroje CESNETU (496 CPU jader) a FZÚ AV ČR (3276 CPU jader) a dalších 208 CPU jader bylo dedikováno do FedCloudu (zdroje CESNETu).

Vlastníci zdrojů

V MetaCentrum NGI jsou zapojeny tři skupiny zdrojů.

HW-providers

 

 

MetaVO včetně PBS, MetaCloudu, Hadoop a ELIXIR (bez strojů zapojených do EGI)

 

Statistiky využití zdrojů MetaVO

Využití strojů v dávkovém systému PBS

Následující graf ukazuje průměrné vytížení výpočetních clusterů a strojů v MetaVO v roce 2018. Základem pro výpočet průměrného vytížení (100%) je celkový počet dostupných CPU-core-seconds mínus počet CPU-core-seconds strojů, které nebyly v provozu. Rezervované stroje jsou započítané tak, jako by byly plně využity, bez ohledu na jejich skutečné využití. Údaj v závorce udává počet CPU v clusteru na konci roku. Nula značí, že cluster byl v průběhu roku vyřazen.

Průměrné vytížení volně dostupných strojů v MetaCentru se pohybovalo mezi 65 a 95 %. Vytížení okolo 70% je optimální, vyšší vytížení již znamená faktickou saturaci a způsobuje delší doby čekání úloh ve frontě. Nižší hodnoty vytížení vykazují stroje, které byly do MetaCentra zapojeny až v průběhu sledovaného období nebo jsou unikátní, vyhrazené pro specifický typ výpočtů nebo vyhrazené pro některou skupinu.

vytizeni-2018

Agregované průměrné vytížení.

vytizeni

Počet úloh a doba čekání na spuštění podle jejich předpokládané doby trvání. Kratších úloh přichází do PBS systému mnohem více než dlouhých a čekají na spuštění kratší dobu, což je žádoucí chování celého sysému. Nejvíce úloh mělo předpokládanou dobu běhu v rozmezí 4-24 hodin. Nejméně bylo úloh s délkou trvání více než 2 týdny a průměrně čekaly na spuštění nejdéle.

Dalibor-cekani-fronty-1

Průměrná doba čekání ve frontách rozřazených podle předpokládané doby běhu úlohy potvrzuje, že nejkratší úlohy čekají na spuštění nejkratší dobu, nejsnáze se v PBS systému umísťují (vyplňují volná místa). 

Dalibor-cekani-fronty-2

 

Počet CPU jader, počet úloh a propočítaný čas v jednotlivých letech.

cpu-cpuhod-joby-2018

pocet-CPU

Uživatelé

Využití MetaCentra organizacemi (wagap + arien)

organizace-cpu-2018

Následující graf ukazuje počty uživatelských publikací s poděkováním e-infrastruktuře vykázaných v systému Perun (modrý sloupec) a převzatých z veřejné databáze Web of Science (WoS, oranžový sloupec). V Perunovi evidujeme všechny typy publikací, včetně publikací neimportovaných do RIVu, proto jich je více než publikací evidovaných v databázi WoS, ve které jsou zahrnuté pouze kvalitní bodované publikace. Za rok 2018 byla data k publikacím posbírána už na začátkuledna, předpokládáme nárůst v počtu publikací vykázaných v roce 2018, uživatelé je do systému Perun v kládají až s výroční zprávou. Také ve WoS se některé publikace z konce roku objevují se zpožděním.

publikace

TOP organizace dle počtu publikací s poděkováním MetaCentru /CERIT-SC za využití infrastruktury (zdroj WoS)

wos-organizace2

TOP uživatelské publikace s poděkováním podle vědních oborů (zdroj WoS)

wos-research-areas

 Typy uživatelských publikací s poděkováním (zdroj WoS)

wos-typy-pub

 

Seznam publikací s poděkováním MetaCentru (zdroj WoS)

Citation Report (zdroj WoS)

 Využití MetaCloud

 2019-doba-behu-vm

2019-hustota-cpu-ram

 

2019-hustota-vcpu-ram

 

Využití prostředí Hadoop

V open-source frameworku Hadoop pro distribuovaná datová úložiště a distribuované zpracování velkých objemů dat za použití algoritmu MapReduce bylo v roce 2017 propočítáno 12 CPU let (čistý procesorový čas, nikoliv walltime) v 4265 tis. úlohách (17240 map/reduce tasks).  Na diskových polích o kapacitě 1047 TB je uloženo 360 TB dat. Část diskového prostoru je vyhrazená pro Ceph. 

 

 

Úložné prostory

Meziročně opět vzrostlo zaplnění diskových polích v MetaCentru i v CERIT-SC. Mimo to, se podařilo integrovat diskové pole jiných vlastníků do infrastruktury MetaCentra (CEITEC, ELIXIR). Přístup na taková pole je dedikován vlastníkům, po dohodě s nimi může býrt přístupný i pro další uživatele.

Na prvním grafu je vidět míra zaplnění diskových polí, na dalším pak využití přidělených prostor na archivních úložištích typu HSM.

uloziste

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Poslední změna:Tue Oct 08 13:42:01 CEST 2019