Statistiky

Navigace: 2023 | 2022 | 2021 | 2020 | 2019 | 2018 | 2017 | 2016 | 2015 | 2014 | 2013 | 2012 | 2011 | 2010

DASHBOARD

pbs-m1.metacentrum.cz

array jobs nejsou započteny do počtu běžících a čekajících úloh

elixir

array jobs nejsou započteny do počtu běžících a čekajících úloh

Statistiky provozu MetaCentra obsahují přehledy propočítaného času a počtu propočítaných úloh na strojích začleněných v MetaCentru, dobu čekání a doba běhu úloh, složení institucí, používané aplikace, nejaktivnější uživatelé, vytížení strojů v MetaCentru, využití volně přístupných clusterů a strojů institucemi.

Terminologie

procesory/CPU

počítána jsou skutečná jádra procesorů. Tj. čtyřjádrový čip je počítán jako čtyři CPU, jeden procesor s dvěma HyperThreadingovými jádry je počítán jako jeden procesor, dvoujádrový čip kde každé jádro má dvě HyperThreadingová jádra je počítán jako 2 procesory.

čas úloh

počítán je čas úlohy během sledovaného období. Tj. u úloh započatých před začátkem sledovaného období je počítána jen část od začátku sledovaného období, a naopak u úloh běžících v okamžiku konce sledovaného období je započítána jen část před koncem sledovaného období

<

Metodika

Statistiky používaných aplikací byly získány ze záznamů linuxového kernelového accountingu o procesech. Evidovány jsou všechny procesy ze všech strojů MetaCentra trvající déle než 1s. U každého procesu je znám název spuštěného souboru (bez cesty k souboru) a další údaje, zejména utime, stime, etime (user time, system time, elapsed time). Názvy spuštěných souborů byly porovnány s regulárními výrazy zachycujícími názvy souborů známých aplikací. Například za patřící aplikaci Amber je označen každý proces odpovídající regulárnímu výrazu
ptraj|pmemd.*|_pmemd.*|_sander.*|sander.*|teLeap|xaLeap|mm_pbsa.pl|pbsa|nmode|mopac|pmtree_.*|alltoall|analysis|normalization
Pro každou aplikaci pak byly sečteny utime a stime všech jejích procesů. Statistika tak vyjadřuje čas skutečně zabraný výpočty.

Vytížení strojů je počítáno po jednotlivých clusterech, protože MetaCentrum je tvořeno různorodými stroji patřícími různým organizacím, a některé stroje a clustery jsou plně vyhrazeny jejich vlastníkům, takže souhrny za celé MetaCentrum nemají smysl. Údaje o vytížení jsou brány z logu o úlohách plánovacího systému PBS. Procesory přidělené určité úloze jsou od startu do konce úlohy brány jako plně vytížené. Statistika vytížení tak zobrazuje čas přidělený uživatelům, nikoliv to, jak efektivně přidělený čas využijí samotní uživatelé. Vytížení je počítáno zvlášť pro každý den. Jako základ slouží počet CPU v daném clusteru na počátku dne, změny počtu CPU v clusteru jsou tak zohledněny až další den. Počet CPU v clusteru je vynásoben počtem sekund v daném dni (obvykle 86400, kromě dnů, kdy se přechází ze zimního času na letní a naopak, ty jsou o hodinu kratší nebo delší). Tento počet CPU-sekund je výchozí hodnotou pro daný cluster a daný den.

Každá CPU-sekunda mohla být využita jedním z následujících způsobů: buď byla přidělena úloze, nebo byla na stroji v údržbě (označeno zařazením stroje do fronty maintenance nebo stroj byl podle provozního logu PBS vypnut), nebo byla rezervovaná jiným způsobem než přes úlohu (zařazením stroje do fronty reserved, nebo označením stroje jako frontend nebo rezervovaného stroje v systému Perun, to je případ strojů např. skirit, manwe3, manwe4, wood, oskarnode atd.), nebo byla nevyužita.