Statistiky 1. čtvrtletí 2010

Statistiky provozu MetaCentra za období 1.1.- 31.3. 2010

Obsah

Terminologie

procesory/CPU

počítána jsou skutečná jádra procesorů. Tj. čtyřjádrový čip je počítán jako čtyři CPU, jeden procesor s dvěma HyperThreadingovými jádry je počítán jako jeden procesor, dvoujádrový čip kde každé jádro má dvě HyperThreadingová jádra je počítán jako 2 procesory.

čas úloh

počítán je čas úlohy během sledovaného období. Tj. u úloh započatých před začátkem sledovaného období je počítána jen část od začátku sledovaného období, a naopak u úloh běžících v okamžiku konce sledovaného období je započítána jen část před koncem sledovaného období

Přehledy

[Doba čekání úloh na spuštění] [Doba běhu úloh] [Fronty] [Instituce podle propocitaneho casu]

 

Aplikace

Metodika - Statistiky používaných aplikací byly získány ze záznamů linuxového kernelového accountingu o procesech. Evidovány jsou všechny procesy ze všech strojů MetaCentra trvající déle než 1s. U každého procesu je znám název spuštěného souboru (bez cesty k souboru) a další údaje, zejména utime, stime, etime (user time, system time, elapsed time). Názvy spuštěných souborů byly porovnány s regulárními výrazy zachycujícími názvy souborů známých aplikací. Například za patřící aplikaci Amber je označen každý proces odpovídající regulárnímu výrazu
ptraj|pmemd.*|_pmemd.*|_sander.*|sander.*|teLeap|xaLeap|mm_pbsa.pl|pbsa|nmode|mopac|pmtree_.*|alltoall|analysis|normalization
Pro každou aplikaci pak byly sečteny utime a stime všech jejích procesů. Statistika tak vyjadřuje čas skutečně zabraný výpočty.

[Doba běhu aplikací]

Nejpoužívanější aplikace:

Vytížení strojů a clusterů

Vytížení je počítáno po jednotlivých clusterech, protože MetaCentrum je tvořeno různorodými stroji patřícími různým organizacím, a některé stroje a clustery jsou plně vyhrazeny jejich vlastníkům, takže souhrny za celé MetaCentrum nemají smysl. Například cluster quark je plně vyhrazen na zpracování video záznamů z přednášek na Masarykově univerzitě, které musí být zpracovány co nejrychleji, nízké vytížení je tedy daní za real-timeovost zpracování. Podobně clustery loslab a wood jsou plně vyhrazeny jejich vlastníkům, kteří akceptují nižší vytížení výměnnou za kratší čekací doby na spuštění úlohy.

 

metodika výpočtu - údaje o vytížení jsou brány z logu o úlohách plánovacího systému PBS. Procesory přidělené určité úloze jsou od startu do konce úlohy brány jako plně vytížené. Statistika vytížení tak zobrazuje čas přidělený uživatelům, nikoliv to, jak efektivně přidělený čas využijí samotní uživatelé. Vytížení je počítáno zvlášť pro každý den. Jako základ slouží počet CPU v daném clusteru na počátku dne, změny počtu CPU v clusteru jsou tak zohledněny až další den. Počet CPU v clusteru je vynásoben počtem sekund v daném dni (obvykle 86400, kromě dnů, kdy se přechází ze zimního času na letní a naopak, ty jsou o hodinu kratší nebo delší). Tento počet CPU-sekund je výchozí hodnotou pro daný cluster a daný den.

Každá CPU-sekunda mohla být využita jedním z následujících způsobů: buď byla přidělena úloze, nebo byla na stroji v údržbě (označeno zařazením stroje do fronty maintenance nebo stroj byl podle provozního logu PBS vypnut), nebo byla rezervovaná jiným způsobem než přes úlohu (zařazením stroje do fronty reserved, nebo označením stroje jako frontend nebo rezervovaného stroje v systému Perun, to je případ strojů např. skirit, manwe3, manwe4, wood, oskarnode atd.), nebo byla nevyužita.

Čárové grafy vytížení vyjadřují kolik z využitelného času uživatelé využili, jako 100% je brán celkový počet CPU-sekund snížený o CPU-sekundy v údržbě, a hodnota v grafu je součtem CPU-sekund úloh a CPU-sekund rezervací.

Clustery s volným přístupem

Cluster Tarkil

[Vytizeni Tarkil]

Nový cluster Tarkil byl zprovozněn v únoru 2010, uživatelům byl přeán 4.3.2010. Patří CESNETu, nahradil cluster Skurut. Každý uzel je osazen dvěma čtyřjadernými procesory s HT a má 24 GB paměti.

Cluster Eru

[Vytizeni Eru]

Cluster Eru byl zprovozněn v říjnu 2009. Jedná se o dva stroje s osmi čtyřjádrovými procesory, tedy 32jádrové stroje. Jsou to momentálně nejsilnější stroje v MetaCentru. Eru patří CESNETu a je umístěný v prostorách Karlovy univerzity.

Stroje Manwe a aule

[Vytizeni Manwe]

Stroje Manwe a Aule patří k nejvýkonnějším strojům v MetaCentru - každý s 16 CPU a podle data nákupu s 32 GB až 128 GB paměti. Stroje patří MU a CESNETu a jsou volně dostupné všem uživatelům.

Cluster Nympha

[Vytizeni Nympha]

Nympha patří ZČU, uživatelům byl zpřístupněn v lednu 2009. Každý stroj v clusteru má 8 procesorů (dva čtyřjádrové čipy).

Cluster Hermes

[Vytizeni hermes]

Hermes je poměrně nový a výkonný cluster PřF Jihočeské Univerzity v Českých Budějovicích. Byl zprovozněn na konci roku 2008 a je přístupný všem uživatelům.

Cluster Alela

[Vytizeni alela]

Cluster Alela patří UBI FEKT VUT Brno, byl zprovozněn v květnu 2009, na žádost vlastníků rezervován pro jejich účely.

Cluster Skirit

[Vytizeni skirit17-48] [Vytizeni skirit49-84]

Cluster Skirit je ve vlastnictví CESNETu. Vlivem postupného přikupování různorodé části. První část Skirit 17 až 48 je výkonově slabší, druhá část Skirit 49 až 84 obsahuje silné stroje s rychlou sítí Infiniband. Cluster je přístupný všem uživatelům.

Stroj Ajax

[Vytizeni Ajax]

Stroj Ajax patří ZČU, jedná se o osmijaderný stroj se 48GB paměti.

Cluster Hydra

[Vytizeni Hydra]

Cluster Hydra je cluster patřící KIV ZČU, je volně dostupný všem uživatelům. Je sestaven z poměrně starých a slabých strojů.

Cluster Konos

[Vytizeni Konos]

Cluster Konos patří KIV a KMA na ZČU a je volně dostupný všem uživatelům, jeho vlastníci na něm mají prioritu prostřednictvím fronty "iti". Je hardwarově poměrně heterogenní, jeho části, Konos 1 až 10, Konos 11 až 14 a Konos 15 až 37, byly přikupovány postupně. Výkonově se jedná o slabší stroje.

Cluster Skurut

[Vytizeni Skurut]

Cluster Skurut patří CESNETu, v lednu 2010 byl odstaven a nahrazen clustrem Tarkil.

Cluster Orca

[Vytizeni Orca]

Cluster Orca patří NCBR, je přístupný všem uživatelům metaCentra. Uživatelé z řad členů výzkumného centra NCBR mají nyní na cluster prioritní přístup prostřednictvím fronty orca. Ostatním uživatelům MetaCentra je cluster dostupný přes frontu preemptible. Na strojích s názvem orcaX-2 mohou úlohy spuštěné prostřednictvím prioritní fronty orca pozastavovat ostatní úlohy a na strojích s názvem orcaX-1 jsou povoleny ostatním uživatelům pouze jednouzlové úlohy.

Cluster Perian

[Vytizeni perian17-68] [Vytizeni perian69-76] [Vytizeni perian77-86] [Vytizeni perian87-96]

Cluster Perian patří NCBR, původně byl plně vyhrazen jeho členům. Vlivem postupného přikupování má cluster různorodé části, a to Perian 17 až 68, Perian 69 až 76, Perian 77 až 86 a Perian 87 až 96. Od srpna 2009 byl celý cluster zpřístupněn všem uživatelům MetaCentra prostřednictvím front short a normal. Uživatelé z NCBR mají na cluster zajištěn prioritní přístup prostřednictvím front ncbr a cpmd. V lednu 2010 byly odstaveny uzly nejstarší uzly perian17-68.

Cluster Quark

[Vytizeni Quark]

Cluster Quark je primárně určen pro kódování videa (prioritní fronta "quark"). V březnu 2010 byl zpřístupněn všem uživatelům MetaCentra prostřednictvím méně prioritních front 'mikroskop','short' a 'backfill'.

Clustery s vyhrazeným přístupem

Cluster Loslab

[Vytizeni Loslab]

Loslab je blade server patřící Loschmidt Laboratories a je vyhrazen pouze jejich členům. MetaCentrum tak nemá možnost ovlivnit jeho vytížení, které je hluboce pod standardním vytížením clusterů v MetaCentru.

Wood, Dali, Mat

Tyto stroje nejsou zapojeny v systému PBS. Wood je cluster MZLU a používá vlastní plánovací systém. Dali a Mat jsou SMP stroje s procesory MIPS a nepoužívají žádný plánovací systém. Statistiku tedy není možné spočítat stejným způsobem jako u ostatních systémů.

Uživatelé

Následující dva grafy ilustrují kvantitativní rozdíl v počtu spuštěných úloh i propočítaném čase mezi uživateli.

[Zebricek uzivatelu podle propocitaneho casu] [Zebricek uzivatelu podle propocitanych uloh]

Poslední změna:Fri Aug 12 12:51:22 CEST 2011