Zprovoznili jsme nový cluster tarkil obsluhovaný novým dávkovým systémem PBS Pro

Zprovoznili jsme nový cluster tarkil obsluhovaný novým dávkovým systémem PBS Pro

Vážení uživatelé,

rádi bychom představili nový plánovací systém PBS Professional (PBS Pro), který nyní nasazujeme v testovací verzi v experimentálním prostředí dostupném z čelního uzlu tarkil.grid.cesnet.cz.

PBS Pro v budoucnosti nahradí stávající plánovač Torque, doporučujeme tedy si jej s předstihem vyzkoušet už nyní.

Důvod pro změnu:

• s Torque jsme narazili na limity v propustnosti a celkové škálovatelnosti plánovacího systému při výrazném nárůstu počtu úloh (způsobovalo zpomalování a časté zasekávání celého prostředí)
• došlo k uvolnění původně placené verze komerčního plánovače PBS Pro, který jsme před lety opustili z finančních důvodů
• PBS Pro dávkový systém splňuje většinu našich aktuálních požadavků, podporuje další rozšiřitelnost, nabízí kompatibilitu s ostatními PBS Pro systémy, a dále nabízí i mnohé dosud nepodporované funkcionality

Změny PBS Pro oproti Torque:

• přichází s novou qsub syntaxí „select“, která se značně liší od Torque (podrobnosti)
• nabízí výrazně pokročilejší možnosti specifikace požadovaných zdrojů
• poskytuje lepší podporu plánování paralelních úloh a podporu Docker kontejnerů
• Pro PBS Pro zatím nefunguje sestavovač qsub na webu a funkcionalita PBSMonu na webu je velmi omezená, pracujeme na integraci

Použití experimentálního prostředí s PBS Pro:

• PBS Pro server arien-pro.ics.muni.cz (nelze se na něj hlásit přímo)
  
• Dedikovaný čelní uzel tarkil.grid.cesnet.cz
  
• Dostupné zdroje: nový cluster tarkil[1-16].grid.cesnet.cz, 16 uzlů (384 CPU jader), každý s následujícími parametry:
  • CPU: 2x 12-core Intel Xeon E5-2650v4 (2.20GHz)
  • RAM: 128GB
  • disk: 2x 4TB
  • vlastník CESNET
  • Výkon každého uzlu dle SPECfp2006: 790 (32.9 na jádro)
• Experimentální prostředí dočasně podporuje pouze krátké úlohy, aktuálně maximálně 48 hodin. Pokud nebudou problémy, maximální doba běhu úloh bude postupně navyšována až na 30 dní.
• Odlišná syntaxe (požadavek na 3 uzly po 2 cpu, 1 GB RAM, 1 GB lokální scratch, 1 hodina walltime, 1 licence matlabu):

  • qsub -l select=3:ncpus=2:mem=1gb:scratch_local=1gb -l walltime=1:00:00 -l matlab=1 skript.sh
    

Dokumentace k novému plánovacímu prostředí PBS Professional: https://wiki.metacentrum.cz/wiki/Prostředí_PBS_Professional

Věříme, že nové možnosti, které PBS Pro poskytuje, umožní uživatelům MetaCentra lépe specifikovat své úlohy a tedy i snadněji a rychleji získat zajímavé výsledky ve svém výzkumu.

Připomínky a náměty můžete posílat do RT meta@cesnet.cz