MetaCentrum bylo rozšířeno o nový cluster glados[1-17].cerit-sc.cz (lokalita Brno, vlastník CERIT-SC), 680 CPU, 17 uzlů s následující HW specifikací:
Cluster je dostupný v prostředí plánovacího serveru @wagap-pro prostřednictvím standardních front.
$ qsub ... -l select=1:ncpus=1:gpu=1 ...
$ qsub -l walltime=1:0:0 -l select=1:ncpus=1:mem=400mb:scratch_ssd=400mb:os=debian9 ...
CERIT-SC rozšířilo portfolium strojů s novým OS Debian9 (všechny nové stroje a některé starší). Od příštího týdne vypneme dočasné defaultní nastavení plánovače na Debian8. Pokud po vypnutí ve svých úlohách explicitně neuvedete požadovaný OS, plánovací systém vybere libovolný z nich, který je v dané frontě k dispozici.
Pokud chcete mít výběr operačního systému pod kontrolou, můžete využit následující volby (defaultní fronta):
zuphux$ qsub -l select=1:ncpus=2:mem=1gb:scratch_local=1gb:os=debian9 …
zuphux$ qsub -l select=1:ncpus=2:mem=1gb:scratch_local=1gb:os=debian8 …
V případě problémů s kompatibilitou vyzkoušejte přidání modulu debian8-compat.
Případné problémy s během aplikací (chybějícími knihovnami apod.) na strojích s OS Debian9 nám, prosím, neprodleně hlaste na meta@cesnet.cz .
Seznam uzlů s OS Debian9/Debian8/Centos7 je možné zobrazit v seznamu vlastností ve webové aplikaci PBSMon:
https://metavo.metacentrum.cz/pbsmon2/props?property=os%3Ddebian9
https://metavo.metacentrum.cz/pbsmon2/props?property=os%3Ddebian8
https://metavo.metacentrum.cz/pbsmon2/props?property=os%3Dcentos7
V průběhu dubna plánujeme úklid a pokud možno i sjednocení vlastností strojů v obou prostředích @arien-pro i @wagap-pro.
Operační systém
Začneme s důsledným označováním operačního systému strojů parametrem os=<debian8, debian9,centos7>
Nadbytečné původní vlastnosti centos7, debian8 a debian9 postupně na strojích zrušíme (pozůstatek PBS Torque). Pro výběr operačního systému v příkazu qsub postupujte podle návodu výše v bodu 2.
Tip: Sestavovač Qsub pro pomoc s napsáním zadání úlohy a výběrem strojů: https://metavo.metacentrum.cz/pbsmon2/qsub_pbspro
Kvůli opakovaným problémům s plnými scratchi na frontendech zavedeme automatické promazávání starých dat (starší 60 dnů) také na frontendech. Nenechávejte ve scratchi na frontendech žádná důležitá data. Přeneste si je do /home adresářů.
Pro skupinu českého národního uzlu ELIXIR-CZ jsme zprovoznili následující clustery:
• elmo1.hw.elixir-czech.cz - 224 CPU in total, SMP, 4 nodes with 56 CPUs, 768 GB RAM (Praha UOCHB)
• elmo2.hw.elixir-czech.cz - 96 CPU in total, HD, 4 nodes with 24 CPUs, 384 GB RAM (Praha UOCHB)
• elmo3.hw.elixir-czech.cz - 336 CPU in total, SMP, 6 nodes with 56 CPUs, 768 GB RAM (Brno)
• elmo4.hw.elixir-czech.cz - 96 CPU in total, HD, 4 nodes with 24 CPUs, 384 GB RAM (Brno)
Stroje jsou přístupné přes prioritní frontu elixircz (PBS server @arien-pro), do které mají přístup pouze členové českého národního uzlu ELIXIR-CZ a jejich spolupracovníci. Členství ve skupině podléhá schvalování. Podmínky a další informace jsou uvedené na wiki https://wiki.metacentrum.cz/wiki/Elixir. Ostatní uživatelé MetaCentra budou moci brzy nové clustery využít v běžných krátkých frontách.
Popis a nastavení fronty: https://metavo.metacentrum.cz/pbsmon2/queue/elixircz
Vzorový qsub:
$ qsub -q elixircz@arien-pro.ics.muni.cz -l select=1:ncpus=2:mem=2gb:scratch_local=1gb -l walltime=24:00:00 muj_script.sh
Quickstart: https://wiki.metacentrum.cz/w/images/f/f8/Quickstart-pbspro-ELIXIR.pdf
Stroje mají nainstalovaný OS Debian9. Případné problémy s během aplikací (chybějícími knihovnami apod.) na strojích s OS Debian9 nám, prosím, neprodleně hlaste na meta@cesnet.cz .
V případě problémů s kompatibilitou vyzkoušejte přidání modulu debian8-compat.