Nový cluster s Xeon Phi v experimentálním prostředí centra CERIT-SC

Nový cluster s Xeon Phi v experimentálním prostředí centra CERIT-SC

Vážení uživatelé,

Centrum CERIT-SC zprovoznilo nový speciální cluster s procesory Intel Xeon Phi 7210. Cluster je dostupný z nově vytvořeného experimántálním prostředí PBS Pro plánovacího serveru @wagap-pro

• phi[1-6].cerit-sc.cz, 6 uzlů (384 CPU jader), každý uzel:
  • CPU: 64-core Intel Xeon Phi 7210, 1.30GHz (256 HT jader)
  • RAM: 192GB phi1-phi4, 384GB phi5-phi6, každý node ma navíc 16GB rychlé HBM
  • sratch: 1x 800 GB SSD (scratch_ssd), 2x 3 TB (scratch_local)
  • vlastník: CERIT-SC
  • Výkon každého uzlu dle SPECfp2006: 748 (11.7 per core)

Xeon Phi je masivně paralelní architektura složená z velkého množství x86 jader (tzvn. Many Integrated Core). Narozdíl od starší generace, nový Xeon Phi (vychází z architektury Knight Landing) je self-booting systém (konvenční CPU není nutné), plně kompatibilní s architekturou x86. Úlohy se proto mohou spouštět stejným způsobem jako na konvenčních procesorech s využitím stejných aplikací. Není vyžadována rekompilace nebo přepis algoritmu aplikace, i když speciáně upravené úlohy dokážou z této technologie více profitovat. Xeon Phi procesory mají oproti konvenčním procesorům velmi malý výkon na jádro, přínos Xeon Phi se objeví až při využití ve vysoce paralelních úlohách.

Porovnání Xeon Phi s konvenčním procesory: http://sc16.supercomputing.org/sc-archive/tech_poster/poster_files/post133s2-file3.pdf

Použítí Xeon Phi v experimentálním prostředí PBS Pro centra CERIT-SC (@wagap-pro)

• PBS Pro server: wagap-pro.cerit-sc.cz (nelze se na něj hlásit přímo)
  
• Frontend: zuphux.cerit-sc.cz, po přihlášení na frontend je nutné přenastavit prostředí na PBSPro příkazem:
  

   $module add pbspro-client  ... nastaví PBSPro prostředí @wagap-pro
  
   $module rm pbspro-client   ... vrátí Torque prostředí @wagap

• Fronta: phi@wagap-pro.cerit-sc.cz
  
• Home (NFS): storage-brno3-cerit.metacentrum.cz; POZOR ostatní pole nejsou k tomuto clusteru z technických důvodů připojena přes NFS, data z nich se kopírují příkazem scp
• Odlišná syntaxe (požadavek na 3 uzly po 12 cpu, 1 GB RAM, 1 GB ssd scratch, 1 hodina walltime):

  • qsub -q phi -l select=3:ncpus=12:mem=1gb:scratch_ssd=1gb -l walltime=1:00:00 skript.sh
    

Dokumentace k novému plánovacímu prostředí PBS Professional: https://wiki.metacentrum.cz/wiki/PBS_Professional 

Jak efektivně využít Xeon Phi

Navzdory deklarované kompatibilitě s x86 CPU, ne všechny typy úloh jsou vhodné pro Xeon Phi.

• Xeon Phi 7210 má 256 virtuálních jader (64 fyzických) běžících na 1.3GHz s celkovým výkonem 2,66 TFlops v dvojnásobné přesnosti (double precision) a 5,32 TFlops v jednoduché přesnosti (single precision).
• Jeho výkon je výrazně vyšší než výkon konvenčního Xeon procesoru pouze při využití všech virtuálních jader!
• Neškálující nebo neparalizované úlohy jsou na Xeon Phi velmi pomalé!
• Xeon Phi je vhodným kandidátem pro urychlení náročných úloh omezených propustností paměti (acceleration of memory-bandwidth): je vybaven 16GB paměti s velkou šířkou pásma (cca 400GB/s) a až 384GB konvenční DDR4 paměti (asi 100GB/s). Ve výchozím nastavení je použita paměť DDR4. Realizace celého programu _your-binary_ v paměti s velkou šířkou pásma lze provést takto: numactl -m l _your-binary_
• Xeon Phi 7210 podporuje vektorové instrukce AVX-512. Pokud aplikace používá automatickou vektorizaci, může být re-kompilovaná s využitím kompilátoru Intel C (icc/icpc v modulu intelcdk-17) pomocí příznaku -xMIC-AVX512. Bez použití instrukcí AVX-512 dokážou aplikace využít nanejvýše polovinu teoretického výkonu Xeon Phi.

Více informací o architektuře Xeon Phi poskytne webinář https://colfaxresearch.com/how-knl/

MetaCentrum & CERIT-SC