Novinky

Tyto novinky můžete číst jako RSS.

Další rozšíření PBS Pro prostředí v CERIT-SC

CERIT-SC pokračuje s přesunem běžných výpočetních strojů z prostředí PBS Torque @wagap do nového prostředí s plánovacím systémem PBS Pro @wagap-pro.

Stroje zařazené v PBS Pro jsou v PBSMonu označené nápisem "Pro" https://metavo.metacentrum.cz/pbsmon2/nodes/physical
Volné stroje v prostředí Torque (@wagap) postupně přesunujeme do PBS Pro (@wagap-pro).

Frontend zuphux.cerit-sc.cz zůstává prozatím (do převedení alespoň poloviny zdrojů) nastaven defaultně na prostředí @wagap. Pro aktivaci PBSPro na tomto frontendu je proto nutné, provést po přihlášení aktivaci nového prostředí příkazem:

 zuphux$ module add pbspro-client  ... nastaví PBSPro prostředí @wagap-pro

obdobně 

 zuphux $ module rm pbspro-client   ... vrátí Torque prostředí @wagap
 
Přehled dostupných front: https://metavo.metacentrum.cz/cs/state/queues
 

Připomínáme hlavní odlišnosti PBS Pro:

Dokumentace k novému plánovacímu prostředí PBS Professional: https://wiki.metacentrum.cz/wiki/PBS_Professional 
PBSPro Quick Start (PDF): https://metavo.metacentrum.cz/export/sites/meta/cs/seminars/seminar2017/tahak-pbs-pro-small.pdf
Představení PBS Pro ze Semináře gridového počítání 2017 (PDF): https://metavo.metacentrum.cz/cs/seminars/seminar2017/presentation-Klusacek.pptx

 

Uživatelská podpora centra CERIT-SC


Ivana Křenková, Thu Apr 20 21:40:00 CEST 2017

Prezentace ze Semináře gridového počítání 2017

Vážení uživatelé,

ve čtvrtek 30. března proběhl další ročník Semináře gridového počítání 2017, zaměřený na zpracování, analýzu a ukládání dat a představení novinek v gridovém a cloudovém prostředí MetaCentrum a CERIT-SC. Semináře se zúčastnilo více než 90 vědců.

Seminář byl organizován projektem MetaCentrum sdružení CESNET a Centrem CERIT-SC.

loga_Seminar3

Program semináře a prezentace z jednotlivých přednášek jsou k dispozici na stránce semináře.

S přátelským pozdravem
MetaCentrum & CERIT-SC


Ivana Křenková, Mon Apr 03 14:24:00 CEST 2017

Nastavení expirace virtuálních strojů v MetaCloudu

Vážení uživatelé,

s cílem zlepšit využití cloudových zdrojů v MetaCloudu jsme zavedli mechanismus expirace zapomenutých virtuálních strojů. Jeho podstatou je, že každý vlastník musí vždy po určité době potvrdit trvající zájem o běh každého svého stroje, jinak bude stroj odstraněn a zdroje se uvolní pro ostatní uživatele. Již nyní můžete u svých virtuálních strojů vidět naplánované akce na vypnutí. Celý popis systému najdete na wiki stránce Expirace virtuálních strojů a včas vám přijde upozornění elektronickou poštou.

Váš MetaCloud tým


Ivana Křenková, Thu Mar 30 21:40:00 CEST 2017

Další rozšíření PBS Pro prostředí

CERIT-SC započal s přesunem běžných výpočetních strojů z prostředí PBS Torque @wagap do nového prostředí s plánovacím systémem PBS Professional @wagap-pro.

Stroje v PBS Pro jsou v PBSMonu označené nápisem "Pro" https://metavo.metacentrum.cz/pbsmon2/nodes/physical
Jak se stroje v prostředí @wagap budou uvolňovat, budou postupně přesunovány do PBS Torque (@wagap-pro).

Frontend zuphux.cerit-sc.cz zůstává prozatím (do převedení alespoň poloviny zdrojů) nastaven defaultně na prostředí @wagap. Pro aktivaci PBSPro je proto nutné, po přihlášení na frontend, provést aktivaci nového prostředí příkazem:

 $module add pbspro-client  ... nastaví PBSPro prostředí @wagap-pro

obdobně 

 $module rm pbspro-client   ... vrátí Torque prostředí @wagap
 
Důležité: V prostředí @arien již nezbyly žádné zdroje, během včerejška byly i zbývající standardní stroje převedeny do prostředí @arien-pro.
I když jsme zakázali přijímání nových úloh v prostředí @arien již minulý týden, ve frontách zůstalo přes 11 tisíc úloh, které přesunujeme (umožňuje-li to jejích zadání) do prostředí @wagap. Pokud však úlohy chtěly něco speciálního (GPU, lokalitu mimo Brno, požadují závislosti na dalších úlohách, apod.), budou muset být zadány znovu vlastníkem, už v prostředí @arien-pro.
Všechny frontendy, které původně obsluhovaly prostředí @arien, jsou nyní nastavené na prosředí @arien-pro.
 

Připomínáme hlavní odlišnosti PBS Pro:

Dokumentace k novému plánovacímu prostředí PBS Professional: https://wiki.metacentrum.cz/wiki/PBS_Professional 

MetaCentrum & CERIT-SC


Ivana Křenková, Tue Mar 28 21:40:00 CEST 2017

Pozvánka na Seminář gridového počítání 2017

Vážení uživatelé,

dovolujeme si Vás pozvat na další ročník Semináře gridového počítání 2017

  • Místo konání: Univerzitní kino Scala, Moravské náměstí 3, Brno
  • Zaměření: Cílem semináře je představit služby a novinky v gridovém a cloudovém prostředí MetaCentrum a CERIT-SC.
  • Datum: čtvrtek 30. 3. 2017, registrace od 9 hodin, zahájení v 10 hodin
  • Zvaná přednáška: IBM

Seminář je organizován projektem MetaCentrum sdružení CESNET a Centrem CERIT-SC.

loga_Seminar3

Program semináře je k dispozici na stránce semináře.

Na akci je nezbytná registrace. Účast na semináři je bezplatná.

Těšíme se na viděnou!

S přátelským pozdravem
MetaCentrum & CERIT-SC


Ivana Křenková, Mon Mar 27 14:24:00 CEST 2017

Plánované odstavení prostředí Torque (@arien)

Na příští týden je naplánováno úplné odstavení prostředí PBS Torque (@arien). Proto bylo zakázáno spouštění nových úloh do tohoto prostředí.
Část frontendů už je defaultně nastavena na nové prostředí @arien-pro, zbývající budou převedeny příští týden. Aktuální stav je popsán na wiki:
https://wiki.metacentrum.cz/wiki/Frontend
 
Nové úlohy již spouštějte v PBS Pro @arien-pro. Na nepřevedených frontendech je nutné, po přihlášení, provést aktivaci prostředí PBS Pro příkazem:
   module add pbspro-client
 
V CERIT-SC byly do prostředí PBS Pro (@wagap-pro) převedeny prozatím jen speciální stroje uv2 (unga a urgu) a XEON Phi (phi). Další stroje budou následovat později.
Torque prostředí @wagap bude dostupné ještě alespoň dva měsíce.

Důležité:

Sestavovač qsub a další informace jsou k dispozici v aplikaci PBSMon: https://metavo.metacentrum.cz/cs/state/personal

Dokumentace k novému plánovacímu prostředí PBS Professional je na wiki: https://wiki.metacentrum.cz/wiki/Prostředí_PBS_Professional 

S omluvou za komplikace,

Vaše MetaCentrum

.


Ivana Křenková, Sat Mar 25 21:40:00 CET 2017

Další rozšíření experimentálního prostředí centra CERIT-SC

Vážení uživatelé,

nedávno došlo k přesunu stroje SGI UV2 urga1.cerit-sc.cz z prostředí PBS Torque @wagap do nového prostředí s plánovacím systémem PBS Professional @wagap-pro. Oba stroje UV2 jsou přístupné speciální frontou uv (uv@wagap-pro.cerit-sc.cz).
Do budoucna se počítá s postupným přesunem ostatních strojů, které jsou nyní k dispozici v prostředí plánovacího serveru PBS Torque (@wagap).

Použítí experimentálního prostředí PBS Pro centra CERIT-SC (@wagap-pro)

Dokumentace k novému plánovacímu prostředí PBS Professional: https://wiki.metacentrum.cz/wiki/PBS_Professional 

MetaCentrum & CERIT-SC


Ivana Křenková, Wed Mar 22 21:40:00 CET 2017

Nová wiki s dokumentací

Vážení uživatelé,

připravili jsme přehlednější a aktuální verzi dokumentace na wiki. Záměrně jsme v ní informace výrazně zjednodušili a zestručnili, věříme, že bude uživatelsky přívětivější. Pokud byste v ní nemohli něco najít nebo naopak najdete nesrovnalosti, pište nám na meta@cesnet.cz.

Nová wiki: https://wiki.metacentrum.cz/wiki/

Původní wiki: https://wiki.metacentrum.cz/wikiold/

MetaCentrum & CERIT-SC


Ivana Křenková, Fri Mar 10 21:40:00 CET 2017

Rozšíření experimentálního prostředí centra CERIT-SC

Vážení uživatelé,

nedávno došlo k přesunu stroje SGI UV2 ungu.cerit-sc.cz z prostředí PBS Torque @wagap do nového prostředí s plánovacím systémem PBS Professional @wagap-pro. Druhý podobný stroj urga.cerit-sc.cz bude přesunut příští týden. Stroje UV2 jsou přístupné speciální frontou uv (uv@wagap-pro.cerit-sc.cz).
Do budoucna se počítá s postupným přesunem ostatních strojů, které jsou nyní k dispozici v prostředí plánovacího serveru PBS Torque (@wagap).

Použítí experimentálního prostředí PBS Pro centra CERIT-SC (@wagap-pro)

Dokumentace k novému plánovacímu prostředí PBS Professional: https://wiki.metacentrum.cz/wiki/PBS_Professional 

MetaCentrum & CERIT-SC


Ivana Křenková, Thu Mar 09 21:40:00 CET 2017

Další rozšíření strojů dostupných v prostředí PBSPro (@arien-pro)

Velká část uzlů a frontendů byla převedena z plánovacího prostředí PBS Torque (@arien) do PBS Pro (@arien-pro).

Prostředí bude postupně dále rozšiřováno na úkor PBS Torque serveru @arien; to se bude brzy rušit úplně.

Důležité:

Sestavovač qsub a další informace jsou k dispozici v aplikaci PBSMon: https://metavo.metacentrum.cz/cs/state/personal

Dokumentace k novému plánovacímu prostředí PBS Professional je na wiki: https://wiki.metacentrum.cz/wiki/Prostředí_PBS_Professional 


Ivana Křenková, Fri Mar 03 21:40:00 CET 2017

Nový cluster s Xeon Phi v experimentálním prostředí centra CERIT-SC

Vážení uživatelé,

Centrum CERIT-SC zprovoznilo nový speciální cluster s procesory Intel Xeon Phi 7210. Cluster je dostupný z nově vytvořeného experimántálním prostředí PBS Pro plánovacího serveru @wagap-pro

Xeon Phi je masivně paralelní architektura složená z velkého množství x86 jader (tzvn. Many Integrated Core). Narozdíl od starší generace, nový Xeon Phi (vychází z architektury Knight Landing) je self-booting systém (konvenční CPU není nutné), plně kompatibilní s architekturou x86. Úlohy se proto mohou spouštět stejným způsobem jako na konvenčních procesorech s využitím stejných aplikací. Není vyžadována rekompilace nebo přepis algoritmu aplikace, i když speciáně upravené úlohy dokážou z této technologie více profitovat. Xeon Phi procesory mají oproti konvenčním procesorům velmi malý výkon na jádro, přínos Xeon Phi se objeví až při využití ve vysoce paralelních úlohách.

Porovnání Xeon Phi s konvenčním procesory:
http://sc16.supercomputing.org/sc-archive/tech_poster/poster_files/post133s2-file3.pdf

 

Použítí Xeon Phi v experimentálním prostředí PBS Pro centra CERIT-SC (@wagap-pro)

Dokumentace k novému plánovacímu prostředí PBS Professional: https://wiki.metacentrum.cz/wiki/PBS_Professional 


Jak efektivně využít Xeon Phi

Navzdory deklarované kompatibilitě s x86 CPU, ne všechny typy úloh jsou vhodné pro Xeon Phi.

Více informací o architektuře Xeon Phi poskytne webinář https://colfaxresearch.com/how-knl/

MetaCentrum & CERIT-SC


Ivana Křenková, Fri Feb 24 21:40:00 CET 2017

MetaCentrum: novinky infrastruktury

Aktuální informace o novinkách infrastruktur MetaCentrum a CERIT-SC.

Obsah:

  1. Rozšíření strojů dostupných v prostředí PBSPro
  2. Aplikace PBSMon zobrazuje souhrnně úlohy ze všech prostředí @arien, @arien-pro, @wagap
  3. Upgrade na Debian8 na frontendech a uzlech
  4. Galaxy s RepeatExplorerem pro ELIXIR
  5. Setkání s uživateli na FZÚ AV ČR 23. 2. 2017 od 10:30
  6. Aktualizace SW
  7. Navyšte si fairshare vykázáním publikací s poděkováním

 

1. Rozšíření strojů dostupných v prostředí PBSPro (@arien-pro)

V experimentálním prostředí s plánovacím systémem PBS Professional (PBSPro) jsou nyní dostupné následující clustery:  ajax, exmag, luna, meduseld, mudrc, tarkil, gram (GPU).
Prostředí bude postupně dále rozšiřováno na úkor PBS Torque serveru @arien.

Důležité:

 

2. Aplikace PBSMon nově zobrazuje souhrnně úlohy ze všech prostředí @arien, @arien-pro, @wagap

Do webové aplikace PBSMon byly integrovány informace ze všech prostředí, které jsou aktuálně k dispozici v MetaCentru. Aplikace je součástí stránek MetaCentra https://metavo.metacentrum.cz/cs/state/index.html


3. Upgrade na Debian8 na frontendech a uzlech

Všechny frontendy a uzly běží nyní na na Debian 8.
Přehled uzlů s vlastností debian8: https://metavo.metacentrum.cz/pbsmon2/props#prop2node
Přehled frontendů: https://wiki.metacentrum.cz/wiki/Frontend
Kdybyste narazili na problém s kompatibilitou SW modulů, pište na meta@cesnet.cz


4. Galaxy s RepeatExplorerem pro ELIXIR

Pro projekt ELIXIR byla nedávno zprovozněna instance Galaxy s RepeatExplorerem: https://galaxy-elixir.cerit-sc.cz
Více informací a podmínky využití najdete na wiki: https://wiki.metacentrum.cz/wiki/Galaxy_application#RepeatExplorer_Galaxy
 

5. Setkání s uživateli

Dne 23. 2. 2017 od 10:30 proběhne v budově Fyzikálního ústavu AV ČR v ulici Pod Vodárenskou věží setkání s uživateli výpočetních clusterů umístěných na FZÚ AV ČR (Luna, Exmag, Kalpa, Goliáš). Na programu je přehled dostupného hardware, popsání změn v zadávání úloh a diskuze s uživateli. Akce je určena všem zájemcům z akademických isnstitucí a nevyžaduje registraci předem.
 

6. Aktualizace SW

Rozšířili jsme počet Ansys HPC licencí z původních 60ks na 512ks (=výpočetních jader). Ansys HPC je doplněk určený pro výpočty náročných úloh v rámci víceprocesorového/víceuzlového prostředí (každá licence umožňuje rozšířit výpočet na další dostupný procesor)
 
Instalovány nejnovější verze komerčních balíků: Ansys CFD (verze 18.0), Wolfram Mathematicy a gridMathematicy (verze 11.0), Intel kompilátorů (verze 2017 Update 1) a PGI kompilátorů (verze 16.10).  


7. Zvýhodnění fairshare za vložení publikací s poděkováním

Připomínáme, že dle pravidel MetaCentra je každý uživatel povinen, do všech svých publikací vzniklých s využitím zdrojů integrovaných v MetaCentru, přidat text poděkování: https://metavo.metacentrum.cz/cs/application/index.html

Opublikované publikace s poděkováním CESNETu a/nebo CERIT-SC se následně zadávají do systému Perun. Za vykázané publikace je uživatel automaticky zvýhodněn v přístupu k výpočetním prostředkům navýšením fairshare: https://metavo.metacentrum.cz/cs/myaccount/pubs

Poznámka pro řešitele projektů GA ČR: Dle vyjádření GA ČR, v publikacích vzniklých s podporou GA ČR je poděkování infrastrukturám CESNET i CERIT-SC možné.


S přáním úspěšných výpočtů
Ivana Křenková,
MetaCentrum + CERIT-SC.

 


Ivana Křenková, Thu Feb 02 21:40:00 CET 2017

MetaCloud - změna zabezpečení a přechod na novou verzi OpenNebula 5

Vážení uživatelé MetaCloudu,

V souvislosti s přípravou přechodu na OpenNebulu verze 5 (v týdnu mezi 9. a 13. lednem t.r.) dojde v nejbližších dnech k úpravě bezpečnostních nastavení v MetaCloudu.

Výchozí bezpečnostní nastavení se změní ze zcela otevřeného na téměř zcela uzavřené. Standardně bude k nově vytvořeným strojům povolen pouze přístup na port SSH (TCP port 22). Jakékoli další porty bude třeba dodatečně povolit s pomocí předdefinovaných bezpečnostních skupin (Security Groups).

V šablonách, které už v současnosti měly nastavené filtrování provozu s pomocí atributů WHITE_PORTS, *musí jejich vlastníci provést adekvátní úpravy* a propojení s vhodným nastavením Security Groups. Virtuální stroje spuštěné ze šablon ještě se starými atributy tím nebudou přímo dotčeny, ale v dalším kroku po upgradu je bude třeba zastavit a znovu vytvořit s novým nastavením.

Pokud Vám z nějakého důvodu nebude dostačovat výběr z existujících Security Groups, kontaktujte nás a společně připravíme vhodné řešení.

 

S pozdravem

 

MetaCloud tým


Ivana Křenková, Tue Dec 20 21:40:00 CET 2016

Rozšíření experimentálního prostředí o nový cluster meduseld

Vážení uživatelé,

s potěšením oznamujeme, že jsme do experimentálního prostředí s plánovacím systémem PBS Professional (PBS Pro), dostupného z čelního uzlu tarkil.grid.cesnet.cz, přidali nový cluster:

SMP cluster meduseld.grid.cesnet.cz, 6 uzlů (336 CPU jader), každý s následujícími parametry:

 

Použití experimentálního prostředí s PBS Pro:


Dokumentace k novému plánovacímu prostředí PBS Professional: https://wiki.metacentrum.cz/wiki/Prostředí_PBS_Professional

Připomínky a náměty můžete posílat do RT meta@cesnet.cz


Ivana Křenková, Wed Nov 16 21:40:00 CET 2016

Zprovoznili jsme nový cluster tarkil obsluhovaný novým dávkovým systémem PBS Pro

Vážení uživatelé,

rádi bychom představili nový plánovací systém PBS Professional (PBS Pro), který nyní nasazujeme v testovací verzi v experimentálním prostředí dostupném z čelního uzlu tarkil.grid.cesnet.cz.

PBS Pro v budoucnosti nahradí stávající plánovač Torque, doporučujeme tedy si jej s předstihem vyzkoušet už nyní.

Důvod pro změnu:

Změny PBS Pro oproti Torque:

Použití experimentálního prostředí s PBS Pro:

Dokumentace k novému plánovacímu prostředí PBS Professional: https://wiki.metacentrum.cz/wiki/Prostředí_PBS_Professional

Věříme, že nové možnosti, které PBS Pro poskytuje, umožní uživatelům MetaCentra lépe specifikovat své úlohy a tedy i snadněji a rychleji získat zajímavé výsledky ve svém výzkumu.

Připomínky a náměty můžete posílat do RT meta@cesnet.cz


Karolína Trachtová, Tue Nov 08 21:40:00 CET 2016

Provozní změny infrastruktur MetaCentra a CERIT-SC

1) Zrušení nadbytečných vlastností
2) Zavedení cgroups
3) Defaultní fronta a zrušení obecně přístupných časových front
4) Reinstalace strojů na OS Debian 8


1) Zrušení nadbytečných vlastností

Z důvodu zpřehlednění a zjednodušení zadávání a plánování úloh došlo k redukci počtu vlastností. Zrušili jsme ty, které se z historických důvodů vyskytují na všech strojích nebo se již téměř nepoužívají:
linux, x86_64, nfs4, em64t, x86, *core, nodecpus*, nehalem/opteron/, noautoresv, xen, ...

Aktuální seznam dostupných vlastností: http://metavo.metacentrum.cz/pbsmon2/props


2) Zavedení cgroups

Cgroups umožňuje omezit spotřebu prostředků (paměti, procesoru) pro danou úlohu.
Pokud víte, že Vaše úloha překračuje RAM nebo počet přidělených CPU jader a nedokážete tyto omezit přímo v aplikaci, použijte přepínač -W cgroup=true při zadání úlohy, např.:

 qsub -W cgroup=true -l nodes=1:ppn=4 -l mem=1gb ...

Cgroups nahrazuje dříve doporučený způsob nodecpus*#excl -- vlastnost nodecpus* byla zrušena.

Ve výchozím nastavení plánovače nejsou cgroups použity (může zpomalit swapující úlohu a nelze poznat, kolik prostředků úloha skutečně potřebuje pro efektivní běh).  
Podpora cgroups není nastavena na všech strojích, aktuální seznam strojů k testování lze získat v pbsmonu jako přehled strojů s nastavenou vlastností cgroup:
http://metavo.metacentrum.cz/pbsmon2/props#cgroup
Více informací: https://wiki.metacentrum.cz/wiki/Cgroups


3) Zrušení obecně přístupných časových front

Před více než rokem jsme sjednotili zadávání úloh -- v obou prostředích plánovacích serverů @wagap a @arien -- zavedením parametru -l walltime=<OCEKAVANA_MAX_DOBA_BEHU>.

Na @wagap byly zrušeny dočasně ponechané časové fronty q_2h, q_4h, q_1d, q_2d, q_4d, q_1w, q_2w, q_2w_plus. Své úlohy proto zadávejte výhradně s parametrem walltime, např.

  -l walltime=2h, -l walltime=3d30m,...

Více informací na wiki: https://wiki.metacentrum.cz/wiki/Spouštění_úloh_v_plánovači

4) Reinstalace strojů na OS Debian 8

Využíváme všech plánovaných i neplánovaných odstávek clusterů a postupně povyšujeme operační systém na frontendech i uzlech na OS Debian 8.

Aktuální seznam uzlů s vlastností debian8 najdete v přehledu vlastností v aplikaci PBSmon: http://metavo.metacentrum.cz/pbsmon2/props#debian8
nebo v osobním přehledu (sestavovači qsub) http://metavo.metacentrum.cz/cs/state/personal
Případné problémy s během aplikací (chybějícími knihovnami apod.) na těchto strojích nám, prosíme, neprodleně hlaste.
Pokud narazíte na problém, do vyřešení se můžete vyhnout spouštění úloh na strojích s vlastností debian8 takto:

 -l nodes=1:ppn=4:^debian8 – negace vlastnosti, úloha nebude naplánovaná na uzly s vlastností debian8, nebo
 -l nodes=1:ppn=4:debian7 - přidělí stroje se starší verzí OS Debian7
 
 Některé speciální stroje dostupné ve speciálních frontách mohou mít odlišný OS, např. urga, ungu (dostupné ve frontě uv@wagap-pro) a phi (phi@wagap-pro) běží na OS CentOS 7.

 


Ivana Křenková, Thu Jun 30 15:35:00 CEST 2016

Pozvánka na Technical Computing Camp 2016

Společnost HUMUSOFT s.r.o. pořádá ve dnech 8. - 9.  9. 2016 Technical Computing Camp, třetí ročník neformálního letního setkání příznivců technických výpočtů a počítačových simulací.

KDY: Čtvrtek 8. 9. od 9 h - pátek 9. 9. do 15h

KDE: Brněnská prehrada, hotel Fontána

Vstup ZDARMA

Další informace a přihláška zde: http://www.humusoft.cz/tcc

V průběhu akce Technical Computing Camp představíme moderní nástroje pro technické výpočty a počítačovou simulaci MATLAB a COMSOL Multiphysics a ukážeme jejich využití ve spojení s celou řadou hi-tech "hraček" (LEGO, Arduino, Raspberry Pi, Kinect, roboti, mobilní zařízení, kamery, ...). Ve spolupráci se slovenským Národním centrem robotiky si letos poprvé budete moci vyzkoušet práci s robotem NAO, makerspace Dílna 21 uspořádá klání Zumo robotů, u kterých budete programovat jejich chování. Také si ukážeme nejnovější nástroje pro analýzu rozsáhlých dat, strojové učení, počítačové vidění, modelování fyzikálních systémů či návrh a ladění řídicích systémů.

V programu akce naleznete přednášky, praktické ukázky i prostor pro vlastní práci pod dohledem našich specialistů. Přednášet budou odborníci z firmy HUMUSOFT s.r.o., MathWorks i další zvaní hosté.

Setkání je určeno všem, kteří se v neformálním prostředí chtějí dozvědět více o možnostech využití inženýrských nástrojů MATLAB a COMSOL Multiphysics. Na své si přijdou jak stávající uživatelé uvedených systémů, tak začátečníci a příznivci výpočetních, modelovacích a simulačních systémů. Nástroje si budete moci vyzkoušet a následně své poznatky a dotazy diskutovat s dalšími účastníky.

V rámci "Technical Computing Camp" bude probíhat i soutež o nejlepší uživatelský projekt. Studenti se mohou zúčastnit se svou diplomovou či bakalářskou prací.

 

--------------------------

Lucia Kulichova
luciak@humusoft.cz
HUMUSOFT s.r.o.
Pobrezni 20      
186 00 Praha
Czech Republic
 
Tel: +420 284 011 730
Fax: +420 284 011 740
http://www.humusoft.cz
--------------------------
 
 

Ivana Křenková, Tue Jun 28 15:35:00 CEST 2016

Nový HW v MetaCentru

MetaCentrum bylo rozšířeno o nový cluster exmag.fzu.cz (FzÚ AV ČR Praha), 640 CPU, 32 uzlů s následujíci HW specifikací

Cluster je dostupný v prostředí plánovacího serveru @arien prostřednictvím privátních front exmag a luna a veřejných krátkodobých front. Kompletní seznam dostupných výpočetních serverů je na http://metavo.metacentrum.cz/pbsmon2/hardware.

S přáním příjemného počítání,

Ivana Křenková, MetaCentrum 
 
 

 


Ivana Křenková, Wed Jun 22 15:35:00 CEST 2016

Nový HW v MetaCentru

MetaCentrum bylo rozšířeno o nový stroj upol128.upol.cz (UP Olomouc)

Stroj upol128 je dostupný přes prioritní frontu vtp vyhrazenou pro skupinu vtp_upol a veřejnou frontu uv_2h.

Kompletní seznam dostupných výpočetních serverů je na http://metavo.metacentrum.cz/pbsmon2/hardware.

S přáním příjemného počítání
Ivana Křenková, MetaCentrum 
 
 

 


Ivana Křenková, Wed Apr 20 15:35:00 CEST 2016

Nový HW v MetaCentru

MetaCentrum bylo rozšířeno o nový cluster alfrid (NTIS ZČU)

Cluster alfrid je dostupný přes prioritní frontu iti a přes krátkodobé úlohy z běžné fronty.

Kompletní seznam dostupných výpočetních serverů je na http://metavo.metacentrum.cz/pbsmon2/hardware.

S přáním příjemného počítání
Ivana Křenková, MetaCentrum 
 
 

 


Ivana Křenková, Wed Mar 23 15:35:00 CET 2016

ANSYS Update Seminar Brno 8.3. 2016, 9:00 – 13:00

Nabídka pro všechny uživatele a fanoušky systému ANSYS

Na konci ledna 2016 vyšla nová verze ANSYS 17.0. V každé oblasti fyziky přináší řadu zlepšení které uživatelům umožní výrazně zvýšit efektivitu i produktivitu práce.

Přijďte se podívat 8.3. 2016 do hotelu Avanti Brno co nového přináší verze 17.0 pro Vaši oblast výzkumu / práce. Čeká Vás živá demonstrace práce v prostředí, možnost diskuse konkrétních zadání s našimi specialisty a spousta informací ze světa ANSYSu.

Přístup na seminář je pro všechny registrované zdarma, více informací týkajících se semináře a registrační formulář zde: https://www.svsfem.cz/update-ansys17

Nevyvhovuje Vám termín semináře v Brně? Zkuste jiné město případně se s námi spojte rádi Vám sdělíme veškeré možnosti.

Jiří Stárek
SVS FEM s.r.o., držitel certifikace 9001:2009 #C-86746 Exp. 2016.11.24
Škrochova 3886/42, Brno 61500, Czech Republic 
www.svsfem.cz
jstarek@svsfem.cz

 


Ivana Křenková, Fri Mar 04 07:40:00 CET 2016

Nový HW v MetaCentru

MetaCentrum bylo rozšířeno o nový cluster CERIT-SC:

Cluster zefron je dostupný přes standardní frontu na Torque serveru wagap.cerit-sc.cz.

Jeden uzel (zefron8) je osazen GPU kartou NVIDIA Tesla K40, zapůjčenou z Loschmidt Laboratories. GPU úloha se v prostředí CERIT-SC (server @wagap) zadává jako standardní úloha, pouze se specifikací počtu GPU:

 -l nodes=1:ppn=X:gpu=1

Kompletní seznam dostupných výpočetních serverů je na http://metavo.metacentrum.cz/pbsmon2/hardware.

S přáním příjemného počítání
Ivana Křenková, MetaCentrum & CERIT-SC
 
 

Ivana Křenková, Thu Jan 28 15:35:00 CET 2016

Nový HW v MetaCentru

MetaCentrum bylo rozšířeno o nové clustery vlastníků ze ZČU a CEITEC MU:

ScaleMP cluster alfrid je přístupný prostřednictvím speciální fronty scalemp (Torque server arien.ics.muni.cz).  O přístup je třeba požádat (kromě uživatelů ze skupin kky a iti) vlastníky HW, nejlépe emailem na meta@cesnet.cz s kopií na honzas@ntis.zcu.cz.Více informací na https://wiki.metacentrum.cz/wiki/ScaleMP

Cluster lex je přístupný všem zájemcům MetaCentra prostřednictvím front preemptible a backfill (Torque server arien.ics.muni.cz). Uživatelé z CEITEC MU a NCBR mají privilegovaný přístup.

Clustery zubat a krux jsou přístupné všem zájemcům MetaCentra prostřednictvím front s maximální dobou běhu 1 den (Torque server arien.ics.muni.cz). Uživatelé z CEITEC MU a NCBR mají privilegovaný přístup.

Kompletní seznam dostupných výpočetních serverů je na http://metavo.metacentrum.cz/pbsmon2/hardware.

S přáním příjemného počítání,
Ivana Křenková, MetaCentrum

 

 


Ivana Křenková, Thu Dec 17 15:35:00 CET 2015

Prezentace z Grid Computing Workshop 2015

V úterý 1. prosince se v brněnském hotelu Continental konal další ročník uživatelského semináře Grid Computing Workshop 2015, věnovaný přehledu informací a novinek z českého národního gridového a cloudového prostředí MetaCentrum a CERIT-SC, tentokrát se zaměřením na bioinformatickou vědeckovýzkumnou komunitu.

Letošního ročníku se zúčastnilo bezmála 80 výzkumných pracovníků nejen z České republiky.

Workshop byl organizován projektem MetaCentrum sdružení CESNET a Centrem CERIT-SC při ÚVT MU, za významné spoluúčasti společnosti Atos IT Solutions and Services, s.r.o.  Prezentace a fotky z akce jsou k dispozici na stránce semináře http://metavo.metacentrum.cz/cs/seminars/seminar2015/index.html

loga_Seminar2_12-04

MetaCentrum & CERIT-SC


Ivana Křenková, Wed Dec 02 14:24:00 CET 2015

Pozvánka na Seminář gridového počítání 2015

Vážení uživatelé,

dovolujeme si Vás pozvat na další ročník Semináře gridového počítání 2015

  • Místo konání: Hotel Continental Brno, Kounicova 6, 602 00 Brno
  • Zaměření: Seminář bude letos zaměřen na LifeScience (bioinformatika). Cílem semináře je představit služby a novinky v gridovém a cloudovém prostředí MetaCentrum a CERIT-SC.
  • Datum: úterý 1. 12. 2015, zahájení v 10 hodin
  • Anotace zvané přednášky: Natalia Jiménez, Life Sciences Business Development Manager at Atos: Atos’ vision in Life Sciences giving an overview of the most relevant success cases in the area. Atos as a global IT partner in Bioinformatics projects.
  • Jazyk akce: angličtina

Titulárním sponzorem letošního setkání je společnost Atos IT Solutions and Services, s.r.o., mj. dodavatel bioinformatického SW. V rámci dopoledního bloku semináře tak budou odborníci společnosti ATOS prezentovat jaké nástroje nabízejí pro bioinformatiku.

loga_Seminar2_12-04

Program semináře je k dispozici na stránce semináře. Na akci je nezbytná registrace, kapacita sálu je omezena. Účast na semináři je bezplatná.

Těšíme se na viděnou!

S přátelským pozdravem
MetaCentrum & CERIT-SC.

PS: Seminář je organizován projektem MetaCentrum sdružení CESNET a Centrem CERIT-SC za významné spoluúčasti zmíněného partnera -- společnosti Atos IT Solutions and Services, s.r.o.


Tom Rebok, Mon Nov 02 14:24:00 CET 2015

Navýšení úložné kapacity v Plzni

MetaCentrum v pátek zprovoznilo nové diskové pole (náhrada za staré pole /storage/plzen1/) a došlo tak k navýšení úložné kapacity z 60 TB na 350 TB.
Diskové pole je umístěno v lokalitě Plzeň a je dostupné ze všech clusterů v MetaCentru stejným způsobem jako pole původní (stejný název /storage/plzen1/, NFS4 server storage-plzen1.metacentrum.cz), uživatelské kvóty zůstaly rovněž nezměněny.
 

S přáním příjemného počítání,
MetaCentrum

Ivana Křenková, Tue Oct 13 13:57:00 CEST 2015

Nový HW v MetaCentru

MetaCentrum bylo rozšířeno o nový cluster ida.meta.zcu.cz, obsahující celkem 28 strojů (560 CPU jader), každý s následující konfigurací:

Stroje jsou přístupné přes Torque server arien.ics.muni.cz, po dobu testování jen pro krátší úlohy.

S přáním příjemného počítání,
MetaCentrum

 

 


Ivana Křenková, Mon Sep 07 15:35:00 CEST 2015

Big data - Hadoop v MetaCentru

Rádi bychom Vám touto cestou oznámili, že MetaCentrum pro vás spustilo samostatný cluster s platformou Hadoop pro zpracování velkých dat. Prostředí je určeno především pro provádění výpočtů typu Map-Reduce nad rozsáhlými, obvykle nestrukturovanými daty. Služba je doplněna obvyklými nadstavbami (Pig, Hive, Hbase, YARN, …) a plně integrována s infrastrukturou MetaCentra.

Používat ji mohou všichni oprávnění uživatelé MetaCentra po registraci do samostatné skupiny 'hadoop'. V současnosti je v clusteru k dispozice ve 27 uzlech celkem 432 CPU, 3,5 TB RAM a 1 PB diskového prostoru v HDFS. Další informace o této službě vč. odkazů na registrační formulář a postupně rostoucí Wiki s návody najdete na Meta Webu: http://www.metacentrum.cz/cs/hadoop/

 

S přáním příjemného počítání,

MetaCentrum

Ivana Křenková, Mon Mar 09 13:57:00 CET 2015

Nové diskové pole MetaCentra

MetaCentrum zprovoznilo nové diskové pole

Diskové pole je umístěno v lokalitě Brno a je dostupné ze všech clusterů v MetaCentru. Účty na diskovém poli byly zřízeny automaticky všem členům MetaCentra, není třeba o ně nijak speciálně žádat.

Diskové pole /storage/brno2/ je zaplněno již z 99 %, pokud na něm máte data, zvažte jejich přesun na pole nové, které je v tuto chvíli úplně prázdné. Zaplnění diskových polí můžete sledovat na stránce http://metavo.metacentrum.cz/pbsmon2/nodes/physical a http://metavo.metacentrum.cz/cs/state/personal

Archivní data, která již nepotřebujete bezprostředně k výpočtům, doporučujeme přesunout ze /storage/<location>/home/ do     
|/storage/plzen2-archive/ or /storage/jihlava2-archive/ (obojí jsou archivní (HSM) úložiště CESNETu). Získáte tak jistotu, že o svá data nepříjdete, díky archivační politice na HSM budou archovovaná ve 2 kopiích.           

Návod, jak data kopírovat: https://wiki.metacentrum.cz/wiki/Archivní_data       
Dokumentaci k adresářové struktuře HSM úložiště najdete na
https://du.cesnet.cz/wiki/doku.php/cs/navody/home-migrace-plzen/start
Kompletní dokumentaci úložiště najdete na https://du.cesnet.cz/wiki/doku.php/cs/navody/start  
 

Podrobnější informace o dostupných polích viz https://wiki.metacentrum.cz/wiki/Souborové_systémy_v_MetaCentru

 
S přáním příjemného počítání,
MetaCentrum

Ivana Křenková, Fri Mar 06 13:57:00 CET 2015

Nový HW v MetaCentru

MetaCentrum bylo rozšířeno o nový výpočetní cluster a stroj s velkou pamětí:

Stroje jsou spravované Torque serverem @arien a přístupné přes frontu vlastníků "ubo" a standardní fronty s délkou trvání do 2 dnů.

Stroj je spravovaný Torque serverem @wagap a přístupný přes frontu "uv". Výkon každého uzlu dle SPECfp2006: 13198 (34.37 na jádro).

 
S přáním příjemného počítání,
MetaCentrum & CERIT-SC

 


Ivana Křenková, Wed Jan 21 15:35:00 CET 2015

Přestěhování a přejmenování novější části clusteru Zewura

Část clusteru zewura9 - zewura20 byla přestěhovaná do nově vybudovaného sálu centra CERIT-SC a zprovozněna pod novým názvem zebra1.cerit-sc.cz - zebra12.cerit-sc.cz (z důvodu fyzicky odlišné lokality). Parametry a režim přístupu ke clusteru zůstávají stejné.


S přáním příjemného počítání,
MetaCentrum

 


Ivana Křenková, Fri Nov 14 15:35:00 CET 2014

Pozvánka na Seminář gridového počítání 2014 -- Matlab & aktuality infrastruktur

Vážení uživatelé,

dovolujeme si Vás pozvat na další ročník Semináře gridového počítání 2014, který se bude konat dne 2. prosince 2014 (cca 10-17hod.) v Praze na Masarykově koleji ČVUT, Thákurova 1.

Registrace na seminář, který je zdarma přístupný nejen uživatelům národního gridu, je k dispozici na http://metavo.metacentrum.cz/metareg/

Seminář bude věnován přehledu informací a novinek o českém národním gridovém a cloudovém prostředí MetaCentrum a CERIT-SC (nový plánovací systém, nové výpočetní zdroje, novinky a tipy ve využití infrastruktur, výsledky spoluprací s uživatelskými skupinami, atp.).

Titulárním sponzorem letošního setkání je společnost Humusoft s.r.o., mj. dodavatel výpočetního prostředí MATLAB. V rámci dopoledního bloku semináře tak budou odborníci společnosti Humusoft prezentovat přehled možností vědeckovýzkumného využití nástroje MATLAB, včetně prezentace možností paralelního, distribuovaného a GPU počítání. Prezentovány budou i informace o efektivním spouštění Matlab výpočtů v prostředí námi poskytované infrastruktury. Více informací najdete na stránkách semináře.

V rámci semináře bychom rádi uvítali i 3-4 prezentace Vás, našich uživatelů, které posléze rádi odměníme "děkovacím záznamem" a tím navýšením Vašeho fairshare indikátoru (=> rychlejším spouštění Vašich úloh). Návrhy prezentací během cca 15 minut informujících o Vašem výzkumu realizovaném na námi poskytovaných infrastrukturách nám prosíme zasílejte do 23. listopadu na adresu meta@cesnet.cz .

Poznámka: Vámi prezentovaný výzkum vůbec nemusí souviset s Matlabem -- v rámci těchto prezentací bychom Vás rádi poprosili především o náhled do Vašich výzkumných aktivit a výsledků (a přínosů, které Vašemu výzkumu naše infrastruktura poskytuje), ať už je realizujete v jakémkoliv nástroji...

Těšíme se na viděnou!

S přátelským pozdravem
MetaCentrum & CERIT-SC.

PS: Seminář je organizován projektem MetaCentrum sdružení CESNET a Centrem CERIT-SC za významné spoluúčasti zmíněného partnera -- společnosti Humusoft s.r.o., výhradního zástupce americké firmy MathWorks, Inc. pro Českou republiku a Slovensko.


Tom Rebok, Fri Nov 07 14:24:00 CET 2014

Pozvánka na slavnostní otevření nových prostor CERIT

Zveme všechny uživatele MetaCentra na slavnostní otevření a zahájení provozu Centra vzdělávání, výzkumu a inovací pro ICT v Brně (CERIT), které  se koná v pátek 19. září 2014 v nových prostorách Fakulty informatiky MU a Ústavu výpočetní techniky, Botanická 68 a, Brno.

Zájemce zveme zejména na Workshop CERIT-SC a na prohlídku nových prostor FI a ÚVT, zejména pak některých zajímavých laboratoří, výpočetních sálů a poslucháren.

V 7. patře vědecko-technického parku bude k vidění přehlídka vědeckých posterů doktorských studentů FI. Jejich autoři budou k dispozici pro případné dotazy mezi 12.30 - 13.30.

Výběr z programu:

12:30 – 13:30 posterová soutěž, 7. patro vědecko-technického parku
od 13:00  vernisáž výstavy (Ateliér grafického designu) a prohlídka prostor

13:30 – 15:00 Workshop na téma Spolupráce mezi CERIT-SC, výzkumníky a studenty, A217
15:00 – 16:00 Setkání absolventů FI MU, A217

Více informací k průběhu akce najdete na stránce CERIT-SC, partnera akce.


Ivana Křenková, Tue Sep 09 12:40:00 CEST 2014

MetaCentrum: novinky infrastruktury

Aktuální informace o novinkách infrastruktur MetaCentrum a CERIT-SC.

Stručné shrnutí novinek:


A nyní detailněji:

1. Amber:
- zakoupili jsme licenci nejnovější verze nástroje pokrývajícího široké spektrum metod výpočetní chemie, využitelnou všemi uživateli MetaCentra
- připravili jsme moduly podporující jak sériové/distribuované výpočty (modul "amber-14"), tak výpočty na grafických procesorech (GPU - modul "amber-14-gpu")
- obě varianty jsou pro maximální efektivitu kompilovány Intel kompilátorem s podporou Intel MKL knihoven
- více viz https://wiki.metacentrum.cz/wiki/Amber


2. GALAXY:
- Galaxy (viz http://galaxyproject.org/ ) je webová platforma pro jednoduchou a transparentní realizaci bioinformatických výpočtů
- připravili jsme vlastní Galaxy instanci, která podporuje vícero bioinformatických nástrojů (např. bfast, blast, bowtie2, bwa, cuff tools, fastx and fastqc tools, fastqc, mosaik, muscle, repeatexplorer, rsem, samtools, tophat2 atp.)
- (další nástroje lze doplnit na požádání)
- výpočty, sestavené v rámci webového rozhraní Galaxy, jsou poté prováděny skrze standardní gridové úlohy
- bližší informace viz https://wiki.metacentrum.cz/wiki/Galaxy_application , přímý přístup na portál skrze https://galaxy.metacentrum.cz (standardní uživatelské jméno a heslo)


3. Projektové adresáře:
- prosíme, ozvěte se nám, pokud ve svých domovských adresářích udržujete objemná data centrálně instalovaných aplikací (např. databáze SW), které nebylo vhodné umisťovat na AFS -- přesuneme je do projektových adresářů
- tyto můžete využít i pro sdílení dat Vašeho projektu -- tato data budou umístěna mimo Vaše domovské adresáře v /storage/projects/MUJPROJEKT
- podpora sdílení dat může být realizována vytvořením vlastní skupiny uživatelů, viz předchozí novinka


4. Hands-on školící seminář:
- připravujeme hands-on školící seminář pro efektivní využívání služeb infrastruktur MetaCentra a CERIT-SC
- předpokládané konání bude v termínu 4.-15.8. (v závislosti na výsledku hlasování), konat se bude v Praze (v budoucnu i v dalších městech)
- více informací a registrační formulář naleznete na https://www.surveymonkey.com/s/MetaSeminar-Praha


5. Nově instalované/upgradované aplikace:

Komerční software:

1. Amber
   - zakoupena licence nejnovější verze 14 programu Amber, viz výše
2. Geneious
   - upgrade na verzi 7.1.5


Volně dostupný software:
* blast+ (ver. 2.2.29)
   - a program that compares nucleotide or protein sequences to sequence databases and calculates the statistical significance of matches
* bowtie2 (ver. 2.2.3)
   - Bowtie 2 is an ultrafast and memory-efficient tool for aligning sequencing reads to long reference sequences.
* cellprofiler (ver. 2.1.0)
   - an open-source software designed to enable biologists to quantitatively measure phenotypes from thousands of (cell/non-cell) images automatically
* cuda (ver. 6.0)
   - CUDA Toolkit 6.0 (libraries, compiler, tools, samples)
* diyabc (ver. 2.0.4)
   - user-friendly approach to Approximate Bayesian Computation for inference on population history using molecular markers
* eddypro (ver. 20140509)
   - a powerful software application for processing eddy covariance data
* fsl (ver. 5.0.6)
   - a comprehensive library of analysis tools for FMRI, MRI and DTI brain imaging data
* gerp (ver. 05-2011)
   - GERP identifies constrained elements in multiple alignments by quantifying
* gpaw (ver. 0.10, Python 2.6+2.7, Intel+GCC variants)
   - density-functional theory (DFT) Python code based on the projector-augmented wave (PAW) method and the atomic simulation environment (ASE)
* gromacs (ver. 4.6.5)
   - a program package enabling to define minimalization of energy of system and dynamic behaviour of molecular systems
* hdf5 (ver. 1.8.12-gcc-serial)
   - data model, library, and file format for storing and managing data.
* htseq (ver. 0.6.1)
   - a Python package that provides infrastructure to process data from high-throughput sequencing assays
* infernal (ver. 1.1, GCC+Intel+PGI variants)
   - search sequence databases for homologs of structural RNA sequences
* mono (ver. 3.4.0)
   - open-source .NET implementation allowing to run C# applications
* openfoam (ver. 2.3.0)
   - a free, open source CFD software package
* phylobayes (ver. mpi-1.5a)
   - Bayesian Markov chain Monte Carlo (MCMC) sampler for phylogenetic inference
* phyml (ver. 3.0-mpi)
   - estimates maximum likelihood phylogenies from alignments of nucleotide or amino acid sequences
* picard (ver. 1.80 + 1.100)
   - a set of tools (in Java) for working with next generation sequencing data in the BAM format
* qt (ver. 4.8.5)
   - cross-platform application and UI framework
* R (ver. 3.1.0)
   - a software environment for statistical computing and graphics
* rpy (ver. 1.0.3)
   - python wrapper for R
* rpy2 (ver. 2.4.2)
   - python wrapper for R
* rsem (ver. 1.2.8)
   - package for estimating gene and isoform expression levels from RNA-Seq data
* soapalign (ver. 2.21)
   - The new program features in super fast and accurate alignment for huge amounts of short reads generated by Illumina/Solexa Genome Analyzer.
* soapdenovo (ver. trans-1.04)
   - de novo transcriptome assembler basing on the SOAPdenovo framework
* spades (ver. 3.1.0)
   - St. Petersburg genome assembler. It is intended for both standard (multicell) and single-cell MDA bacteria assemblies.
* stacks (ver. 1.19)
   - a software pipeline for building loci from short-read sequences
* tablet (ver. 1.14)
   - a lightweight, high-performance graphical viewer for next generation sequence assemblies and alignments
* tassel (ver. 3.0)
   - TASSEL has multiple functions, including associati on study, evaluating evolutionary relationships, analysis of linkage disequilibrium, principal component analysis, cluster analysis, missing data imputation and data visualization
* tcltk (ver. 8.5)
   - powerful but easy to learn dynamic programming language and graphical user interface toolkit
* tophat (ver. 2.0.12)
   - TopHat is a fast splice junction mapper for RNA-Seq reads.
* trinotate (ver. 201407)
   - comprehensive annotation suite designed for automatic functional annotation of transcriptomes, particularly de novo assembled transcriptomes, from model or non-model organisms
* wgs (ver. 8.1)
   - whole-genome shotgun (WGS) assembler for the reconstruction of genomic DNA sequence from WGS sequencing data


S přáním úspěšných výpočtů
Tom Rebok,
MetaCentrum + CERIT-SC.


Tom Rebok, Mon Jul 28 12:39:00 CEST 2014

Nový plánovač v CERIT-SC

V uplynulých letech se centrum CERIT-SC společně s MetaCentrem zabývalo zhodnocením efektivity stávajícího Torque plánovače. Výsledkem dlouhodobého výzkumu bylo vyvinutí nového plánovače založeného na tvorbě rozvrhu, který řeší nejkritičtější nedostatky původního plánovače.

Nový plánovač bude nasazen na Torque serveru @wagap příští týden. Aktuální běžící úlohy nebudou přepnutím plánovače ovlivněny.

Mezi klíčové výhody nového rozvrhového plánovače patří:

Základní funcionalita stávajícího plánovacího systému zůstává zachována (qsub příkazy).
Příkaz "qstat" i grafický interface PBSmon začne zobrazovat přibližnou dobu startu a ukončení úlohy a zdroje, na kterých je úloha plánována.

Přehled o aktuálních úlohách je k dispozici na stránce http://metavo.metacentrum.cz/schedule-overview/ a také v aplikaci PBSmon, tak jako doposud.

Popis nového plánovače a hlavní odlišnosti jsou popsané v dokumentaci na wiki:
https://wiki.metacentrum.cz/wiki/Manual_for_the_TORQUE_Resource_Manager_with_a_Plan-Based_Scheduler

Největší změnou je skutečnost, že plánovač nepoužívá fronty, s výjímkou prioritních front dedikovaných uživatelské komunitě na základě speciální domluvy.

Protože nasazení nového plánovače je významným zásahem do infrastruktury, žádáme uživatele, aby nám hlásili neobvyklé chování plánovače na adresu uživatelské podpory support@cerit-sc.cz. Uživatelská podpora bude po přechodnou dobu posílena o vývojový tým nového plánovače.

 

Ivana Křenková, Thu Jul 17 12:40:00 CEST 2014

Zpřístupnění HSM datových úložišť CESNET v Brně

Datový prostor na hierarchickém úložišti (HSM) v Brně je nyní přímo přístupný ze všech strojů MetaCentra a CERIT-SC. Úložiště je připojeno v adresáři /storage/brno5-archive/home/

Uživatelé z virtuální organizace MetaCentrum mají k dispozici diskový prostor standardně s kvótou 5 TB, starší data jsou přesouvána na pásky a MAID. Kvóta může být na požádání navýšena.

Pro HSM platí odlišné nastavení (platí pro Brno, Jihlavu i Plzeň):

Aktuální využití úložišť: http://metavo.metacentrum.cz/pbsmon2/nodes/physical#storages_hsm
Návod, jak data kopírovat: https://wiki.metacentrum.cz/wiki/Archivní_data

Úložiště HSM se hodí zejména pro odkládání archivních dat, se kterými se již aktivně nepracuje. Nepoužívejte jej pro živá data nebo pro data, nad kterými se bezprostředně provádějí výpočty. Úložiště je hierarchické, to znamená, že systém automaticky přesouvá déle nepoužívaná data na pomalejší média, v tomto případě magnetické pásky a vypínatelné disky (MAID). Data jsou přitom stále pro uživatele viditelná v souborovém systému, jen je třeba počítat s tím, že přístup k dlouho nepoužitým datům může být pomalejší.

Kompletní dokumentaci úložiště najdete na https://du.cesnet.cz/

Úložiště je provozováno Oddělením datových úložišť CESNET, http://du.cesnet.cz.
S dotazy a žádostmi na uživatelskou podporu se obracejte na podporu MetaCentra (meta@cesnet.cz).


Ivana Křenková, Fri Jun 27 12:40:00 CEST 2014

MetaCentrum: novinky infrastruktury

Zasíláme Vám aktuální informace o novinkách infrastruktur MetaCentrum a CERIT-SC.

Stručné shrnutí novinek:


A nyní detailněji:

1. Podpora sdílení dat ve skupinách:
- na požádání Vám založíme systémovou skupinu, v rámci které si budete moci sami spravovat její členy (skrze grafické rozhraní systému Perun)
- podporujeme sdílení dat skupinou v rámci domovských adresářů uživatelů i sdílení dat skupinou v rámci scratchových adresářů
- pro bližší informace navštivte https://wiki.metacentrum.cz/wiki/Sdílení_dat_ve_skupině


2. Gaussian-Linda:
- zakoupili jsme licenci paralelního rozšíření programu Gaussian -- Gaussian-Linda, využitelnou všemi uživateli MetaCentra
- paralelní/distribuované zpracování Vašich výpočtů je dostupné skrze modul "g09-D.01linda"
- potřebné volby jsou (při požadavku úlohy na více uzlů) do vstupního Gaussian souboru automaticky zaváděny skriptem "g09-prepare"
- bližší informace viz https://wiki.metacentrum.cz/wiki/Gaussian-GaussView


3. Přidělování uzlů vzájemně propojených Infiniband sítí distribuovaným výpočtům:
- dosavadní obcházení nedokonalosti plánovače při požadavku na Infiniband uzly (skrze požadavek na uzly konkrétního clusteru) již není nutné
- při požadavku na uzly propojené Infiniband sítí doplňte volbu "-l place=infiniband" (tj. např. "qsub -l nodes=2:ppn=2:infiniband -l place=infiniband ...") -- plánovač Vám automaticky nalezne uzly (vzájemně propojené IB sítí), které mohou potenciálně být i z různých clusterů
- do budoucna plánujeme volbu "-l place=infiniband" doplňovat automaticky při požadavku na Infiniband uzly, tj. dostatečným požadavkem bude "-l nodes=X:ppn=Y:infiniband"...
- bližší informace viz https://wiki.metacentrum.cz/wiki/Paralelní_aplikace


4. Nově instalované/upgradované aplikace:

Komerční software:
1. Gaussian Linda
  - Linda parallel programming model involves a master process, which runs on the current processor, and a number of worker processes which can run on other nodes of the network
  - pořízení paralelního rozšíření Gaussian-Linda
2. Matlab
  - an integrated system covering tools for symbolic and numeric computations, analyses and data visualizations, modeling and simulations of real processes, etc.
  - upgrade na verzi 8.3
3. CLC Genomics Workbench
  - a tool for analyzing and visualizing next generation sequencing data, which incorporates cutting-edge technology and algorithms
  - upgrade na verzi 7.0
4. PGI Cluster Development Kit
  - a collection of tools for development parallel and serial programs in C, Fortran, etc.
  - upgrade na verzi 14.3

Volně dostupný software:
* bayarea (ver. 1.0.2)
  - Bayesian inference of historical biogeography for discrete areas
* bioperl (ver. 1.6.1)
  - a toolkit of perl modules useful in building bioinformatics solutions in Perl
* blender (ver. 2.70a)
  - Blender is a free and open source 3D animation suite
* cdhit (ver. 4.6.1)
  - program for clustering and comparing protein or nucleotide sequences
* cuda (ver. 5.5)
  - CUDA Toolkit 5.5 (libraries, compiler, tools, samples)
* eddypro (ver. 20140509)
  - a powerful software application for processing eddy covariance data
* flash (ver. 1.2.9)
  - very fast and accurate software tool to merge paired-end reads from next-generation sequencing experiments
* fsl (ver. 5.0.6)
  - a comprehensive library of analysis tools for FMRI, MRI and DTI brain imaging data
* gcc (ver. 4.7.0 and 4.8.1)
  - a compiler collection, which includes front ends for C, C++, Objective-C, Fortran, Java, Ada and libraries for these languages
* gmap (ver. 2014-05-06)
  - A Genomic Mapping and Alignment Program for mRNA and EST Sequences, Genomic Short-read Nucleotide Alignment Program
* grace (ver. 5.1.23)
  - a WYSIWYG tool to make two-dimensional plots of numerical data
* heasoft (ver. 6.15)
  - a Unified Release of the FTOOLS and XANADU Software Packages
* hdf5 (ver. 1.8.12, GCC+Intel+PGI versions)
  - data model, library, and file format for storing and managing data.
* hmmer (ver. 3.1b1, GCC+Intel+PGI versions)
  - HMMER is used for searching sequence databases for homologs of protein sequences, and for making protein sequence alignments.
* igraph (ver. 0.7.1, GCC+Intel versions)
  - collection of network analysis tools
* java3d
  - Java 3D
* jdk (ver. 8)
  - Oracle JDK 8.0
* jellyfish (ver. 2.1.3)
  - tool for fast and memory-efficient counting of k-mers in DNA
* lagrange (ver. 0.20-gcc)
  - likelihood models for geographic range evolution on phylogenetic trees, with methods for inferring rates of dispersal and local extinction and ancestral ranges
* molden (ver. 5.1)
  - a package for displaying Molecular Density from the Ab Initio packages GAMESS-* and GAUSSIAN and the Semi-Empirical packages Mopac/Ampac, etc.
* mosaik (ver. 1.1 and 2.1)
  - a reference-guided assembler
* mugsy (ver. v1r2.3)
  - multiple whole genome aligner
* oases (ver. 0.2.08)
  - Oases is a de novo transcriptome assembler designed to produce transcripts from short read sequencing technologies, such as Illumina, SOLiD, or 454 in the absence of any genomic assembly.
* opencv (ver. 2.4)
  - OpenCV c++ library for image processing and computer vision. (http://meta.cesnet.cz/wiki/OpenCV)
* openmpi (ver. 1.8.0, Intel+PGI+GCC versions)
  - an implementation of MPI
* OSAintegral (ver. 10.0)
  - a software tool deditaced for analysis of the data provided by the INTEGRAL satellite
* omnetpp (ver. 4.4)
  - extensible, modular, component-based C++ simulation library and framework, primarily for building network simulators.
* p4vasp (ver. 0.3.28)
  - a collection of both secure hash functions and various encryption algorithms
* pasha (ver. 1.0.10)
  - parallel short read assembler for large genomes
* perfsuite (ver. 1.0.0a4)
  - a collection of tools, utilities, and libraries for software performance analysis (produced by SGI)
* perl (ver. 5.10.1)
  - Perl programming language
* phonopy (ver. 1.8.2)
  - post-process phonon analyzer, which calculates crystal phonon properties from input information calculated by external codes
* picard (ver. 1.80 and 1.100)
  - a set of tools (in Java) for working with next generation sequencing data in the BAM format
* quake (ver. 0.3.5)
  - tool to correct substitution sequencing errors in experiments with deep coverage
* R (ver. 3.0.3)
  - a software environment for statistical computing and graphics
* sga (ver. 0.10.13)
  - memory efficient de novo genome assembler
* smartflux (ver. 1.2.0)
  - a powerful software application for processing eddy covariance data
* theano (ver. 0.6)
  - Python library that allows to define, optimize, and evaluate mathematical expressions involving multi-dimensional arrays efficiently
* tophat (ver. 2.0.8)
  - TopHat is a fast splice junction mapper for RNA-Seq reads.
* trimmomatic (ver. 0.32)
  - A flexible read trimming tool for Illumina NGS data
* trinity (ver. 201404)
  - novel method for the efficient and robust de novo reconstruction of transcriptomes from RNA-seq data
* velvet (ver. 1.2.10)
  - an assembler used in sequencing projects that are focused on de novo assembly from NGS technology data
* VESTA (ver. 3.1.8)
  - 3D visualization program for structural models and 3D grid data such as electron/nuclear densities
* xcrysden (ver. 1.5)
  - a crystalline and molecular structure visualisation program aiming at display of isosurfaces and contour

S přáním úspěšných výpočtů
Tomáš Rebok,
MetaCentrum NGI.


Tom Rebok, Fri Jun 06 08:45:00 CEST 2014

Pozvánka na kurz Architektura SGI UV2 13.-15.5. 2014

Centrum CERIT-SC pořádá ve spolupráci s SGI pokročilý kurz o architektuře systému SGI UV2 a optimalizaci aplikací pro běh na ní.

Primární cílovou skupinou jsou uživatelé aplikací s vysokou náročností na výkon, a uživatelé, kteří ke své práci využívají vlastní kód nebo existující aplikační kód modifikují.

Kurz je plánován na 2,5 dne, v termínu 13.-15.5.2014 v prostorách CERIT-SC v Brně, Šumavská 15 (viz http://www.cerit-sc.cz/cs/about/Contacts/).
Bude veden v angličtině, přednášejícím je expert SGI dr. Gabriel Koren. V případě zájmu je možné účastnit se videokonferenčně. Pořízení záznamu není možné.

Předpokládaná probíraná témata jsou:

Kapacita kurzu je omezena, zájemce prosíme, aby se registrovali na http://www.cerit-sc.cz/registrace/. V poznámce uveďte, dáváte-li přednost videokonferenci.

Praktické ukázky profilování a optimalizace bychom rádi předvedli na skutečných problémech a aplikacích, nejen na uměle vytvořených příkladech. Uvítáme proto vaše vstupy. K tomu potřebujeme:

Program by měl být schopen potenciálně využít významnou část UV2 v CERIT-SC (tj. alespoň desítky jader CPU nebo stovky GB RAM). Doba běhu na dodaných  vstupních datech by měla být v rozmezí 1-20 minut.

Během kurzu se za pomoci školícího tyto programy pokusíme co nejvíce vylepšit z pohledu efektivity jejich běhu na UV2. Přínosem pro vás tedy bude nejen samotný proces optimalizace ale i přímo jeho výsledek.

Prosíme o zaslání návrhů na takové problémy k řešení do 30.4.2014 na <ljocha@ics.muni.cz>.  Nedokážeme odhadnout, jak velký bude zájem, dovolí-li to rozsah kurzu, zahrneme do programu všechny.

Těšíme se na hojnou účast a zajímavé příspěvky k programu.

Aleš Křenek <ljocha@ics.muni.cz>
za tým CERIT-SC


Ivana Křenková, Thu Apr 24 07:40:00 CEST 2014

Zpřístupnění HSM datových úložišť CESNET v Jihlavě

Datový prostor na hierarchickém úložišti (HSM) v Jihlavě je nyní přímo přístupný ze všech strojů MetaCentra a CERIT-SC. Úložiště je připojeno v adresáři /storage/jihlava2-archive/home/

Uživatelé z virtuální organizace MetaCentrum mají k dispozici diskový prostor standardně s kvótou 5 TB, starší data jsou přesouvána na pásky a MAID. Kvóta může být na požádání navýšena.

Pro HSM platí odlišné nastavení (platí pro Jihlavu i Plzeň):

--------------------------------------------------------------------------------------------------------------------------------------
|Prosíme zvažte přesun svých archivních dat, která nepotřebujete bezprostředně        
|k výpočtům (ze svazků /storage/<lokalita>/home/ na některé z připojených HSM          
|(/storage/plzen2-archive/ nebo /storage/jihlava2-archive/).                          
|Na brněnských svazcích dochází místo. Navíc získáte výhodu zálohování ve dvou kopiích.   

--------------------------------------------------------------------------------------------------------------------------------------

Aktuální využití úložišť: http://metavo.metacentrum.cz/cs/state/personal
Návod, jak data kopírovat: https://wiki.metacentrum.cz/wiki/Archivní_data

Úložiště HSM se hodí zejména pro odkládání archivních dat, se kterými se již aktivně nepracuje. Nepoužívejte jej pro živá data nebo pro data, nad kterými se bezprostředně provádějí výpočty. Úložiště je hierarchické, to znamená, že systém automaticky přesouvá déle nepoužívaná data na pomalejší média, v tomto případě magnetické pásky a vypínatelné disky (MAID). Data jsou přitom stále pro uživatele viditelná v souborovém systému, jen je třeba počítat s tím, že přístup k dlouho nepoužitým datům může být pomalejší.

Dokumentaci k adresářové struktuře HSM úložiště najdete na
https://du.cesnet.cz/wiki/doku.php/cs/navody/home-migrace-plzen/start
Kompletní dokumentaci úložiště najdete na https://du.cesnet.cz/wiki/doku.php/cs/navody/start

Úložiště je provozováno Oddělením datových úložišť CESNET, http://du.cesnet.cz.
S dotazy a žádostmi na uživatelskou podporu se obracejte na podporu MetaCentra (meta@cesnet.cz).


Ivana Křenková, Mon Apr 07 12:40:00 CEST 2014

Změna nastavení svazku /scratch

Dobrý den,

z důvodu získání lepšího přehledu o datech ve scratchích a možnosti identifikace starých nepotřebných dat kvůli promazávání, si Vás dovolujeme upozornit, že zápis do základního scratchového adresáře /scratch*/$USER bude od

 **** 1. května 2014 ZNEMOŽNĚN ****

tj. úlohy budou moci zapisovat pouze do přiděleného podadresáře /scratch*/$USER/job_JOBID.

Ujistěte se prosím, že Vaše skripty pracují s proměnnou $SCRATCHDIR, ukazatelem na scratchový prostor, který byl Vaší úloze při startu přidělen. Příklad ukázkového skriptu je dostupný na wiki.

Rovněž prosíme, abyste své nové úlohy zadávali s proměnnou $SCRATCHDIR (pokud využíváte scratche). V opačném případě skončí po tomto datu neúspěchem (nemožností zapsat data do základního scratchového adresáře).
Poznámka: Pokud práci s proměnnou $SCRATCHDIR využíváte již nyní, žádná změna se Vás nedotkne -- ve svých skriptech nemusíte nic upravovat.

Napište nám, pokud budete potřebovat pomoc s úpravou svých skriptů, či pokud by Vaše dlouhotrvající výpočty mohly být touto změnou postiženy. Napište nám rovněž, pokud ke svým výpočtům potřebujete zápis do základního scratchového adresáře např. z důvodu sdílení objemných dat mezi úlohami. V tomto případě Vám v základním scratchovém adresáři vytvoříme prostor určený pro uložení těchto dat.

Více informací o svazku /scratch najdete také na wiki: https://wiki.metacentrum.cz/wiki/Úložiště_scratch

S diky za pochopení a s přáním úspěšných výpočtů,

Ivana Křenková


Ivana Křenková, Tue Apr 01 10:51:00 CEST 2014

TRVALÁ ODSTÁVKA diskového pole /storage/brno1

V rámci avizované komplexní údržby a analýzy stavu diskového pole /storage/brno1 se bohužel ukázalo, že jeho bezporuchový provoz již není dále udržitelný a mj. i vzhledem k jeho stáří (jedná se o naše nejstarší diskové pole) jsme nuceni jej ***TRVALE ODSTAVIT***.

Důsledky, které z tohoto plynou pro Vás, uživatele:

  1. Diskové pole /storage/brno1 je aktuálně přístupno v režimu "JEN PRO ČTENÍ"
  2. Aktuálně probíhá kopírování Vašich dat ze /storage/brno1 na diskové do Jihlavy (do samostatného servisního prostoru, mimo Vaše domovské adresáře)
    • současně s tímto Vám budou v Jihlavě dočasně navýšeny kvóty (na hodnotu kvota_brno1 + kvota_jihlava1)
  3. Po vykopírování Vašich dat bude diskové pole odstaveno; Vaše data pak budou v běžném režimu (tj. "čtení-zápis") opět zpřístupněna skrze /storage/brno1 (bude odkazovat na nové úložiště)
  4. V průběhu tohoto roku plánujeme do Brna nákup nového diskového pole, které tak nahradí/navýší omezení dostupné kapacity způsobené odstávkou. 

***DŮLEŽITÉ:***

Omlouváme se za komplikace způsobené touto odstávkou.

S díky za pochopení a s přáním úspěšných výpočtů
Tom Rebok.


Tom Rebok, Wed Feb 26 10:51:00 CET 2014

Provozní změny MetaCentra a CERIT-SC: podpora paralelních/distribuovaných výpočtů v Matlabu + nový SW

Představujeme Vám další pravidelnou informaci o provozních novinkách infrastruktur MetaCentrum a CERIT-SC:

1. Podpora paralelních/distribuovaných výpočtů v Matlabu -- zjednodušení práce s přípravou paralelního/distribuovaného poolu workerů:

 

2. Nově instalovaný/pořízený SW:

Pozn.: Bližší informace o instalovaných aplikacích jsou k dispozici na stránce aplikací:  https://wiki.metacentrum.cz/wiki/Kategorie:Aplikace


KOMERČNÍ PROGRAMY:

Wien2k (wien2k-13.1)


VOLNĚ DOSTUPNÉ PROGRAMY:
* allpathslg (ver. 48203)  - short read genome assembler from the Computational Research and Development group at the Broad Institute
* atlas (ver. 3.10.1, compiled by gcc4.4.5 and gcc4.7.0)  - The ATLAS (Automatically Tuned Linear Algebra Software) project is an ongoing research effort focusing on applying empirical techniques in order to provide portable performance.
* cm5pac (ver. 2013)  - a package to carry out a calculation of CM5 partial atomic charges using Hirshfeld atomic charges from Gaussian 09's output file (calculations performed in Revision D.01 of Gaussian 09 may produce wrong CM5 charges in certain cases)
* damask (ver. 2689)  - flexible and hierarchically structured model of material point behavior for the solution of (thermo-) elastoplastic boundary value problems
* fastq_illumina_filter (ver. 0.1)  - Illumina's CASAVA pipeline produces FASTQ files with both reads that pass filtering and reads that don't
* fftw (ver. 3.3, variants: double, omp, ompdouble)  - C subroutine library for computing the discrete Fourier transform
* gmap (ver. 2013-11-27)  - A Genomic Mapping and Alignment Program for mRNA and EST Sequences, Genomic Short-read Nucleotide Alignment Program
* gnuplot (ver. 4.6.4)  - a portable command-line driven graphing utility allowing to visualize mathematical functions and data
* grace (ver. 5.1.23)  - a WYSIWYG tool to make two-dimensional plots of numerical data
* lammps (ver. dec2013)  - Large-scale Atomic/Molecular Massively Parallel Simulator
* maker (ver. 2.28)  - Genome annotation pipeline. Its purpose is to allow smaller eukaryotic and prokaryotic genome projects to independently annotate their genomes and to create genome databases.
* masurca (ver. 2.1.0)  - MaSuRCA is whole genome assembly software. It combines the efficiency of the de Bruijn graph and Overlap-Layout-Consensus (OLC) approaches.
* metaVelvet (ver. 1.2)  - a short read assember for metagenomics
* numpy (ver. 1.8.0 for Python 2.6, compiled with gcc and Intel)  - a Python language extension defining the numerical array and matrix type and basic operations over them (compiled with Intel MKL libraries support for faster performance) * NWChem (ver. 6.3.2)  - an ab initio computational chemistry software package which also includes quantum chemical and molecular dynamics functionality
* openmpi (ver. 1.6.5, gcc + pgi + intel)  - an implementation of MPI
* orca (ver. 3.0.1)  - modern electronic structure program package
* paramiko (ver. 1.12)  - a Python module that implements the SSH2 protocol for secure (encrypted and authenticated) connections to remote machines
* pycrypto (ver. 2.6.1)  - a collection of both secure hash functions (such as SHA256 and RIPEMD160) and various encryption algorithms (AES, DES, RSA, ElGamal, etc.)
* SOAPdenovo2   - a novel short-read assembly method that can build a de novo draft assembly for the human-sized genomes (includes SOAPec, GapCloser, Data prepare and Error Correction modules)
* sRNAworkbench3.0   - a suite of tools for analysing small RNA (sRNA) data from Next Generation Sequencing devices
* ugene (ver. 1.13)  - a free open-source cross-platform bioinformatics software
* vcftools (ver. 0.1.11)  - an ultrafast, memory-efficient short read aligner of short DNA sequences
* vtk (ver. 5.4.2)  - freely available software system for 3D computer graphics, image processing and visualization
* xmgrace (ver. 5.1.23)  - a WYSIWYG tool to make two-dimensional plots of numerical data

 

S pozdravem Tomáš Rebok,
MetaCentrum + CERIT-SC.


Tom Rebok, Thu Feb 20 15:09:00 CET 2014

Provozní změny infrastruktur MetaCentra a CERIT-SC: rozšířené možnosti plánovače + nový SW

Jak jsme avizovali, představujeme Vám další pravidelnou informaci o provozních novinkách infrastruktur MetaCentrum a CERIT-SC:


1. Rozšířené možnosti plánovače -- nové možnosti specifikace odhadované doby běhu úloh:



2. Nově instalovaný/pořízený SW:

Pozn.: Bližší informace o instalovaných aplikacích jsou k dispozici na
stránce aplikací:  https://wiki.metacentrum.cz/wiki/Kategorie:Aplikace


KOMERČNÍ PROGRAMY (dostupné všem registrovaným uživatelům):

VOLNĚ DOSTUPNÉ PROGRAMY:

* atomsk (ver. b0.7.2)  - a command-line program intended to read many types of atomic position files, and convert them to many other formats
* clview (ver. 2010)  - graphical, interactive tool for inspecting the ACE format assembly files generated by CAP3 or phrap
* cthyb   - The TRIQS-based hybridization-expansion matrix solver allows to solve the generic problem of a quantum impurity embedded in a conduction bath
* erlang (ver. r16)  - programming language used to build massively scalable soft real-time systems with requirements on high availability
* erne (ver. 1.4, gcc+intel)  - a short string alignment package providing an all-inclusive set of tools to handle short (NGS-like) reads
* repeatexplorer   - RepeatExplorer is a computational pipeline for discovery and characterization of repetitive sequences in eukaryotic genomes.

S pozdravem Tomáš Rebok,
MetaCentrum + CERIT-SC


Tom Rebok, Sun Jan 19 23:50:00 CET 2014

Zprovoznění clusteru luna

MetaCentrum bylo rozšířeno o cluster luna.fzu.cz (Fyzikální ústav AV ČR), celkem 47 strojů (752 CPU jader), každý v konfiguraci:

Cluster je přístupný přes fronty luna, short a normal (Torque server @arien).

S přáním příjemného počítání,
MetaCentrum 


Ivana Křenková, Fri Jan 17 10:48:00 CET 2014

Hierarchické datové úložiště CERIT-SC

Na clustery CERIT-SC (zewura, zegox, zigur, zapat, zuphux a ungu) je nově připojeno hierarchické datové úložiště (HSM) CERIT-SC. HSM je připojeno v adresáři /storage/brno4-cerit-hsm/home a je v testovacím provozu.

Úložiště je hierarchické, to znamená, že systém automaticky přesouvá déle nepoužívaná data na pomalejší média, v tomto případě na vypínatelné disky (MAID). Uživatel se o to nemusí starat, všechna data jsou zobrazena v souborovém systému. Je třeba počítat s tím, že přístup k dlouho nepoužívaným datům může být pomalejší (disky se musí roztočit).

Pokud uživatel kdekoli na úložišti založí adresář "Archive", tak data v něm i jeho podadresářích budou ukládány rovnou na vypínatelné disky.

Vzhledem k technologii MAID je úložiště použitelné i pro živější data, jeho hlavním a preferovaným účelem jsou nicméně střednědobé archivy.


David Antoš, Fri Dec 20 10:48:00 CET 2013

Provozní změny infrastruktur MetaCentra a CERIT-SC: VNC prostředí pro GUI aplikace + nový SW

Jak jsme avizovali, zasíláme Vám další pravidelnou informaci o provozních novinkách infrastruktur MetaCentrum a CERIT-SC:

1. Prostředí pro podporu práce s GUI aplikacemi (VNC servery)


2. Nově instalovaný/pořízený SW:

Pozn.: Bližší informace o instalovaných aplikacích jsou k dispozici na stránce aplikací:  https://wiki.metacentrum.cz/wiki/Kategorie:Aplikace

KOMERČNÍ PROGRAMY (dostupné všem registrovaným uživatelům):


VOLNĚ DOSTUPNÉ PROGRAMY:
* atsas (ver. 2.5.1)  - A program suite for small-angle scattering data analysis from biological macromolecules.
* boost (ver. 1.55)  - a boost library
* cdbfasta   - Fast indexing and retrieval of fasta records from flat file databases
* cmake (ver. 2.8.11)  - a cross-platform, open-source build system
* elk (ver. 2.2.9)  - all-electron full-potential linearised augmented-plane wave (compiled against Intel MKL, MPI + OpenMP support)
* fastQC (ver. 0.10.1)  - a quality control tool for high throughput sequence data
* freebayes (ver. 9.9.2)  - a Bayesian genetic variant detector designed to find small polymorphisms (SNPs & MNPs), and complex events smaller than the length of a short-read sequencing alignment
* garli (ver. 2.01)  - GARLI is a program that performs phylogenetic inference using the maximum-likelihood criterion
* gsl (ver. 1.16, gcc+intel)  - GNU Scientific Library tools collection
* last (ver. 356)  - LAST finds similar regions between sequences.
* mafft (ver. 7.029)  - a multiple sequence alignment program which offers a range of alignment methods
* mrbayes (ver. 3.2.2)  - MrBayes is a program for the Bayesian estimation of phylogeny.
* mrNA (ver. 1.0, gcc+intel)  - rNA is an aligner for short reads produced by Next Generation Sequencers
* rsem (ver. 1.2.8)  - package for estimating gene and isoform expression levels from RNA-Seq data
* rsh-to-ssh (ver. 1.0)  - forces using SSH instead of RSH (useful for some applications, may be further used system-widely)
* sassy (ver. 0.1.1.3)  - SaSSY is a short, paired-read assembler designed primarily to assemble data generated using Illumina platforms.
* seqtk (ver. 1.0)  - fast and lightweight tool for processing sequences in the FASTA or FASTQ format
* spades (ver. 2.5.1)  - St. Petersburg genome assembler. It is intended for both standard (multicell) and single-cell MDA bacteria assemblies.
* sparx   - environment for Cryo-EM image processing
* tablet (ver. 1.13)  - a lightweight, high-performance graphical viewer for next generation sequence assemblies and alignments
* trinity (ver. 201311)  - novel method for the efficient and robust de novo reconstruction of transcriptomes from RNA-seq data
* vasp (ver. 4.6, 5.2 and 5.3)  - Vienna Ab initio Simulation Package (VASP) for atomic scale materials modelling (newly compiled with Intel MKL and MPI support, available just for users owning a VASP license)
* visit (ver. 2.6.3)  - a free interactive parallel visualization and graphical analysis tool for viewing scientific data


S pozdravem Tomáš Rebok,
MetaCentrum + CERIT-SC.


Tom Rebok, Mon Dec 16 01:18:00 CET 2013

Zprovoznění SGI UV2 centra CERIT-SC

MetaCentrum bylo rozšířeno o unikátní NUMA server SGI UV2 (ungu.cerit-sc.cz), celkem 288 CPU jader v konfiguraci:

Stroj je hardwarově rozdělen na tzv. partitions jevící se jako samostatné stroje ungu1 a ungu2. Nejedná se ale o virtualizaci v běžném smyslu. Ungu1 je běžně přístupný v Torque, ungu2 je vyhrazen pro experimenty. Konkrétní rozdělení muže být měněno podle aktuální potřeby.

Stroj je přístupný po dobu testování přes frontu 'uv@wagap.cerit-sc.cz', výhledově bude přístupný i v běžných frontách.

S přáním příjemného počítání,
MetaCentrum & CERIT-SC


Ivana Křenková, Fri Dec 13 13:22:00 CET 2013

Nový HW v MetaCentru

MetaCentrum bylo rozšířeno o dva nové clustery a diskové pole:

Stroje jsou přístupné po dobu testování pouze přes frontu debian7, i pro gpu úlohy.

Stroje jsou přístupné po dobu testování přes fronty debian7 a luna.

 
S přáním příjemného počítání,
MetaCentrum

 


Ivana Křenková, Tue Nov 26 15:35:00 CET 2013

Provozní změny infrastruktur MetaCentra a CERIT-SC: uzly s Debian 7 + nový SW

Počínaje tímto kalendářním měsícem se Vás pokusíme pravidelně 1x měsíčně informovat o nejdůležitějších provozních změnách (zahrnujících mj. i nově instalovaný SW) provedených na infrastrukturách MetaCentra a CERIT-SC.


Nejdůležitější provozní novinky:
1. Testovací uzly s OS Debian 7 brzy do produkčního provozu


2. Nově instalovaný/pořízený SW: (vzhledem k této první novince budeme výjimečně sumarizovat SW za posledních 5 kalendářních měsíců)

Pozn.: Bližší informace o instalovaných aplikacích jsou k dispozici na stránce aplikací:  https://wiki.metacentrum.cz/wiki/Kategorie:Aplikace


KOMERČNÍ PROGRAMY (dostupné všem registrovaným uživatelům):



VOLNĚ DOSTUPNÉ PROGRAMY:
* argus (ver. 3.0.6)  - a tool for developing network activity audit strategies and prototype technology to support network operations, performance and security management
* bedtools (ver. 2.17)  - bedtools utilities are a swiss-army knife of tools for a wide-range of genomics analysis tasks
* bfast (ver. 0.7.0) - a tool for fast and accurate mapping of short reads to reference sequences
* bioperl (ver. 1.6.1)  - a toolkit of perl modules useful in building bioinformatics solutions in Perl
* blast (ver. 2.2.26)  - a program that compares nucleotide or protein sequences to sequence databases and calculates the statistical significance of matches
* blast+ (ver. 2.2.26 + 2.2.27)  - a program that compares nucleotide or protein sequences to sequence databases and calculates the statistical significance of matches
* boost (ver. 1.49)  - a boost library
* bowtie (ver. 1.0.0)  - an ultrafast, memory-efficient short read aligner of short DNA sequences
* bwa (ver. 0.7.5a)  - a fast lightweight tool that aligns relatively short sequences to a sequence database
* clumpp (ver. 1.1.2)  - a program that deals with label switching and multimodality problems in population-genetic cluster analyses
* cp2k (ver. 2.3 + 2.4)  - a program to perform atomistic and molecular simulations of solid state, liquid, molecular, and biological systems
* dendroscope (ver. 3.2.8)  - an interactive viewer for rooted phylogenetic trees and networks
* echo (ver. 1.12)  - Short-read Error Correction
* erne (ver. 1.2)  - a short string alignment package providing an all-inclusive set of tools to handle short (NGS-like) reads
* fpc (ver. 9.4)  - a tool that takes a set of clones and their restriction fragments as an input and assembles the clones into contigs
* gcc (ver. 4.7.0 + 4.8.1)  - a compiler collection, which includes front ends for C, C++, Objective-C, Fortran, Java, Ada and libraries for these languages
* gromacs (ver. 4.6.1)  - a program package enabling to define minimalization of energy of system and dynamic behaviour of molecular systems
* ltrdigest (ver. 1.3.3 + 1.5.1)  - a collection of bioinformatics tools (in the realm of genome informatics)
* minia (ver. 1.5418)  - a short-read assembler based on a de Bruijn graph, capable of assembling a human genome on a desktop computer in a day
* mosaik (ver. 1.1 + 2.1)  - a reference-guided assembler
* mpich2  - an implementation of MPI
* mpich3  - an implementation of MPI
* mrbayes (ver. 3.2.2)  - a program for the Bayesian estimation of phylogeny
* multidis  - a package for numerical simulations of mixed classical nuclear and quantum electronic dynamics of atomic complexes with many electronic states and transitions between them involved
* mvapich (ver. 3.0.3)  - MPI implementation supporting Infiniband
* ncl (ver. 6.1.2)  - an interpreted language designed specifically for scientific data analysis and visualization
* nco (ver. 4.2.5-gcc)  - a tool that manipulates data stored in netCDF format
* numpy (ver. 1.7.1-py2.7)  - a Python language extension defining the numerical array and matrix type and basic operations over them (compiled with Intel MKL libraries support for faster performance)
* open3dqsar  - a software aimed at high-throughput chemometric analysis of molecular interaction fields
* openmpi (ver. 1.6)  - an implementation of MPI
* parallel (ver. 2013)  - a shell tool for executing jobs in parallel using one or more computers
* phycas  - an application for carrying out phylogenetic analyses; it's also a C++ and Python library that can be used to create new applications or to extend the current functionality
* phyml (ver. 3.0)  - estimates maximum likelihood phylogenies from alignments of nucleotide or amino acid sequences
* pyfits (ver. 3.1.2-py2.7)  - a Python library providing access to FITS files (used within astronomy community to store images and tables)
* python (ver. 2.7.5)  - a general-purpose high-level programming language
* qiime (ver. 1.7.0)  - a software package for comparison and analysis of microbial communities
* raxml (ver. 7.3.0)  - fast implementation of maximum-likelihood (ML) phylogeny estimation that operates on both nucleotide and protein sequence alignments
* R (ver. 3.0.1)  - a software environment for statistical computing and graphics
* samtools (ver. 0.1.18 + 0.1.19) - utilities for manipulating alignments in the SAM format
* scipy (ver. 0.12.0-py2.7)  - a language extension that uses numpy to do advanced math, signal processing, optimization, statistics and much more (compiled with Intel MKL libraries support for faster performance)
* sklearn (ver. 0.14.1-py2.7)  - a Python language extension that uses Numpy and Scipy to provide simple and efficient tools for data mining and data analysis
* snapp (ver. 1.1.1)  - a package for inferring species trees and species demographics from independent biallelic markers
* sox (ver. 14.4.1) - a command line utility that can convert various formats of audio files and apply to them various sound effects
* sparsehash (ver. 2.0.2) - an extremely memory-efficient hash_map implementation
* sratools (ver. 2.3.2)  - a collection of tools storing and manipulating raw sequencing data from the next generation sequencing platforms (using the NCBI-defined interchange format)
* stacks (ver. 1.02)  - a software pipeline for building loci from short-read sequences
* symos97 (ver. 6.0)  - an application for developing of dispersion sutudies for evaulating quality of atmosphere according to SYMOS'97 methodics (just for VSB-TU users)
* wrf (ver. 3.4.1)  - a next-generation mesoscale numerical weather prediction system designed to serve both operational forecasting and atmospheric research needs
* xcrysden (ver. 1.5)  - a crystalline and molecular structure visualisation program aiming at display of isosurfaces and contour
* xmipp (ver. 3.0.1)  - a suite of image processing programs, primarily aimed at single-particle 3D electron microscopy

S pozdravem Tomáš Rebok,
MetaCentrum + CERIT-SC.


Tom Rebok, Wed Nov 13 22:00:00 CET 2013

Pozvánka na seminář gridového počítání 2013

MetaCentrum zve všechny své uživatele na Seminář gridového počítání 2013, který se bude konat 25. listopadu 2013 v Kongresovém sále hotelu International, Husova 16, Brno. Seminář bude věnován přehledu informací a novinek o českém národním gridovém a cloudovém prostředí MetaCentrum a centru CERIT-SC (nový plánovací systém, nové výpočetní zdroje, výsledky spoluprací s uživatelskými skupinami...).

Dopolední blok semináře bude věnován nástroji ANSYS, který MetaCentrum spolu s centrem CERIT-SC nedávno zakoupilo v plošné licenci pro všechny své uživatele (Ansys Fluent, Ansys CFX a Ansys Mechanical). Prostředí je široce využitelné v různých vědních oborech, což bude spolu s informacemi o efektivním zpracování úloh v Ansys produktech nastíněno v plánované zvané přednášce.

Seminář je organizován projektem MetaCentrum sdružení CESNET a Centrem CERIT-SC za významné spoluúčasti našich partnerů ze společnosti SVS FEM s.r.o. (dodavatel prostředí ANSYS).

Více informací, program a přihlášky


Ivana Křenková, Mon Nov 04 15:36:00 CET 2013

Pozvánka na seminář CESNETu 21. 10. 2013

CESNET zve všechny uživatele MetaCentra na celodenní seminář o komplexu služeb, které poskytuje e-infrastruktura CESNET.

Seminář bude zaměřen na novinky, ale i praktické využití služeb e-infrastruktury a jejich začlenění do stávajících IT řešení na straně uživatele.V rámci semináře zazní krátká prezentace aktivity MetaCentrum. Pravidelný jednodenní seminář MetaCentra, který se bude věnovat výhradně službám MetaCentra, proběhne o měsíc později - 25. 11. 2013 v Brně.

Účast na semináři je bezplatná, ale je třeba se zaregistrovat! Podrobný program, formulář pro on-line registraci a všechny další informace naleznete na http://www.cesnet.cz/sdruzeni/akce/sluzby-2013/. Seminář bude veden v českém jazyce.

    Kdy: 21. října 2013 (9.30 – 17.00)
    Kde: Modrá posluchárna, Univerzita Karlova v Praze, Celetná 20, Praha 1

Více informací sdělí organizátor akce:

Gabriela Krčmařová
Oddělení komunikace a vnějších vztahů
CESNET, Zikova 4, 160 00 Praha 6
Pracoviště: Zikova 13a
tel.: 234680233


Ivana Křenková, Thu Oct 10 13:22:00 CEST 2013

Nové verze aplikací

Ke dnešnímu dni jsme do infrastruktury nainstalovali nové verze následujících aplikací:

Bližší informace viz dokumentační stránky aplikací.


Tom Rebok, Sun Sep 29 22:04:00 CEST 2013

Reorganizace front centra CERIT-SC

V reakci na časté výpadky elektřiny v Jihlavě v důsledku letních bouřek jsme přistoupili k reorganizaci front na clusterech centra CERIT-SC. Dlouhé fronty byly posíleny v Brně, v Jihlavě jsou v tuto chvíli povolené fronty do 4 dnů. S ustáváním bouřek a s minimalizací pravděpodobnosti dalšího výpadku budeme délku front postupně navyšovat.

Clustery v Jihlavě jsou na nezálohovaných okruzích kvůli nedostatečné kapacitě místních záložních zdrojů (při výstavbě serverovny nebylo s takovým příkonem počítáno). Posílení jejich kapacity by znamenalo netriviální investiční výdaje z prostředků Masarykovy univerzity, což je na pronajatém sále organizačně i administrativně velmi obtížné. V současné době se staví nové sály v Brně v rekonstruované budově Fakulty informatiky MU, kam tyto clustery v případě potřeby přesuneme (výhledově přelom 2014/15).

Omlouváme se za způsobené komplikace.


Ivana Křenková, Wed Aug 14 12:21:00 CEST 2013

Zpřístupnění HSM datových úložišť CESNET v Plzni

Datový prostor na hierarchickém úložišti v Plzni je nyní přímo přístupný ze všech strojů MetaCentra. Úložiště je připojeno v adresáři /storage/plzen2-archive/home/

Úložiště se hodí zejména pro odkládání archivních dat, se kterými se již aktivně nepracuje. Nepoužívejte jej pro živá data nebo pro data, nad kterými se bezprostředně provádějí výpočty. Úložiště je hierarchické, to znamená, že systém automaticky přesouvá déle nepoužívaná data na pomalejší média, v tomto případě magnetické pásky. Data jsou přitom stále pro uživatele viditelná v souborovém systému, jen je třeba počítat s tím, že přístup k dlouho nepoužitým datům může být pomalejší.

Uživatelé z virtuální organizace MetaCentrum mají k dispozici diskový prostor s kvótou 5 TB, starší data jsou přesouvána na pásky. Kvóta může být na požádání navýšena, případně lze přímo na úložišti ručně vyvolat migraci dat na pásky, což uvolní diskový prostor.

Dalším důsledkem speciálního režimu tohoto úložiště je, že nezapadá přesně do zvyklostí, jak se v MetaCentru pracuje s diskovými poli. Jeho specifika:

Dokumentaci k adresářové struktuře najdete na http://du.cesnet.cz/wiki/doku.php/navody/home-migrace-plzen/start
Kompletní dokumentaci úložiště na https://du.cesnet.cz/wiki/doku.php/navody/start

Úložiště je provozováno Oddělením datových úložišť CESNET, http://du.cesnet.cz. S dotazy a žádostmi na uživatelskou podporu se obracejte na podporu MetaCentra meta@cesnet.cz.

 

 


Ivana Křenková, Fri Jul 05 13:19:00 CEST 2013

Reorganizace souborových systémů v Praze

V souvislosti s reinstalací clusterů Luna (stroje luna1 a luna3) a Eru (eru1, eru2) došlo k reorganizaci diskových kapacit v Praze. Domovské adresáře (/home) byly přesunuty na nové diskové pole v Praze (/storage/praha1/home). Uživatelská data z původního domovského adresáře /home byla přesunuta do adresářů:

Všechny čtyři stroje jsou zpět v provozu, během testovacího období jsou povoleny jen kratší úlohy.

Návod pro přístup na datová úložiště viz wiki
https://wiki.metacentrum.cz/wiki/Přímý_přístup_na_datová_úložiště


Ivana Křenková, Tue Jul 02 13:19:00 CEST 2013

Nová verze aplikace gridMathematica: verze 9.0.1

Dnes jsme do infrastruktury doinstalovali novou verzi aplikace gridMathematica (rozšiřuje možnosti paralelního zpracování Wolfram Mathematica), a to ve verzi 9.0.1. Tato nová verze je využitelná stejnými mechanismy, jako verze předchozí -- více viz stránky aplikace gridMathematica.


Tom Rebok, Thu Jun 06 13:19:00 CEST 2013

Nové diskové pole centra CERIT-SC

Centrum CERIT-SC zprovoznilo nové diskové pole /storage/jihlava1-cerit/ (374 TB).
Pole slouží zároveň jako /home pro jihlavské clustery Zigur a Zapat. Narozdíl od ostatních diskových polí není prozatím zálohováno na pásky, ale pravidelnými snapshoty s archivací po dobu 14 dnů.

Diskové pole je umístěno v lokalitě Jihlava a je dostupné ze všech clusterů v MetaCentru. Účty na diskovém poli byly zřízeny automaticky všem členům MetaCentra, není třeba o ně nijak speciálně žádat. Podrobnější informace viz http://www.cerit-sc.cz/cs/Hardware/ a
https://wiki.metacentrum.cz/wiki/Souborové_systémy_v_MetaCentru


Ivana Křenková, Fri May 24 13:57:00 CEST 2013

Cluster minos je opět v provozu

Cluster minos.zcu.cz je po reinstalaci opět v plném provozu.

Petr Hanousek, Mon May 13 14:18:00 CEST 2013

Nové výpočetní clustery centra CERIT-SC

Centrum CERIT-SC předává do provozu 2 clustery v lokalitě Jihlava:

Podrobnější informace najdete na http://www.cerit-sc.cz/cs/Hardware/.

Na obou clusterech je dočasně k dispozici malý lokální /home s omezenou kvótou. Cca do měsíce bude v lokalitě Jihlava zprovozněno diskové pole centra CERIT-SC. Pro větší data jsou na obou clusterech dostupné všechny svazky /storage.

Clustery jsou přístupny dávkovým způsobem přes Torque server centra CERIT-SC. Po dobu testovacího provozu budou na těchto uzlech spouštěny pouze kratší úlohy. Postup, jak na clusteru spustit úlohu a další informace najdete na http://www.cerit-sc.cz/cs/docs/.

Některé uzly budou dostupné rovněž v prostředí MetaCloud pro spouštění uživatelských obrazů operačního systému apod. Poměr přiřazení uzlů mezi Torque a MetaCloud budeme průběžně měnit podle aktuální potřeby.


Ivana Křenková, Fri May 03 13:57:00 CEST 2013

Zprovoznění clusteru Tarkil

Po výpadku na pražském sále Cesnetu, který jsme využili k upgradu OS na clusteru Tarkil, je tento cluster zpět v provozu. K dispozici jsou stroje tarkil[1-28].cesnet.cz a rovněž čelní uzel tarkil.cesnet.cz, nově s operačním systémem Debian 6.0. Kromě změny OS by se měly stroje chovat tak, jako před odstávkou.

Petr Hanousek, Thu Apr 25 13:57:00 CEST 2013

Pozvánka na PRACE a IT4Innovations Workshop

IT4I zve uživatele MetaCentra na pravidelný workshop "Přístup k výpočetním prostředkům a HPC službám pro Českou Republiku", který se koná 7. května v prostorách Podnikatelského inkubátoru Vysoké školy báňské - Technické univerzity Ostrava, Studentská 6202/17, místnost č. 332, 3. patro.

Tématem workshopu je jak získat výpočetní čas na superpočítačích infrastruktury PRACE a také nově na malém klastru, který bude od května tohoto roku provozovat IT4Innovations.
V odpoledním bloku přednášek zazní aktuální informace o budovaných e-Infrastrukturách CESNET a CERIT-SC se zaměřením na služby poskytované pro výpočetní komunitu.

Účast na workshopu je bezplatná a zváni jsou všichni zájemci o HPC a výkonné počítání. Bližší informace naleznete v programu. Registrovat se můžete do 3. května 2013.


Ivana Křenková, Thu Apr 25 13:57:00 CEST 2013

Zprovoznění clusteru Perian

Po nečekaném výpadku, způsobenému požárem v UKB MU, který jsme využili k upgradu OS na clusteru Perian, vracíme tento cluster zpět do provozu. Nyní by měly být k plánování úloh k dispozici stroje perian[1-56].ncbr.muni.cz včetně frontendu perian.ncbr.muni.cz, s operačním systémem Debian 6.0. Kromě povýšení operačního systému se změny dotknuly i domácího adresáře uživatelů. Ten je nyní nově namapován na /storage/brno2 stejně jako na clusteru skirit.ics.muni.cz. Data ze starého (lokálního) domácího adresáře naleznete v umístění /home/perian_home.


Petr Hanousek, Tue Apr 23 15:48:00 CEST 2013

Zabíjení úloh využívajících více prostředků než o kolik požádaly

Chtěli bychom Vás upozornit na skutečnost, že po roce rozesílání informativních e-mailů o překračování zažádaných limitů na paměť a procesory, zapínáme příští týden zabíjení úloh i na PBS serveru @arien (na PBS serveru @wagap je zabíjení úloh už delší dobu zapnuté).

Údaje o spotřebovaných zdrojích naleznete ve výpise qstat -f <jobID>
nebo v aplikaci PBSMon na webu http://metavo.metacentrum.cz/cs/state/personal

Prosíme, zkontrolujte si, jestli Vaše běžně zadávané úlohy dané limity nepřekračují.
Více informací najdete na wiki https://wiki.metacentrum.cz/wiki/Příčiny_nestandardního_skončení_úlohy.


Ivana Křenková, Tue Apr 23 15:48:00 CEST 2013

Nově přístupné aplikace

Podle uživatelských potřeb průběžně pracujeme na povyšování verzí a instalaci nových aplikací. Z poslední doby máme tyto nové moduly:
Na seznam všech aplikací a jejich popis se můžete podívat na uživatelské wiki.
Petr Hanousek, Fri Apr 12 10:40:00 CEST 2013

Pozvánka na PRACE letní školu v Ostravě

IT4Innovation zve členy MetaCentra na 5denní letní školu superpočítání s názvem

PRACE summer school 2013 - Framework for Scientific Computing on Supercomputers,

která se bude konat 17. - 21. 6. v Ostravě.

Detaily a přihlášky najdete na stránce letní školy.


Ivana Křenková, Tue Apr 09 22:51:00 CEST 2013

Nový HW v MetaCentru

MetaCentrum bylo rozšířeno o GPU cluster Gram + stroj Ramdal s 1 TB RAM

Režimu přístupu ke GPU:

Režim přístupu ke stroji s 1 TB RAM

Stroj Ramdal je přístupný ve zvláštním režimu, pokud máte zájem o jeho využití, kontaktujte nás na meta@cesnet.cz a uveďte zdůvodnění.


Ivana Křenková, Tue Jan 22 15:02:00 CET 2013

IT4I vyhlašuje Veřejnou grantovou soutěž

Superpočítačové centrum IT4Innovations vyhlašuje 1. kolo Veřejné
grantové soutěže, ve kterém bude rozděleno 4 750 000 core hours.

Příjem žádostí probíhá do 4. 3. 2013. Detailní informace, včetně
elektronického formuláře žádosti, naleznete zde:
http://www.it4i.cz/vypocetni-cas-verejny.php.

Do soutěže se mohou přihlásit zaměstnanci jiných akademických a
výzkumných institucí než IT4Innovations, které mají sídlo nebo pobočku v
České republice (jedná se i o zaměstnance VŠB-TUO, OU, OSU, UGN AV a
VUT, kteří neparticipují na projektu IT4Innovations). Dále osoby, které
získaly a/nebo se podílí na realizaci výzkumného grantu z veřejných
zdrojů České republiky. Pro oprávněnost žadatele není důležité
občanství.

Cílem grantových soutěží IT4Innovations je rozdělení výpočetního času s
ohledem na rozvoj a aplikaci superpočítačových metod, stejně jako na
přínos a užitek pro společnost. Veřejná grantová soutěž bude vypisována
dvakrát za rok. Nabídky budou procházet vědeckým, technickým a
ekonomickým hodnocením.

Pro zájemce z řad zaměstnanců IT4Innovations vyhlašujeme Interní
grantovou soutěž. Informace o ní naleznete zde:
http://www.it4i.cz/vypocetni-cas-interni.php.

V případě jakýchkoliv dotazů se, prosím, neváhejte obrátit na open.access.it4i@vsb.cz.

S pozdravem,
Branislav Jansík
Ředitel Superpočítačového centra IT4Innovations


Ivana Křenková, Wed Jan 09 08:34:00 CET 2013

Zprovoznění nového clusteru Hildor

MetaCentrum bylo rozšířeno o nový cluster (hildor[1-26].prf.jcu.cz)
http://metavo.metacentrum.cz/pbsmon2/resource/hildor.prf.jcu.cz

Cluster je umístěn na sále JU v Českých Budějovicích.

Specifikace každého ze 26 uzlů:

Účty na clusteru Hildor byly vytvořeny automaticky všem uživatelům
MetaCentra. Po dobu testovacího provozu bude cluster přístupný z front
short, normal a backfill.


Ivana Křenková, Fri Nov 30 08:34:00 CET 2012

Nový software v MetaCentru

V MetaCentru je k dispozici nová sada (komerčního) software:

Více informací o dostupném SW viz wiki


Ivana Křenková, Mon Nov 26 09:28:00 CET 2012

Pozvánka na PRACE a IT4Innovations Workshop

IT4I zve uživatele MetaCentra na workshop "Přístup k výpočetním prostředkům a HPC službám pro Českou Republiku", který se koná 6. listopadu v prostorách Podnikatelského inkubátoru Vysoké školy báňské - Technické univerzity Ostrava, Studentská 6202/17, místnost č. 332.

Workshop je určen zájemcům z řad akademické obce a výzkumu, kteří by v budoucnu rádi využili nejvýkonnější evropské HPC prostředky, včetně výpočetních kapacit IT4Innovations a PRACE. Na workshopu se rovněž představí CESNET a CERIT-SC.

Registrace probíhá do 2. listopadu 2012 na adrese http://www.it4i.cz/aktuality_121022.php#reg Účast na workshopu je bezplatná a zváni jsou všichni zájemci o HPC a superpočítačové technologie.

S pozdravem a přáním příjemného dne,
Mgr. Klára Janoušková, M.A.
Manažer pro vnější vztahy
IT4Innovations


Ivana Křenková, Wed Oct 24 13:25:00 CEST 2012

Rozšíření výpočetní a úložné kapacity centra CERIT-SC

Centrum CERIT-SC rozšiřuje výpočetní a úložné kapacity o
* 48 uzlů HD clusteru zegox[1-48].cerit-sc.cz -- každý uzel 2x6 CPU jader, 90 GB RAM, 2x600 GB pevný disk
* Nové diskové pole /storage/brno3-cerit/home/ (250 TB) -- narozdíl od ostatních diskových polí není toto pole zálohováno na pásky, ale pravidelnými tzvn. snapshoty s archivací po dobu 14 dnů
Cluster i diskové pole jsou umístěny v lokalitě Brno na sále ÚVT MU.
Účty vám byly zřízeny automaticky, není třeba o ně nijak speciálně žádat. Podrobnější informace viz http://www.cerit-sc.cz/cs/Hardware/.

Větší část clusteru (aktuálně 40 uzlů) je přístupná dávkovým způsobem přes Torque server centra CERIT-SC. Po dobu několika týdnů testovacího provozu budou na těchto uzlech spouštěny pouze kratší úlohy. Postup, jak na clusteru spustit úlohu a další informace najdete na http://www.cerit-sc.cz/cs/docs/.

Ostatní uzly jsou dostupné v prostředí MetaCloud (viz http://meta.cesnet.cz/wiki/Kategorie:Cloudy) pro spouštění uživatelských obrazů operačního systému apod. Poměr přiřazení uzlů mezi Torque a MetaCloud budeme průběžně měnit podle aktuální potřeby.

Zároveň upozorňujeme, že nejstarší diskové pole /storage/brno1/ je úplně plné, prosíme vlastníky velkého objemu dat, aby zvážili přes jejich části na některé z dalších diskových polí (všechna pole jsou dostupná ze všech čelních i výpočetních uzlů MetaCentra, v závorce využitelná kapacita):
* /storage/brno3-cerit/home/LOGIN (nové diskové pole centra CERIT-SC, 260 TB)
* /storage/brno2/home/LOGIN (druhé diskové pole v Brně, 110 TB)
* /storage/brno1/home/LOGIN (původní /storage/home v Brně, 85 TB)
* /storage/plzen/home/LOGIN (diskové pole v Plzni, 44 TB).
Více informací viz https://meta.cesnet.cz/wiki/Souborové_systémy_v_MetaCentru#Svazky_.2Fstorage

S přáním příjemného počítání,
Centrum CERIT-SC


Ivana Křenková, Tue Jul 17 13:22:00 CEST 2012

Rozšíření SMP clusteru centra CERIT-SC

Centrum CERIT-SC rozšiřuje výpočetní kapacity o dalších 12 uzlů SMP clusteru zewura[9-20].cerit-sc.cz. Uzly jsou velmi podobné stávajícím.

Specifikace každého ze 12 nových uzlů:
* 8 procesorů Intel E7-4860 (každý 10 jader, 2.26 GHz)
* 512 GB RAM
* 12x 900GB pevné disky, formátovány v RAID-5 použity pro systém i scratch, celková užitná kapacita 9.9 TB
* vlastník CERIT-SC
* lokalita Brno, sál ÚVT MU
Podrobnější informace najdete na http://www.cerit-sc.cz/cs/Hardware/.

Účty na nových uzlech clusteru vám byly zřízeny automaticky, není třeba o ně nijak speciálně žádat. Úlohy zádávané do dávkového systému budou na nové uzly směřovány automaticky. Postup, jak na něm spustit úlohu, informace o připojených discích apod. najdete na http://www.cerit-sc.cz/cs/docs/. S veškerými připomínkami, dotazy, hlášením problémů atd. se prosím obracejte na adresu support@cerit-sc.cz.

S přáním příjemného počítání,
Centrum CERIT-SC


Ivana Křenková, Fri Jun 08 13:20:00 CEST 2012

Reorganizace souborových systémů v Plzni

V souvislosti s dříve avizovaným rozšířením úložných kapacit v MetaCentru došlo k reorganizaci úložných kapacit v Plzni:

* domovské adresáře z nympha:/home (již nyní sdílené s clustery minos a konos) byly přesunuty na nové diskové pole
* všechny plzeňské stroje {nympha,minos,konos,ajax} sdílí nyní tento /home, k dispozici je zda cca 45 TB volného místa
* tento adresář je zároveň dostupný na všech strojích metacentra v /storage/plzen1/home
* data z konos:/home byla již dříve nakopírována na /storage/brno1/home/LOGIN/konos_home
* data z ajax:/home jsou k dispozici na /storage/plzen1/home/LOGIN/ajax_home
* standardní kvóta pro /storage/plzen1/: 1 TB

Dále jsou nově na všech strojích v MetaCentru (s vlastností 'nfs4') dostupné následující svazky:

* /storage/brno1/home/LOGIN (storage-brno1.metacentrum.cz,smaug1.ics.muni.cz)
* /storage/brno2/home/LOGIN (storage-brno2.metacentrum.cz,nienna1|nienna2|nienna-home.ics.muni.cz)
* /storage/plzen1/home/LOGIN (storage-plzen1.metacentrum.cz, storage-eiger1|storage-eiger2|storage-eiger3.zcu.cz)

Data na všech třech diskových polích jsou pravidelně zálohována.

Stávající označení svazku /storage/home/ bude fungovat jen po přechodnou dobu. Používejte místo něj /storage/brno1/home/

--------------------------------------------------------
POZOR
--------------------------------------------------------
Na /storage/brno1/ dochází místo, prosíme, zvažte přesun některých svých dat na nová disková pole v Brně a Plzni.
--------------------------------------------------------


Ivana Křenková, Wed May 23 13:18:00 CEST 2012

Nový cluster Minos

MetaCentrum bylo rozšířeno o nový cluster (minos[1-49].zcu.cz) http://www.metacentrum.cz/cs/resources/hardware.html#minos

Cluster je umístěn na sále ZČU v Plzni.

Specifikace každého ze 49 uzlů:
* procesor: 2x 6-cores(12-threads) Xeon E5645 2.40GHz
* paměť: 24 GB
* disk: 2x 600 GB
* síť: 1 Gbps Ethernet Infiniband
* vlastník: CESNET

Cluster Minos je přístupný všem zájemcům z MetaCentra. Účty na tomto clusteru byly vytvořeny automaticky všem uživatelům MetaCentra. Po dobu testovacího provozu bude cluster přístupný z front short, normal a backfill.


Ivana Křenková, Thu Apr 26 13:16:00 CEST 2012

Spouštíme MetaCloud

MetaCentrum ve spoluráci s centrem CERIT-SC připravilo pro uživatele experimentální instalaci akademického výpočetního (HPC) cloudu.

MetaCloud je alternativou ke konvenčnímu spouštění úloh dávkovým systémem. Místo spouštění úlohy v prostředí jednoho operačního systému definovaného MetaCentrem, jsou spouštěny celé virtuální stroje pod plnou kontrolou uživatele. K vytvoření virtuálního stroje se použije tzv. obrazu - kompletní instalace libovolného operačního systému. Je možno použít některého z předpřipravených obrazů nebo si vytvořit obraz vlastní, podporujeme i obrazy používané na Amazon EC2.

Virtuální výpočetní prostředí je přístupné prostřednictvím dvou různých rozhraní -- uživatelsky přívětivé webové rozhraní OpenNebula Sunstone nebo rozhraní ONE tools pro přístup přes příkazovou řádku, pro pokročilé uživatele.

Zájemci z MetaCentra mohou požádat o experimentální cloudový účet na e-mailu cloud@metacentrum.cz.

HW zdroje
* cluster s 10 uzly (24 CPU a 100 GB RAM pro každý uzel)
* 40 TB sdíleného diskového prostoru (pouze přes rozhraní S3)
V případě zájmu jsme připraveni přidat do cloudového prostředí další zdroje.

Další informace a dokumentace je na wiki http://meta.cesnet.cz/wiki/Kategorie:Cloudy


Ivana Křenková, Thu Mar 22 13:14:00 CET 2012

PRACE and IT4Innovations Workshop: HPC User's Access

IT4I zve uživatele MetaCentra na workshop Přístup k výpočetním prostředkům a HPC službám pro Českou Republiku, který se koná 5. dubna, v prostorách Podnikatelského inkubátoru Vysoké školy báňské - Technické univerzity Ostrava (http://pi.cpit.vsb.cz/kontakt).

Cílem workshopu je seznámit českou výzkumnou komunitu s možnostmi využití nejvýkonnějších evropských HPC prostředků, které jsou sdruženy do celoevropské HPC infrastruktury PRACE. V rámci programu bude představena výzkumná infrastruktura PRACE a její hlavní výpočetní systémy. Prezentovány budou základní služby této infrastruktury, jako je přístup k výpočetním zdrojům a školící a vzdělávací aktivity. Důraz bude kladen na možnosti dosažení a využití těchto služeb uživateli z ČR. Více detailů naleznete na stránce http://www.it4i.cz/aktuality_120315.php. Účast na workshopu je bezplatná a zváni jsou všichni zájemci o HPC a superpočítačové technologie.

V případě jakýchkoliv dotazů nás neváhejte kontaktovat (klara.janouskova@vsb.cz; 733 627 896).

S pozdravem a přáním příjemného dne,
Mgr. Klára Janoušková, M.A.
Manažer pro vnější vztahy
IT4Innovations

Vysoká škola báňská – Technická univerzita Ostrava
17. listopadu 15/2172
708 33 Ostrava-Poruba

Mob.: 420 733 627 896
Tel.: 420 597 329 088
e-mail: klara.janouskova@vsb.cz
web: www.IT4I.cz


Ivana Křenková, Mon Mar 19 13:12:00 CET 2012

Nový matematický software

Pro uživatele MetaCentra jsme nově pořídili následující aplikace nebo jejich rozšíření:
Matlab (http://meta.cesnet.cz/wiki/Matlab)
* nové vývojové toolboxy:
Matlab Compiler, Matlab Coder, Java Builder
* navýšení počtu licencí toolboxů:
Bioinformatics Toolbox (10 licencí), Database Toolbox (9),
Distributed Computing Toolbox (15)
Licence je přístupná všem uživatelům MetaCentra pro akademické použití.

Maple (http://meta.cesnet.cz/wiki/Maple)
* 30 nových licencí Maple 15
Licence je přístupná všem uživatelům MetaCentra pro akademické použití.

gridMathematica (http://meta.cesnet.cz/wiki/GridMathematica)
* 15 nových licencí programu gridMathematica
Rozšíření síťové instalace programu Mathematica na některých univerzitách.

V letošním roce budeme nakupovat další programové vybavení a rovněž vývojové prostředí (např. PGI a Intel). Hledáme náměty na další aplikační software, který má potenciál využití větší skupinou uživatelů.
Náměty prosím posílejte na meta@cesnet.cz.


Ivana Křenková, Wed Feb 15 13:10:00 CET 2012

Nový SMP cluster Mandos

MetaCentrum bylo rozšířeno o nový SMP cluster (mandos[1-14].ics.muni.cz) tvořený 14 uzly po 64 CPU jádrech ve sdílené paměti. Podrobnější informace najdete na stránce http://metavo.metacentrum.cz/pbsmon2/resource/mandos.ics.muni.cz Cluster je umístěn na sále ÚVT v Brně.

Specifikace každého ze 14 uzlů:
* procesor: 4x AMD Opteron 6274 (celkem 64 jader, takt 2.5GHz)
* paměť: 256 GB
* disk: 870GB scratch lokální, 27TB scratch sdílený s ostatními mandosy
* síť: ethernet 1Gb/s, Infiniband (mezi mandosy) 40Gb/s
* vlastník: CESNET

Cluster Mandos je přístupný všem zájemcům z MetaCentra. Účty na tomto clusteru byly vytvořeny automaticky všem uživatelům MetaCentra s účtem na clusteru Skirit.


Ivana Křenková, Mon Feb 13 13:04:00 CET 2012

Rozšíření úložné kapacity v MetaCentru

Úložné kapacity (NFSv4) v MetaCentru budou v nejbližší době rozšířeny o dvě nová disková pole v Brně a Plzni.

Nově budou dostupné následující svazky (v závorce dostupná kapacita):

Pozor: stávající označení svazku /storage/home/ bude fungovat jen po přechodnou dobu.

Zároveň dojde ke změně svazků /home v Brně a Plzni

Přesun domovských adresářů si vyžádá odstavení všech dotčených výpočetních uzlů umístěných na sále ÚVT v Brně a následně v Plzni. O datu přesunu budete informováni.


Ivana Křenková, Wed Feb 01 17:02:00 CET 2012

Zpřístupnění clusteru centra CERIT-SC

Jsem rád, že k vánočnímu přání mohu přidat i jeden splněný slib. Centrum CERIT-SC dává uživatelům MetaCentra k dispozici první výpočetní cluster.

Cluster tvoří 8 uzlů po 80 jádrech CPU ve sdílené paměti, podrobnější informace najdete na http://www.cerit-sc.cz/cs/Hardware/.

Účty na clusteru vám byly zřízeny automaticky, není třeba o ně nijak speciálně žádat. Cluster je obsluhován vlastním serverem dávkového systému Torque. Postup, jak na něm spustit úlohu, informace o připojených discích apod. najdete na http://www.cerit-sc.cz/cs/docs/.

Centrum CERIT-SC je do značné míry experimentální infrastrukturou, nikoli jen prostředím pro rutinní výpočty, proto uvítáme a budeme vstřícní k námětům na zajímavé nestandardní použití těchto zdrojů.

S veškerými připomínkami, dotazy, hlášením problémů atd. se prosím obracejte na adresu support@cerit-sc.cz.


Aleš Křenek, CERIT-SC, Fri Dec 23 17:20:00 CET 2011