Novinky infrastruktury MetaCentrum & CERIT-SC

Novinky infrastruktury MetaCentrum & CERIT-SC

Obsah

1) Přechod na novou PBS a Debian12 — testování kompatibility SW
2) Dotazník ke službám MetaCentra / e-INFRA CZ
3) Změny v dostupnosti komerčních SW (Matlab, Mathematica)
4) Dostupná grafická prostředí (Galaxy, Chipster, OnDemand, Kubernetes/Rancher, JupyterNotebooks, Alphafold)
5) Stěhování dat z archivního úložiště na objektové úložiště

------------------------------------------------------------------


1) Přechod na novou PBS a Debian12 — testování kompatibility SW

Připravujeme přechod na novou PBS - OpenPBS. Stávající PBSPro servery budou v budoucnu odstaveny z provozu, protože nemohou přímo komunikovat s novými OpenPBS servery a utilitami. Zároveň s migrací na novou PBS probíhá upgrade OS: Debian11 —> Debian12.

Pro testovací účely jsme připravili nové OpenPBS prostředí pbs-m1.metacentrum.cz s novým frontendem zenith běžícím na OS Debian12:
    •    nový frontend zenith.cerit-sc.cz (alias zenith.metacentrum.cz) s OS Debian12
    •    nový OpenPBS server pbs-m1.metacentrum.cz
    •    home /storage/brno12-cerit/

Postupně bude nové prostředí doplňováno o další clustery.
Přehled strojů s Debian12: https://metavo.metacentrum.cz/pbsmon2/props?property=os%3Ddebian12
Seznam dostupných frontendů včetně aktuálního OS: https://docs.metacentrum.cz/computing/frontends/

Přístup k nové PBS je možný také z ostatních frontendů,  je však nutná aktivace modulu openpbs (module add openpbs).

Problémy s kompatibilitou některých aplikací s OS Debian12 průběžně řešíme rekompilací nových SW modulů. Pokud narazíte na problém u své aplikace, vyzkoušejte přidání modulu debian11/compat na začátek spouštěcího skriptu (module add debian11/compat). Pokud problémy přetrvávají (chybějící knihovny atd.), dejte nám vědět na meta(at)cesnet.cz.

Více informací najdete v dokumentaci https://docs.metacentrum.cz/tutorials/debian-12/ (postup migrace zde budeme upřesňovat).

 

2) Dotazník ke službám MetaCentra / e-INFRA CZ

Chtěli bychom Vám připomenout možnost sdílet s námi své zkušenosti s výpočetními službami velké výzkumné infrastruktury e-INFRA CZ, kterou tvoří e-infrastruktury CESNET, CERIT-SC a IT4Innovations. Prosíme o vyplnění dotazníku do 8. 3. 2024. Vaše odpovědi nám pomohou upravit naše služby tak, aby Vám lépe vyhovovaly.

Pokud jste již dotazník vyplnili, děkujeme Vám za to! Velmi si toho vážíme.
Dotazník je dostupný na adrese https://survey.e-infra.cz/compute

 

3) Změny v dostupnosti komerčních SW (Matlab, Mathematica)

Matlab

Získali jsme novou akademickou licenci pro 200 instancí Matlab 9.14 a novějšího (včetně široké škály toolboxů), pokrývající výpočetní prostředí MetaCentra, CERIT-SC i IT4Innovations.

Tato nová licence má přísnější podmínky než předchozí: lze ji používat pouze z IP adres MetaCenta/IT4Innovations, tj. nelze ji použít pro Matlab spuštěný na vašem počítači/univerzitní přednáškové místnosti.

Více informací: https://docs.metacentrum.cz/software/sw-list/matlab/

Mathematica

Od letošního roku již MetaCentrum nevlastní gridovou licenci SW Mathematica pro obecné využití v MetaCentru (dodavatel nedokázal nabídnout vhodný licenční model).

V současné době jsou licence Mathematica 9 omezeny pouze na členy UK a JČU, které mají vlastní licence pro své studenty a zaměstnance. Pokud máte vlastní (institucionální) licenci SW Mathematica, kontaktujte nás pro více informací na adrese meta(at)cesnet.cz.

Více informací: https://docs.metacentrum.cz/software/sw-list/wolfram-math/

 

4) Dostupná grafická prostředí a workflow (Chipster, Galaxy, OnDemand, Kubernetes/Rancher, Jupyter Notebooky, Alphafold)

Chipster

MetaCentrum pro své uživatele nově zpřístupnila vlastní instanci nástroje Chipster, dostupného na adrese https://chipster.metacentrum.cz/.

Chipster je open-source nástroj pro analýzu genomických dat. Jeho hlavním cílem je umožnit výzkumníkům a bioinformatickým odborníkům provádět pokročilé analýzy nad genomickými daty, jako jsou sekvenční data, mikročipy a RNA-seq. Zde jsou některé klíčové rysy Chipsteru:

Více informací: https://docs.metacentrum.cz/related/chipster/


Galaxy pro uživatele MetaCentra

Galaxy je otevřená webová platforma určená pro analýzu dat FAIR, původně v biomedicínském výzkumu, ale v současné době zahrnuje mnoho vědeckých oblastí. Pro uživatele MetaCentra jsme připravili dvě prostředí Galaxy pro obecné použití:

a) usegalaxy.cz

Obecný portál https://usegalaxy.cz/, který kopíruje funkčnost (zejména sadu dostupných nástrojů) celosvětových služeb (usegalaxy.org, usegalaxy.eu) a zároveň nabízí registrovaným uživatelům MetaCentra výrazně vyšší uživatelské kvóty (výpočetní i úložné). Zde jsou některé klíčové vlastnosti:

Více informací: https://docs.metacentrum.cz/related/galaxy/

b) RepeatExplorer Galaxy

Vedle obecně využitelné Galaxy nabízíme našim uživatelům specializovanou instanci Galaxy s nástrojem Repeat Explorer. Ke službě je potřeba se registrovat.

RepeatExplorer je výkonný nástroj pro zpracování dat, který je založen na platformě Galaxy. Jeho hlavním účelem je charakterizace opakujících se sekvencí v datech získaných ze sekvenování.  Klíčové vlastnosti:

Více informací: https://galaxy-elixir.cerit-sc.cz/


OnDemand

Open OnDemand https://ondemand.grid.cesnet.cz/ je služba, která uživatelům umožňuje přístup k výpočetním zdrojům přes webový prohlížeč v grafickém režimu. Uživatel může spouštět běžné úlohy PBS, získat přístup k frontend terminálům, kopírovat soubory mezi úložišti nebo spouštět několik grafických aplikací přímo v prohlížeči. Některé z funkcí:

Více nformací: https://docs.metacentrum.cz/software/ondemand/


Kubernetes/Rancher

Celá řada grafických aplikací je dostupná rovněž v Kubernetes / Rancher https://rancher.cloud.e-infra.cz/dashboard/ ve správě Centra CERIT-SC (Ansys, Remote Desktop, Matlab, RStudio, …)
 
Více informací: https://docs.cerit.io/


JupyterNotebooky

Jupyter Notebooks jsou prostředím „as a Service“ založeným na technologii Jupyter. Jedná se o nástroj, který je dostupný přes webový prohlížeč a umožňuje uživatelům kombinovat kód (zejména v jazyce Python), výstupy ve formátu Markdown, text, matematiku, výpočty a bohatý mediální obsah.
Uživatelé MetaCentra mohou využívat Jupyter Notebooks ve třech variantách:

a) v cloudu: Pro uživatele MetaCentra je dostupný Jupyter přes MetaCentrum Cloud Hub. Registrace není nutná, stačí se přihlásit pomocí svého Metacentrum účtu. Více informací: https://docs.metacentrum.cz/related/jupyter/

b) v Kubernetes: Jupyter lze také provozovat v Kubernetes clusteru. V tomto případě se přihlašuje také pomocí Metacentrum přihlašovacích údajů.  
Více informací: https://docs.cerit.io/docs/jupyterhub.html

c) jako aplikace v OnDemand
 https://ondemand.grid.cesnet.cz/


AlphaFold

AlphaFold je populární nástroj založený na umělé inteligenci, který slouží k predikci 3D struktury proteinů. Jeho revoluční přístup v oblasti biochemie a návrhu léčiv umožňuje přesněji předpovídat, jak se proteiny skládají do třídimenzionálních struktur. Opět jej nabízíme ve třech variantách:

a) Centrum CERIT-SC nabízí přístup k AlphaFold as a Service ve webovém prohlížeči (jako předpřipravený Jupyter Notebook)
Více informací: https://docs.cerit.io/docs/alphafold.html

b) v dávkových úlohách v OnDemand https://ondemand.grid.cesnet.cz/pun/sys/myjobs/workflows/new

c) v dávkových úlohách pomocí RemoteDesktop a předpřipravených kontejnerů pro Singularity

Více informací: https://docs.metacentrum.cz/software/sw-list/alphafold/

 

5) Stěhování dat z archivního úložiště v Ostravě (převzato od DU CESNET)

Archivní úložiště du4.cesnet.cz v MetaCentru připojené jako storage-du-cesnet.metacentrum.cz je již mimo záruku a vykazuje řadu technických problémů v mechanice páskové knihovny, což neohrožuje samotná uložená data, ale komplikuje jejich dostupnost. Kolegové z Datových úložišť CESNET připravují přesun stávajících dat na nový systém (Object Storage).

Nyní je potřeba co nejvíce utlumit provoz na tomto úložišti, prosíme proto

Pokud potřebujete zde uložená data k výpočtům, domluvte si prioritní přesun s kolegy na du-support(at)cesnet.cz
Pokud naopak zde máte uložená data, která již neplánujete používat ani stěhovat (například staré zálohy), prosíme, kontaktujte rovněž kolegy na du-support(at)cesnet.cz
 


Ivana Křenková, 4. 3. 2024