Accueil > Équipes > Dynamique des Fluides Astrophysiques > Boris Dintrans > Le cluster OMP de l’IRAP/GET/LA

 

Le cluster OMP de l’IRAP/GET/LA

Par Boris Dintrans - 26/03/2014

 

Demande d’ouverture de compte

Cette demande se fait via l’interface web suivante : interface.

Description matérielle du cluster

Cette grappe de calcul est partagée avec le GET et hébergée dans la salle machines du LA (installation/administration : Didier Gazen, LA). Elle est constituée de 64 coeurs de calcul / 64 Go de RAM répartis sur :

  • 4 noeuds bi-pro quadcore AMD Opteron 2378 2.4Ghz / 8Go de RAM / 512 Ko de cache (noeuds n301 à n304).
  • 4 noeuds bi-pro quadcore INTEL Xeon E5345 2.33 GHz / 8 Go de RAM / 4 Mo de cache (noeuds n305 à n308).

L’utilisateur a uniquement accès à la frontale OMPFRONT qui est un bi-pro AMD Opteron 252 2.6Ghz / 8 Go de RAM / 1 Mo de cache.
Au niveau de l’espace disque, chaque utilisateur dispose d’un espace HOME sur le disque /home3 avec un quota de 6 Go, et qui est vu par les huit noeuds. Pour les calculs, chaque noeud a aussi son propre disque /workdir temporaire de 250 Go.

Connexion au cluster

Accès SSH via le firewall TAO du LA

Chaque compte de l’IRAP est dénommé par latt_XXX alors que chaque compte du GET est dénommé par lmtg_XXX, où XXX est le login utilisateur (ex : latt_bd pour mon compte Boris Dintrans de l’ex-LATT). On accède par SSH à la frontale OMPFRONT en passant par le firewall TAO du LA via le port 33100 :

LATT: ssh -p 33100 latt_XXX@tao.aero.obs-mip.fr

LMTG: ssh -p 33100 lmtg_XXX@tao.aero.obs-mip.fr

Pour simplifier l’accès, ajouter les trois lignes suivantes à votre fichier $HOME/.ssh/config qui est sur votre PC :


Host ompfront
 User latt_XXX
 Hostname tao.aero.obs-mip.fr
 Port 33100
 ForwardX11 yes

et vous pourrez simplement vous connecter via ssh ompfront.

Initialisation des variables d’environnement

Il faut ajouter les lignes suivantes dans votre fichier $HOME/.bashrc pour utiliser correctement l’utilitaire de batch SLURM :


# SLURM
export PATH=$PATH:/usr/local/slurm/bin
export MANPATH=$MANPATH:/usr/local/slurm/share/man
export SQUEUE_FORMAT="%.7i %.9P %.8j %.8u %.8T %.9M %.9l %.6D %.6C %R"
# ATTENTION : commenter ci-dessous si utilisation de Open-MP
export SLURM_CPU_BIND=quiet,cores
# Compilateur fortran d'Intel : version 10.1.015 ou 11.0.83
/opt/intel/fce/10.1.015/bin/ifortvars.sh (pour la version 10.1.015)
/opt/intel/Compiler/11.0/083/bin/ifortvars.sh intel64 (pour la version 11.0.83)

Utilisation du système de batch SLURM

L’OS qui administre la grappe est Bproc (Beowulf Distributed Process Space) et est couplé avec le gestionnaire de batch SLURM (Simple Linux Utility for Resource Management). Ce système de batch a été organisé en trois queues de soumission :

Nom de la queue Nbre maximum de noeuds Nbre maximum de coeurs Temps d’exécution maximum (hr)
inter 2 16 1
work 8 64 48
long 4 32 480

Voici ci-dessous quelques commandes utiles SLURM pour lancer un job depuis la frontale :

  • sbatch : soumission d’un job
  • scancel : destruction d’un job
  • squeue : suivi d’un job

Exemple : on soumet le script job.sh sur la queue work avec 4 coeurs d’un même noeud pendant 12h :


sbatch -p work -N1 -n4 ./job.sh

avec job.sh :


#!/bin/sh
#SBATCH --time=12:00:00
#SBATCH --job-name=test
printenv | grep SLURM
./run.csh

Pour suivre l’exécution du job, on utilise la commande SLURM squeue :


squeue -l -u latt_XXX

où latt_XXX correspond à votre login. On peut aussi utiliser la commande sps pour voir son job tourner :


sps 301-308 aux

Vous trouverez plein d’autres exemples avec SLURM sur Google.

Logiciels installés sur la frontale OMPFRONT

Compilateurs Fortran et C

  • Intel Fortran et C : ifort v10.1.015 ou v11.0.083 et icc v11.0.083.
  • GNU Fortran et C : gfortran et gcc v4.4.1.

Librairies scientifiques

  • parallèle Open MPI. Trois versions ont été compilées en fonction du choix des compilateurs Fortran/C et sont disponibles dans /usr/local. Le choix se fait en ajoutant dans votre fichier $HOME/.bashrc l’une des variables OMPIROOT suivantes :

Compilation avec gcc + gfortran : export OMPIROOT=/usr/local/open-mpi-142-gfortran

Compilation avec gcc + ifort 10 : export OMPIROOT=/usr/local/open-mpi-142-ifort10

Compilation avec gcc + ifort 11 : export OMPIROOT=/usr/local/open-mpi-142-ifort11

en n’oubliant pas de complèter avec les lignes ci-dessous quelque soit la version choisie :


export PATH=$OMPIROOT/bin:$PATH
export LD_LIBRARY_PATH=$OMPIROOT/lib:$LD_LIBRARY_PATH
export MANPATH=$OMPIROOT/share/man:$MANPATH

  • BLACS (Basic Linear Algebra Communication Subprograms) et SCALAPACK.
  • version monoprocesseur de LAPACK et BLAS. Attention : si vous voulez utiliser LAPACK avec python, il faut correctement initialiser la variable d’environnement LD_LIBRARY_PATH en ajoutant la version ATLAS de cette librairie, soit


export LD_LIBRARY_PATH=/usr/lib64/atlas:${LD_LIBRARY_PATH}

Commandes SLURM utiles

  • renseignements sur l’état des partitions et des noeuds : sinfo.
  • renseignements sur l’état des jobs dans la file d’attente : squeue.
  • voir : man sinfo et squeue pour des exemples d’utilisation.
  • allocation, exécution : salloc, srun et sbatch.
  • annulation de job : scancel.
  • voir : man salloc, srun, sbatch et scancel.

 

 

[Page Précédente] [Dans la même rubrique] [Sommaire]

 

 

Site du CNRS Logo OMP
Logo UPS
Logo INSU-CNRS

Annuaire

Rechercher

Sur ce site



Bibliotheque

Laboratoire Astrophysique de Toulouse - Tarbes (UMR5572)

CNRS (Midi-Pyrénées)

Univ. Paul Sabatier

Liens utiles

Accueil Imprimer Contact mail Plan du site Crédits