Accueil > Équipes > Dynamique des Fluides Astrophysiques > Boris Dintrans > La grappe de calcul du LATT

 

La grappe de calcul du LATT

Par Boris Dintrans - 25/04/2013

 

LA GRAPPE DE CALCUL PLEIADES

Présentation


Pleiades est une grappe de calcul Linux, constituée de :
  • 1 frontale bi-pro 2x2Ghz et 2GB RAM
  • 15 noeuds de calcul à 2.2Ghz et 1.5GB RAM
  • 2 disques de 68GB : /home1et /home2 (quota : 5GB/utilisateur) 
  • 1 disque de 135 GB : /workdir (espace de travail temporaire sans quota)
  • OS : Linux Fedora1, avec un noyau patché OpenMosix 2.4.24
  • interconnexion réseau à 100 Mb/s

OpenMosix : le principe du "load-balancing"

Pleiades est un cluster (grappe en français) basé sur l’outil OpenMosix. OpenMosix offre à Linux une solution de clustering intéressante, basée sur la méthode du "load-balancing". L’idée est la suivante : nous disposons d’un cluster composé de machines appelées noeuds (node en anglais). Imaginons qu’à un instant donné, un noeud ait à exécuter plusieurs tâches demandant un temps CPU important, alors que ses voisins sont complétement inactifs : openMosix va alors prendre la décision de migrer certaines tâches sur les noeuds inactifs du cluster, afin d’équilibrer au mieux la charge totale sur tous les noeuds. La migration est totalement transparente et la tâche ne sait pas qu’elle a été migrée (et n’a d’ailleurs pas besoin de le savoir !).
Ceci dit, rappelez-vous qu’OpenMosix n’est pas un système SMP, c’est-à-dire que chaque noeud ne voit que sa propre mémoire. Donc une application ne pourra pas être découpée automatiquement sur plusieurs noeuds, i.e. OpenMosix est une architecture à mémoire distribuée et non partagée. Votre application sera juste migrée sur le noeud inactif le plus rapide. Autrement dit, la grappe est une machine idéale pour faire du parallélisme de tâches, qui consiste à faire tourner la même application un très grand nombre de fois (e.g. avec différents paramètres d’input) : vous lancez par exemple 15 fois votre application sur la frontale et OpenMosix se chargera de faire migrer automatiquement ces 15 jobs vers des noeuds disponibles. Résultat : c’est comme si vous aviez 15 PC à disposition pour faire tourner votre code 15 fois en même temps.
Un petit script d’illustration du "load-balancing" est disponible sur la frontale : /usr/local/bin/openmosix_test.sh. Lancez le et vous verrez comment OpenMosix migre automatiquement 5 jobs identiques.
Note : pour les puristes, il est malgré tout possible de faire du "vrai" parallélisme du type MPI, via les commandes classiques lamboot, mpirun, etc..., mais ces jobs parallèles ne sont pas gérés par OpenMosix.

 

Logiciels installés

L’ensemble des programmes suivants sont diponibles sur pleiades :
  • compilateurs : GNU Fortran ou Intel Fortran (version 8.1)
  • f77 —> g77 ou ifort
  • f90 —> ifort
  • C —> gcc 
Les librairies suivantes sont également disponibles :
  • SCISOFT5.3
  • PVM3.4
  • LAM/MPI (v6.5.9)
  • LAPACK, BLAS
  • PGPLOT
  • Intel Math Kernel Library (v7.2.1),...

Pour les plots sur la frontale :
  • IDL (v5.4)
  • MATLAB (v7.01)

Accès au cluster

L’accès à pleiades se fait en utilisant le protocole ssh. Seule la connexion à la frontale est possible et vous arriverez toujours sur celle-ci, appelée node1. Les demandes d’ouverture de compte se font en envoyant un mail à l’adresse suivante : grappe [at] ast.obs-mip.fr.

 

Utilisation

Les 15 noeuds esclaves sont en service, numerotés de 2 a 16 (node2 à node16).
 

Quelques commandes utiles

  • mon pour voir l’état de la grappe
  • mosrun -F -l job pour lancer le job sur un noeud esclave libre
  • mtop pour suivre l’exécution du job

 

 

 

[Page Précédente] [Dans la même rubrique] [Sommaire]

 

 

Site du CNRS Logo OMP
Logo UPS
Logo INSU-CNRS

Annuaire

Rechercher

Sur ce site



Bibliotheque

Laboratoire Astrophysique de Toulouse - Tarbes (UMR5572)

CNRS (Midi-Pyrénées)

Univ. Paul Sabatier

Liens utiles

Accueil Imprimer Contact mail Plan du site Crédits