Introduction
La plateforme SCIGNE propose un service de calcul à haut débit (high-throughput computing) reposant sur les technologies de grille de calcul. Les échanges de données entre les différents centres de calcul composants la grille EGI sont réalisés à l’aide de protocols spécifiques (SRM, XROOTD).
Ce document détaille l’utilisation de ces protocoles pour gérer vos données depuis votre station de travail, la plateforme SCIGNE ou les sites partenaires. Il remplace la précédente documentation détaillant l’utilisation des outils lcg-util (ces outils ne sont plus maintenus).
Les systèmes de stockage
Cette section présente les différents systèmes de stockage disponibles sur la plateforme SCIGNE.
DPM
La part la plus importante du stockage de la plateforme est disponible à travers le service DPM et différents protocoles (HTTP, SRM, XRootD).
Le système de stockage DPM (Disk Pool Manager) est composé d’un serveur de tête et d’un ensemble de serveurs de fichiers. Le serveur de tête centralise les requêtes d’accès aux fichiers. Les serveurs de fichiers stockent physiquement les fichiers. L’accès aux fichiers s’effectue en interrogeant le serveur de tête à l’aide des commandes détaillées dans ce document.
L’accès aux données est contrôlé par certificat. Il est donc nécessaire de posséder un proxy valide lors de l’utilisation de ce type de stockage.
iRODS
Une autre part du stockage est accessible à travers le logiciel iRODS. iRODS est un système de stockage évolué, disposant de fonctionnalités avancées permettant d’implémenter des plans de gestion de données. Une documentation dédiée est disponible pour ce service.
Gestion des données sur un serveur DPM
Cette section détaille la gestion des données stockées sur un serveur DPM.
Généralités
L’URL suivante est utilisée pour l’ensemble de cette section. Elle sera abrégée en ${SRM} :
$ export SRM="srm://sbgse1.in2p3.fr:8446/dpm/in2p3.fr/home/vo.scigne.fr"
Installation du client
Actuellement, les paquets ne sont disponibles que pour la distribution RedHat et ses dérivés. Les paquets sont disponibles dans le dépôt EPEL. Une fois ce dépôt disponible sur votre système, les outils gfal2 et dpm peuvent être rapidement installés avec :
$ yum install gfal2-util gfal2-all dpm
Lecture du contenu d’un répertoire
La commande gfal-ls permet de lister le contenu d’un répertoire. Le résultat de cette commande est similaire à celui de la commande ls. Dans l’exemple ci-dessous, remplacez :
$ gfal-ls ${SRM} EOST LIMH LIVE UMR7200
$ gfal-ls -l ${SRM} drwxrwx--- 1 48 50 0 Feb 6 2014 EOST drwxrwx--- 1 53 52 0 Feb 1 2013 LIMH drwxrwx--- 1 48 51 0 Apr 4 2015 LIVE drwxrwx--- 1 48 54 0 Mar 31 2011 UMR7200
Création d’un répertoire
La commande gfal-mkdir permet de créer un répertoire :
$ gfal-mkdir ${SRM}/lab/user/data
Copie d’un fichier
La commande gfal-copy permet de copier des données depuis ou vers un serveur DPM :
$ gfal-copy file://${PWD}/my_dataset.tar.gz ${SRM}/lab/user/data/my_dataset.tar.gz Copying file://${PWD}/my_dataset.tar.gz [DONE] after 2s
Vérification des droits d’un fichier
La commande dpns-getacl permet d’obtenir les permissions d’accès à un fichier ou à un dossier. Le chemin du fichier utilisé par cette commande est raccourci par rapport à la variable ${SRM}, mais il faut au préalable exporter la variable d’environnement DPNS_HOST :
$ export DPNS_HOST=sbgse1.in2p3.fr $ dpns-getacl /dpm/in2p3.fr/home/vo.scigne.fr/lab/user/data/my_dataset.tar.gz # file: /dpm/in2p3.fr/home/vo.scigne.fr/lab/user/data/my_dataset.tar.gz # owner: /O=GRID-FR/C=FR/O=CNRS/OU=LAB/CN=USER # group: vo.scigne.fr user::rw- group::rw- #effective:rw- other::r--
Modification des droits d’un fichier
La commande dpns-setactl permet de modifier les permissions d’accès à un fichier ou à un répertoire. Par défaut, les fichiers créés dans un répertoire héritent des permissions de ce répertoire. La commande suivante permet d’empêcher la consultation (lecture et écriture) à tout le monde, sauf au propriétaire et au groupe du fichier :
$ dpns-setacl -s u::6,g::4,o::0 /dpm/in2p3.fr/home/vo.scigne.fr/lab/user/data/my_dataset.tar.gz
$ dpns-getactl /dpm/in2p3.fr/home/vo.scigne.fr/lab/user/data/my_dataset.tar.gz # file: /dpm/in2p3.fr/home/vo.scigne.fr/lab/user/data/my_dataset.tar.gz # owner: /O=GRID-FR/C=FR/O=CNRS/OU=LAB/CN=USER # group: vo.france-grilles.fr user::rw- group::r-- #effective:r-- other::---
Suppression d’un fichier
La commande gfal-rm permet de supprimer un fichier sur le serveur DPM :
$ gfal-rm ${SRM}/lab/user/data/my_dataset.tar.gz
Suppression d’un répertoire
La commande gfal-rm -r permet de supprimer un répertoire (et son contenu) :
$ gfal-rm -r ${SRM}/lab/user/data
Documentation complémentaire
Ces liens proposent des références complémentaires pour approfondir la gestion des données sur la plateforme SCIGNE :