Déploiement de la plateforme de traitement des données phénotypage haut débit 4P sur l’infrastructure France Grilles. - Département Recherches Subatomiques
Poster De Conférence Année : 2019

Deploying the 4P high-throughput phenotyping data processing platform on the France Grilles infrastructure

Déploiement de la plateforme de traitement des données phénotypage haut débit 4P sur l’infrastructure France Grilles.

Eric David
  • Fonction : Auteur
  • PersonId : 1450887
Patrick Moreau
  • Fonction : Auteur
  • PersonId : 1205865
Antony Tong
  • Fonction : Auteur
  • PersonId : 1450889
Gallian Colombeau
  • Fonction : Auteur
  • PersonId : 1450890
Samuel Thomas
  • Fonction : Auteur
  • PersonId : 1450891

Résumé

The PHENOME-EMPHASIS [1] project, involving INRA, Arvalis and Terres-Inovia, aims to develop high-throughput phenotyping infrastructures at national level. Field acquisition systems (Unmanned Aerial and Ground Vehicules) carry various sensors (high-resolution RGB, multispectral and thermal infrared cameras, LIDARs) which generate a large volume of images that must be processed, stored and archived. The prototypes of the data processing chains developed by the UMT CAPTE [2] have been industrially produced and integrated into the Plant Phenotyping Processing Platform (4P). These modules encapsulated in Docker containers can be sequenced in workflows based on the Cromwell processing engine. Docker Swarm is used to distribute container execution on a cluster. The raw and processed data are stored on a distributed architecture based on iRODS technology. The 4P platform is connected to the PHIS information system [3] in order to store and organise the data produced by the PHENOME-EMPHASIS project, according to the FAIR principles. The 4P platform is fully integrated into the France Grilles infrastructure [4], a shared infrastructure for the calculation and storage of scientific data that provides different services to users. To deploy the 4P platform, we used the FG-CLOUD service for the application part and the FG-IRODS service for the persistent data storage part. The poster will detail the functionalities offered by the 4P platform, the technologies used and the technical infrastructure, in particular the integration within PHIS and France Grilles. [1] https://www.phenome-emphasis.fr/ [2] https://www6.paca.inra.fr/emmah/Programme-scientifique-et-Equipes/Equipe-CAPTE [3] http://www.phis.inra.fr [4] http://www.france-grilles.fr
Le projet PHENOME-EMPHASIS [1], associant l’INRA, Arvalis et Terres-Inovia ambitionne de développer des infrastructures de phénotypage haut-débit au niveau national. Les systèmes d’acquisitions au champ (drone, phenomobile) embarquent différents capteurs (caméras haute résolution RGB, multispectrales et infra-rouge thermique, LIDARs) qui génèrent un volume important d’images qu’il convient de traiter, stocker et archiver. Les modules de traitement prototypes créés par l’UMT CAPTE [2] ont été industrialisés et intégrés dans la plateforme de traitement des données 4P (Plant Phenotyping Processing Platform). Ces modules encapsulés dans des containeurs Docker peuvant être enchaînés dans des workflows s’appuyant sur le moteur de traitements Cromwell. Docker Swarm permet de distribuer l’exécution des conteneurs sur un cluster. Les données brutes et les traitements sont stockés sur une architecture distribuée basée sur la technologie iRODS. La plateforme 4P est connectée au système d’information PHIS [3] ayant pour objectif de stocker et d’organiser les données produites dans le cadre du projet PHENOME-EMPHASIS selon les principes FAIR. La plateforme 4P est pleinement intégrée à l’infrastructure France Grilles [4], une infrastructure mutualisée pour le calcul et le stockage de données scientifiques qui fournit différents services aux utilisateurs. Pour le déploiement de la plateforme 4P nous nous sommes appuyés sur le service FG-CLOUD pour la partie applicative et sur le service FG-IRODS pour la partie stockage persistant des données. Le poster détaillera les fonctionnalités offertes par la plateforme 4P, les technologies utilisées, l’infrastructure technique en particulier l’intégration avec PHIS et France Grilles. [1] https://www.phenome-emphasis.fr/ [2] https://www6.paca.inra.fr/emmah/Programme-scientifique-et-Equipes/Equipe-CAPTE [3] http://www.phis.inra.fr [4] http://www.france-grilles.fr

Domaines

Autre [cs.OH]
Fichier principal
Vignette du fichier
poster_paper134_poster_rev5246_20191028_104429.pdf (886.4 Ko) Télécharger le fichier
author_paper134_article_rev4915_20191011_114005.pdf (1.42 Mo) Télécharger le fichier
jres2019_article_134_720.mp4 (264.93 Mo) Télécharger le fichier
Origine fileSource_public_poster
Format typeAnnex_author
Format Vidéo

Dates et versions

hal-04807042 , version 1 (27-11-2024)

Licence

Identifiants

  • HAL Id : hal-04807042 , version 1

Citer

Vincent Nègre, Eric David, Philippe Burger, Romain Chapuis, Boris Adam, et al.. Déploiement de la plateforme de traitement des données phénotypage haut débit 4P sur l’infrastructure France Grilles.. JRES (Journées réseaux de l'enseignement et de la recherche ) 2019, Dec 2019, Dijon, France. 2019. ⟨hal-04807042⟩
0 Consultations
0 Téléchargements

Partager

More