Axe de recherche ATOLL

Objectif scientifique


Cet axe de recherche est centré sur le problème de l'appariement entre images 2D/3D (image optique, LiDAR), étape centrale pour de nombreux problèmes nécessitant la comparaison d'une image (ou partie d'image) avec un modèle, avec une image géolocalisée, avec un ensemble d'images, etc. Les principaux objectifs sont leur interprétation (de la détection/reconnaissance d'objets, compréhension de scène à la détection de changements), leur indexation à large échelle et l'estimation précise de pose. Plus précisément, nous nous focalisons actuellement sur deux sous-axes :

  • La description des contenus : il s'agit de l'étude de méthodes de description de bas niveau (points d'intérêt, segments, régions, plans, cartes de saillance, etc.) comme de plus haut niveau (objets sémantiques, amers visuels tels que des panneaux, marquages routiers, etc.), en 2D et en 3D. On s'intéresse à l'enrichissement de ces descripteurs, de manière à améliorer à la fois leur représentativité et leur robustesse. Les niveaux d'invariance/robustesse considérés sont l'invariance géométrique et photométrique mais aussi, de manière plus originale, l'invariance multi-date et l'invariance multi-source, afin de pouvoir aussi traiter et comparer des données acquises dans des conditions différentes et/ou à des moments différents. A la description des contenus est aussi associée leur comparaison, par la mise en place de mesures de similarité dédiées ; nous étudions également comment modéliser l'incertitude dans la représentation et dans l'appariement, de manière à permettre la propagation de cette information dans la chaîne de traitement et ainsi mieux quantifier la précision des résultats obtenus.

  • L'indexation dans le cadre du big data : ce sous-axe concerne le passage à l'échelle des approches de description des contenus comme de l'appariement et de la recherche dans ces contenus. Plusieurs sujets de recherche complémentaires sont considérés : l'étude amont de cartes de saillance dans les données 2D/3D permettant de réduire le champ d'analyse, l'étude de méthodes logicielles d'accès rapide aux données (structures index multidimensionnelles centralisées et distribuées) et aussi l'emploi de solutions hardwares dédiées (cartes accélératrices dédiées, SGBD distribués) par le biais de collaborations avec des partenaires académiques et industriels du domaine. Indexer les images par une description de contenu permet de retrouver une image (ou partie d'image) dans un ensemble d'images, par similarité de contenu, et de nombreuses applications reposent sur ce paradigme, par exemple la géolocalisation d'une image à partir de son appariement avec les images géolocalisées d'un référentiel.

  • De manière non exhaustive, les principales applications auxquelles nous intéressons actuellement sont :

    • La localisation basée image très précise de données non géolocalisées, faiblement géolocalisées (dispositifs nomades grand public) ou victimes du canyon urbain (masques GPS fréquents en milieu urbain dense), notamment pour l'aide à la navigation et la remontée d'information participative à bas coût ;

    • L'accès à l'information dans les grands volumes 2D/3D pour la mise en relation et la valorisation de contenus de différentes natures, comme par exemple le référentiel STEREOPOLIS avec des photographies de rues anciennes provenant de fonds culturels de musées.



    Projets


  • DESCRiBE : Détection « à la volée » d'Evénements dans les SéquenCes vidéo par des méthodes structuRelles et BayEsiennes (ANR ASTRID 2012, 2013-2015)
  • POEME : Espace immersif pour l'exploration de contenus photographiques (ANR CONTINT 2011, 04/2013-03/2016)
  • THINGS2Do : THIN but Great Silicon 2 Design Objects (appel européen KET ENIAC EER 2013-2, 2014-2017)
  • Liste des projets



    Thèses en cours


    • Neelanjan Bhowmik (depuis 2013) :
      Multi-descriptor retrieval in digitalized photographs collections
      Dirigée par Valérie Gouet-Brunet et Gabriel Bloch.

    • Xiaozhi Qu (depuis 2013) :
      Landmark based localization: Detection and update of landmarks with uncertainty analysis
      Dirigée par Nicolas Paparoditis.
      Co-encadrement : Bahman Soheilian et Bertrand Cannelle.

    • Kamel Guissous (depuis 2015) :
      Saillance visuelle en imagerie urbaine
      Dirigée par Valérie Gouet-Brunet.

    • Nathan Piasco (depuis 2016) :
      Vision-based localization with discriminative features from heterogeneous visual data
      Dirigée par Cédric Demonceaux (Le2i) et Valérie Gouet-Brunet.
      Co-encadrement : Dro Désiré Sidibé (Le2i).


    Publications récentes


    N. Bhowmik, V. Gouet-Brunet, L. Wei, G. Bloch. Adaptive and optimal combination of local features for image retrieval. International Conference on Multimedia Modeling (MMM), Reykjavik, Iceland, January 4-6, 2017.

    N. Bhowmik, L. Weng, V. Gouet-Brunet, B. Soheilian. Cross-domain Image Localization by Adaptive Feature Fusion. Joint Urban Remote Sensing Event (JURSE), Dubai, UAE, March 6-8, 2017.

    N. Bhowmik, V. Gouet-Brunet, G. Bloch, S. Besson. Combination of image descriptors for the exploration of cultural photographic collections. Journal of Electronic Imaging, In press.

    A. Abou-Elailah, V. Gouet-Brunet, I. Bloch. Detection of Abrupt Changes in Spatial Relationships in Video Sequences. Pattern Recognition: Applications and Methods (revised selected Papers from ICPRAM 2015), Volume 9493 of Lecture Notes in Computer Science, pp.89-106, Fred, Ana, De Marsico, Maria, Figueiredo, Mário (Eds.).

    B. Soheilian, X. Qu, M. Brédif. Localisationa base d’amers visuels: Cartographie et mise en correspondance de marquages au sol et intégration dans LBA. in Actes de la journée Transports Intelligents. Congrès francophone de Reconnaissance des Formes et Intelligence Artificielle (RFIA), Clermont Ferrand, France, June 2016.



    Toutes les publications MATIS sur le sujet

    Site internet de la recherche à l'IGN