Axe de recherche ATOLL

Objectif scientifique


Cet axe de recherche est centré sur le problème de l'appariement entre images 2D/3D (image optique, LiDAR), étape centrale pour de nombreux problèmes nécessitant la comparaison d'une image (ou partie d'image) avec un modèle, avec une image géolocalisée, avec un ensemble d'images, etc. Les principaux objectifs sont leur interprétation (de la détection/reconnaissance d'objets, compréhension de scène à la détection de changements), leur indexation à large échelle et l'estimation précise de pose. Plus précisément, nous nous focalisons actuellement sur deux sous-axes :

  • La description des contenus : il s'agit de l'étude de méthodes de description de bas niveau (points d'intérêt, segments, régions, plans, cartes de saillance, etc.) comme de plus haut niveau (objets sémantiques, amers visuels tels que des panneaux, marquages routiers, etc.), en 2D et en 3D. On s'intéresse à l'enrichissement de ces descripteurs, de manière à améliorer à la fois leur représentativité et leur robustesse. Les niveaux d'invariance/robustesse considérés sont l'invariance géométrique et photométrique mais aussi, de manière plus originale, l'invariance multi-date et l'invariance multi-source, afin de pouvoir aussi traiter et comparer des données acquises dans des conditions différentes et/ou à des moments différents. A la description des contenus est aussi associée leur comparaison, par la mise en place de mesures de similarité dédiées ; nous étudions également comment modéliser l'incertitude dans la représentation et dans l'appariement, de manière à permettre la propagation de cette information dans la chaîne de traitement et ainsi mieux quantifier la précision des résultats obtenus.

  • L'indexation dans le cadre du big data : ce sous-axe concerne le passage à l'échelle des approches de description des contenus comme de l'appariement et de la recherche dans ces contenus. Plusieurs sujets de recherche complémentaires sont considérés : l'étude amont de cartes de saillance dans les données 2D/3D permettant de réduire le champ d'analyse, l'étude de méthodes logicielles d'accès rapide aux données (structures index multidimensionnelles centralisées et distribuées) et aussi l'emploi de solutions hardwares dédiées (cartes accélératrices dédiées, SGBD distribués) par le biais de collaborations avec des partenaires académiques et industriels du domaine. Indexer les images par une description de contenu permet de retrouver une image (ou partie d'image) dans un ensemble d'images, par similarité de contenu, et de nombreuses applications reposent sur ce paradigme, par exemple la géolocalisation d'une image à partir de son appariement avec les images géolocalisées d'un référentiel.

  • De manière non exhaustive, les principales applications auxquelles nous intéressons actuellement sont :

    • La localisation basée image très précise de données non géolocalisées, faiblement géolocalisées (dispositifs nomades grand public) ou victimes du canyon urbain (masques GPS fréquents en milieu urbain dense), notamment pour l'aide à la navigation et la remontée d'information participative à bas coût ;

    • L'accès à l'information dans les grands volumes 2D/3D pour la mise en relation et la valorisation de contenus de différentes natures, comme par exemple le référentiel STEREOPOLIS avec des photographies de rues anciennes provenant de fonds culturels de musées.



    Projets


  • ALEGORIA : structurAtion et vaLorisation du patrimoinE géoGraphique icOnogRaphIque démAtérialisé (ANR 2017)
  • pLaTINUM : Cartographie Long Terme pour la Mobilité Urbaine (ANR 10/2015 - 03/2019)
  • POEME : Espace immersif pour l'exploration de contenus photographiques (ANR CONTINT 2011, 04/2013-03/2016)
  • THINGS2Do : THIN but Great Silicon 2 Design Objects (appel européen KET ENIAC EER 2013-2, 2014-2017)
  • Liste des projets


    Thèses MATIS sur le sujet


    • 2017, Neelanjan Bhowmik :
      Multi-descriptor retrieval in digitalized photographs collections
      Dirigée par Valérie Gouet-Brunet et Gabriel Bloch.

    • 2017, Xiaozhi Qu :
      Landmark based localization: Detection and update of landmarks with uncertainty analysis
      Dirigée par Nicolas Paparoditis.
      Co-encadrement : Bahman Soheilian et Bertrand Cannelle.


    Thèses en cours


    • Kamel Guissous (depuis 2015) :
      Saillance visuelle en imagerie urbaine
      Dirigée par Valérie Gouet-Brunet.

    • Nathan Piasco (depuis 2016) :
      Vision-based localization with discriminative features from heterogeneous visual data
      Dirigée par Cédric Demonceaux (Le2i) et Valérie Gouet-Brunet.
      Co-encadrement : Dro Désiré Sidibé (Le2i).


    Publications récentes


    N. Piasco, D. Sidibé, C. Demonceaux, V. Gouet-Brunet. A Survey on Visual-Based Localization: On the Benefit of Heterogeneous Data. Pattern Recognition, Volume 74, February 2018, pp.90-109.

    N. Bhowmik, V. Gouet-Brunet, L. Wei, G. Bloch. Adaptive and optimal combination of local features for image retrieval. International Conference on Multimedia Modeling (MMM), Reykjavik, Iceland, January 4-6, 2017.

    N. Bhowmik, L. Weng, V. Gouet-Brunet, B. Soheilian. Cross-domain Image Localization by Adaptive Feature Fusion. Joint Urban Remote Sensing Event (JURSE), Dubai, UAE, March 6-8, 2017.

    N. Piasco, D. Sidibé, V. Gouet-Brunet, C. Demonceaux. Localisation Basée Vision : de l’hétérogénéité des approches et des données. ORASIS - Journées francophones des jeunes chercheurs en vision par ordinateur, Colleville-sur-Mer, France, Juin 2017.

    A. Abou-Elailah, I. Bloch, V. Gouet-Brunet. Unsupervised detection of ruptures in spatial relationships in video sequences based on log-likelihood ratio. Pattern Analysis and Applications, 2017.



    Toutes les publications MATIS sur le sujet

    Site internet de la recherche à l'IGN