SUJET de THESE :
Contribution à la segmentation naturelle d’images : Application à une représentation multimodale d’images de peinture.
LIEU : LITIS, Equipe STI, Université de Rouen, Site Madrillet
Directeur de Thèse : Prof. Edwige Pissaloux ;
Co-encadrante : Katerine Romeo
Contact : Edwige.Pissaloux@univ-rouen.fr, Katerine.Romeo@univ-rouen.fr
Début de thèse : Année académique 2020/2021
Support financier : Projet ANR
Description du sujet :
Les personnes présentant une incapacité visuelle (PPIV) n’ont pas d’accès à l’art, et à la peinture en particulier. En effet, la peinture est actuellement traitée comme un art purement visuel, càd. un art qui doit générer des impressions esthétiques à partir de la vue seule. Or les PPIV ne peuvent pas voir, et il est nécessaire de rechercher des moyens alternatifs pour leur rendre l’art accessible (blindness gain [Cho 19]) et « dé-visualiser l’art » [Ear 16, Tho 18].
Les progrès récents réalisés par les technologies numériques, et des connaissances du sens de toucher, laissent envisager une nouvelle façon de percevoir l’art, multimodale : une combinaison ad hoc de segmentation naturelle d’images et de leur représentation haptique [Fur 14, Rom 18, Sou 20].
Le concept de segmentation naturelle, lancé par l’Université de Berkeley ([Arb 07, Arb 10], avec la création de bases d’images BSDS 300 et BSDS 500), est une segmentation d’une image (en contours/régions) est proche de celle effectuée par un expert humain et prenant en compte la sémantique de la scène imagée. Cependant, jusqu’à présent ce concept n’a pas trouvé son implantation effective.
Récemment, un détecteur de contours dit adaptatif a été proposé [Fro 14]. Bien qu’il offre des performances qualitatives supérieures aux autres détecteurs évalués (Sobel, Canny, Canny Couleur, Pyramidal), ce détecteur vise à améliorer l’affichage des contours superposés sur les images réelles en vue d’améliorer la perception de tous les éléments de l’image par le toucher.
Or les PPIV (et surtout les aveugles de naissance) ont besoin de percevoir le contenu des images par le biais d’un « gist visuel 2D », càd. un ensemble de repères perceptibles par le toucher et qui permettrait d’appréhender rapidement et globalement le contenu de la scène étudiée, l’ensemble donnerait un certain contenu cognitif et culturel à la peinture.
Il est donc nécessaire de rechercher une approche de segmentation d’images, proche de la segmentation naturelle, et permettant de comprendre rapidement les éléments les plus pertinents d’une scène et de les représenter haptiquement.
Objectifs :
Les objectifs sont de trois natures différentes : recherche théorique, conception de l’algorithme et validation expérimentale.
- L’élaboration d’une nouvelle méthode de segmentation (en contours et en régions). Les méthodes hiérarchiques (pyramidales) combinées ou non avec les méthodes fondées sur l’apprentissage automatique (e.g. (D)CNN, [Afi 19]), voire les méthodes bio-inspirées modélisées par un certain mélange de Gaussiennes (simulant les processus cognitifs de l’homme), ou les CRF (Champs aléatoires conditionnels qui prennent en compte le contexte d’un objet) devraient être étudiées, synthétisées et/ou améliorées. Par ailleurs, une méthode de simplification de contours [Rom 18] adaptée à l’affichage des objets sur une tablette à retour de force F2T, du LITIS, doit être proposée. Finalement, un moyen d’assistance audio d’exploration de la scène représentée tactilement devrait être intégré.
Tels sont des objectifs théoriques de ce travail doctoral.
- Les méthodes proposées devront être intégrées dans le logiciel de F2T (des objectifs de conception et de réalisation) afin de prouver leur pertinence et utilité pour la population d’usagers visée.
- Des scenarios réalistes, voire réels, doivent être testés avec les utilisateurs finaux (les PPIV et les conservateurs de musées), et finalement intégrés dans le Guide Muséal Inclusif (IMG). Ce sont des objectifs de validation expérimentale. Il est fort probable que des résultats expérimentaux vont conduire à l’affinement de l’approche de segmentation proposée.
Compétences demandées :
- Bonne culture générale en informatique (Java, Python), en traitement d’images/vision, apprentissage.
- Connaissances en perception tactile
- Bonne culture générale en EEA
- Savoir travailler en groupe
- Être persévérant.
Documents à envoyer à l'appui de votre candidature :
- CV
- Notes de Master 1 et Master 2
- Les noms de deux personnes qui connaissent votre cursus académique
Tous les candidats retenus pour l'(e-)audition devront faire une présentation
- de leur formation académique
- de leur compréhension du sujet faisant une liaison avec leur formation académique
Références :
[Afi 19] Mouna Afif, Riadh Ayachi, Yahia Said, Edwige Pissaloux, Mohamed Atri, An Evaluation of RetinaNet on Indoor Object Detection for Blind and Visually Impaired Persons Assistance Navigation, Neural Processing Letters, 51, 2265–2279, 2020
[Arb 07] Arbelaez, P. et al., The Berkeley Segmentation Dataset and Benchmark, 2007, https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/
[Arb 10] Arbelaez, P. et al., Contour Detection and Hierarchical Image Segmentation, IEEE PAMI 2010.161
[Ear 16] Eardley, AF, Mineiro, C., Neves, J., Ride, P., Redefining Access: Embracing multimodality, memorability and shared experience in Museums, Curator: The Museum Journal 59 (3), 263-286, 2016
[Fro 14] Konik, H., Froissard, B., Dinet, E., Trémeau, A., Contribution of edges in augmented reality eyewear to assist visually impaired people in their mobility, Proc. of HCI : Universal Access in Human-Computer Interaction. Design for All and Accessibility Practice, Lecture Notes in Computer Science, Volume 8516, pp 182-191, 2014
[Fur 14], Furferi, R., Governi, L., Volpe, Y., Puggelli, L., Vanni, N., Carfagni, M., From 2D to 2,5D i.e. from paintings to tactile model, Graphical Models, 76, 706-723, 2014
[Tho 18] Thompson, H., « Blindness Arts » (co-ed. V. Warne), Disability Studies Quarterly, vol. 38, no.3, 2018
[Sou 20] A. Souradi, C. Lecomte, K. Romeo, S. Gay, M-A. Rivière, A. Elmoataz, E. Pissaloux, Towards the tactile discovery of cultural heritage with multi-approach segmentation, ICISP 2020, Image and Signal Processing, Ed. A. El Moataz, D. Mammass, A. Mansouri, F. Nouboud, Springer LNCS 12119, p14-23, June 4-6, 2020
[Rom 18] K. Romeo, M. Chottin, P. Ancet, C. Lecomte, E. Pissaloux. Simplification of Painting For Tactile Perception by Visually Impaired Persons. ICCHP 2018, 16th Int. Conf. Computers Helping People with Special Needs, Linz, Austria, July 11-13, Springer, p251-257, 2018
