COmplétion de SURfaces par Intelligence Artificielle

Dans le projet COSURIA nous proposons de concevoir des méthodes à base de réseaux de neurones génératifs pour effectuer la complétion de la géométrie et de la couleur sur des maillages 3D colorés de scans de personnes.
Les algorithmes développés seront exploités dans le cadre de la consolidation de scans 3D de personnes afin de créer des avatars 3D pour la réalité étendue.

Plus de détails

Le projet COSURIA

Le projet COSURIA est un projet émergent du dispositif Normandie Recherche financé de Novembre 2023 à Novembre 2025.

Avec le développement des techniques d’acquisition 3D, les données 3D sous formes de surfaces 3D se sont très fortement démocratisées et de nouveaux champs applicatifs sont apparus : criminalistique numérique , patrimoine numérique, jumeaux numériques. Mais les verrours sont nombreux. En effet, quelque soit le processus d’acquisition 3D :

  • Les données sont imparfaites : trous, erreurs d’acquisition, éléments à supprimer.
  • La retouche de ces surfaces 3D prend un temps très long.
  • Les techniques existantes de complétion ne traitent que la géométrie et pas les couleurs.

L'objectif du projet est de développer des méthodes de complétion de à la fois la géométrie et la couleur dans des mailleurs 3D couleur.
Dans l'exemple ci-dessous une complétion a été effectuée pour supprimer les annotations d'un archéologue sur un scan 3D d'un artefact.

Détails sur les actions de recherche

Finançeurs

Le projet COSURIA est co-financé par l'union Européenne et la Régions normandie dans le cadre des projets émergents du programme Normandie Recherche.

Work-Packages

Gestion de projet

Réunions du projet, mise en place et maintenance du site web du projet.

Complétion de la géométrie des maillages 3D

Conception et mise en oeuvre

  • D’un auto-encodeur de maillages 3D
  • D’un GAN pour la complétion de la géométrie

Complétion de la couleur des maillages 3D

Conception et mise en oeuvre

  • D’un auto-encodeur de maillages 3D en couleur
  • D’un GAN pour la complétion conjointe géométrie et couleur

Applications à l'édition d'avatars 3D

Application des GANs conçus pour la complétion de la géométrie et de la couleur à des maillages 3D couleur de scans de personnes.

Nos réalisations

O. Lézoray, S. Bougleux

"Spiral patch exemplar-based inpainting of 3D colored meshes", International Conference on Pattern Recognition and Artificial Intelligence, Vol. LNCS to appear, 2024.

Équipe

Olivier LÉZORAY

Professeur des Universités à l'Université de Caen Normandie Porteur du projet COSURIA

Sébastien Bougleux

Maître de Conférences à l'Université de Caen Normandie Participant au projet COSURIA

Saqib Nazir

Post-Doctorant Participant au projet COSURIA

Contactez nous

GREYC UMR CNRS 6072, Équipe Image,
Batiment F - ENSICAEN,
6 Bd. Marechal Juin, CS 45053, F-14050 CAEN Cedex 4

contact@greyc.fr

+33(0) 2 33 77 11 66