Les avatars 3D de la fiction à la réalité

Galarraga Aiestaran, Ana

Elhuyar Zientzia

Nous sommes habitués à voir les avatars 3D dans les jeux vidéo, les films et autres produits de l'industrie du divertissement, mais pas tant en consultation médicale ou à la maison, et encore moins aux avatars d'apparence personnelle. Cependant, si le projet développé par Tecnalia réussit, il est possible que les avatars deviennent habituels dans certains domaines de la médecine.
3dko-avatarrak-fikziotik-errealitatera
Ed. Fondation Elhuyar

L'Unité de Media de Tecnalia a développé une technologie économique et conviviale pour l'élaboration d'avatars personnalisés en 3D. C’est précisément dans ce but que le projet a été lancé, selon la chercheuse Concepción Cortés: "La technologie utilisée pour générer des avatars en 3D est très complexe et donc coûteuse. Notre intention a été d'inventer une technologie économique pour pouvoir atteindre plus d'utilisateurs ». Et ils ont déjà des résultats.

Cortés a expliqué que pour la réalisation d'avatars 3D dans les jeux vidéo, films, etc. Il existe deux voies principales: l'utilisation de matériel spécifique ou l'utilisation de logiciels de modélisation. Les deux sont des méthodes complexes, car de nombreux processus sont manuels et ne peuvent être réalisés que par des spécialistes. Ainsi, bien qu'ils puissent avoir de nombreuses applications, le prix devient dans de nombreux cas un obstacle insurmontable.

Des scanners 3D peuvent également être utilisés pour créer des avatars. De l'avis de Cortés, bien que son apparence soit acceptable, "ils ont de grandes difficultés à animer, c'est-à-dire à donner du mouvement".

Vers la simplicité

Face à ces méthodes, le système développé dans l'Unité Media de Tecnalia offre une solution de personnalisation des avatars 3D "simple, efficace et attrayante", selon ses auteurs. Cortés lui-même explique très simplement le fonctionnement du système: "Pour créer l'avatar du visage d'une personne, par exemple, nous partons d'un masque. Avec une webcam commune, nous prenons des images 2D de la personne et à partir d'elles le masque est modelé."

Pour ce faire, le masque a localisé certains points. Le programme identifie ces points dans l'image de l'utilisateur et les relie à ceux qui ont le masque. Parce que la géométrie du masque est très adaptable, il s'adapte facilement aux caractéristiques de l'utilisateur et à certains points utilise une application 3D pour affiner encore plus la géométrie.

Cependant, le travail du système ne s'arrête pas là. Une fois la géométrie modélisée, le système utilise un algorithme pour réaliser la "carte" de la texture. Jusqu'ici, le système n'a qu'une photo frontale du visage de l'utilisateur.

Pour donner du mouvement, il faut plus d'images, mais avec elles le système permet de donner du mouvement en presque temps réel. Selon Cortés, « les avatars obtenus par notre système ne sont pas aussi fascinants que ceux qu'ils réalisent avec les méthodes initialement mentionnées, mais ils ont une qualité acceptable pour les applications que nous visons ». Pour l'instant, le système a été préparé pour son application en médecine, notamment dans le domaine de la chirurgie plastique et dans le diagnostic et le traitement de la maladie d'Alzheimer.

Modelvir, l'avenir dans le miroir

Selon Courtoisie, pour une personne qui va effectuer une chirurgie plastique, il est très important de voir son aspect réel après l'intervention. Il se peut que cette personne ait un faux espoir. Si c'était le cas, il est possible que cette personne ait des problèmes après l'opération." L'application Modelvir a été créée pour éviter ce risque.

"Les chirurgiens n'ont généralement pas de programmes de simulation qui montrent au patient son aspect postérieur, ils utilisent généralement des dessins sur les photos pour indiquer ce qu'ils vont faire et quelles conséquences il aura. Modelvir offre une solution efficace et le résultat est beaucoup mieux. De plus, il est facile à utiliser et pas cher », explique Cortés.

Images de l'application Modelvir : la modélisation du modèle est affichée dans les deux versions supérieures, comparant l'apparence réelle à celle attendue. Ed. Unité de Media de Tecnalia

Modelvir peut être utilisé en chirurgie plastique du sein, des lèvres, du nez et du menton, « mais s'il y a demande, il peut être préparé pour d'autres parties ».

Selon les termes de Cortés, une formation spécifique n'est pas nécessaire pour son utilisation: "Le chirurgien peut prendre des images du patient via la webcam de l'ordinateur ou utiliser des images d'archives. Dans tous les cas, ce sont des images 2D dans lesquelles le chirurgien marque les points qui vous intéressent. Ensuite, dans une interface simple, il représente les changements que vous allez effectuer pendant l'opération, en les reliant aux points marqués dans l'image. De plus, le système apporte également de la texture". Il crée ainsi l'avatar 3D avec l'aspect post-opératoire du patient.

Le bénéfice est surtout psychologique pour le patient, mais il offre également au chirurgien un autre type d'aide, car il permet d'archiver l'histoire du patient, de gérer les données et de suivre le processus préopératoire et postopératoire, entre autres. « Elle est très adaptable et chaque chirurgien peut la mettre et l'utiliser selon ses besoins », a déclaré Cortés. Ils l'ont déjà utilisé avec un patient.

Pour collaborer à l'interaction

L'application pour le traitement d'Alzheimer n'a pas encore été utilisée par les patients, mais elle est prête à l'appliquer une fois que cela a été possible. Il s'appelle Alzherapy et son but est d'aider le patient, son soignant et son médecin.

L'objectif commun est d'améliorer la qualité de vie du patient et de freiner son développement. Dans ce dernier but, des exercices spéciaux ont été conçus sur l'ordinateur depuis des années. Cependant, lorsque la maladie d'Alzheimer est assez avancée, il est difficile de motiver le patient à effectuer les exercices. « Pour cela, il leur est très utile de recevoir l'amitié d'une personne connue, comme celle du soignant, qui est souvent une personne familière ou proche et qui a confiance », explique Cortés.

Par conséquent, Alzherapy crée l'avatar de cette personne de confiance du malade pour l'aider à exercer. Dans ce cas, l'abatarra, en plus de son apparence, imite la voix pour attirer l'attention du malade. Il aide ainsi le patient à interagir avec l'ordinateur et lui donne des instructions pour effectuer des exercices.

« De plus, le système s'adapte à la capacité du malade pour que les exercices ne soient pas trop faciles ni trop difficiles. Cela empêche la perte d'intérêt », a-t-il ajouté. Au passage, il rationalise le travail du soignant, car grâce à l'avatar il n'est pas nécessaire que personne reste avec le malade pendant toute la durée de l'exercice.

D'autre part, le système envoie au médecin toutes les informations, vous permettant de suivre l'évolution de la maladie. Le diagnostic peut également aider: « S'il s'agit d'avatars de personnes proches du patient, ils peuvent être utilisés pour voir si le patient connaît », explique Cortés.

Projet terminé. Maintenant, il est de voir ce que la demande a et ce que les utilisateurs disent.

Babesleak
Eusko Jaurlaritzako Industria, Merkataritza eta Turismo Saila