v2.11.0 (5502)

Cours - 9B-527-SCI : Tehnologies en Réalité Mixte et 3D

Domaine > Sciences de l'Ingénieur.

Descriptif

 

Les technologies liées aux systèmes de réalité mixte et d’affichage 3D en général couvrent un large spectre de connaissances graphisme, programmation 3D, techniques de traitement d’image, techniques de localisation, fusion de données, conception optique, techniques d’affichage (y compris holographiques). Toutes ces technologies sont mises en œuvre à travers des dispositifs complexes qui ont pour objectif d’être intégré de façon optimale aux comportements et aux attentes des utilisateurs. Ceci nécessite donc de prendre également en compte un certain nombre de notions de perception visuelle. Celles-ci sont donc également abordées pendant le cours en tentant d’établir un parallèle avec les technologies employées pour la perception de l’environnement de l’utilisateur selon le concept de la vision computationnelle. Enfin, ce cours se veut être un trait d’union entre les différents enseignements abordé dans la même voie pédagogique: systèmes à vision directe, technologie des écrans et afficheurs, restitution 3D, simulation radiométrique avancée.

Objectifs pédagogiques

A l’issu de cet enseignement, les étudiants doivent être capable de :

  • Comprendre les enjeux des technologiques liées aux systèmes de réalité mixte et d’affichage 3D
  • Comprendre les principes de la génération d'images de synthèse 3D (notion de pipeline graphique)
  • Classifier les différents dispositifs d’affichage 3D, en connaître les principes.
  • Établir le lien entre les techniques d'affichage 3D et les propriétés du système perceptif visuel humain, en déduire les avantages et les inconvénients
  • Connaître et utiliser les techniques de localisation et de captation (environnement + utilisateur)
  • Mettre en œuvre des applications de réalité mixte et/ou 3D à partir de matériel et d’outils existant

16 heures en présentiel

Diplôme(s) concerné(s)

UE de rattachement

Pour les étudiants du diplôme Diplôme d'ingénieur de l'Institut d'Optique Théorique et Appliquée

  • Traitement d'image
  • Propriété physique de la lumière
  • Conception optique
  • Programmation orientée objet

Format des notes

Numérique sur 20

Pour les étudiants du diplôme Diplôme d'ingénieur de l'Institut d'Optique Théorique et Appliquée

Vos modalités d'acquisition :

L’acquisition des compétences sera évaluée à travers un examen sur table et un compte rendu des travaux réalisés sous forme de mini-projet lors des séances de travaux dirigés.

Le rattrapage est autorisé (Note de rattrapage conservée écrêtée à une note seuil de 12)
  • le rattrapage est obligatoire si :
    Note initiale < 5

Le coefficient de l'UE est : 15

Programme détaillé

 

Table des matières

  1. Introduction

      1.1. Descriptif

      1.2. Objectifs

      1.3. Programme détaillé

      1.4. Environement pédagogique

      1.5. Organisation

      1.6. Qu'est ce que la réalité mixte ?

      1.7. Technologies mises en oeuvre

      1.8. 2D ou 3D : différentes modalités

      1.9. Intérêt de la 3D

      1.10. Notre approche

  1. Percevoir le réel

      2.1. Reconnaissance des objets

         2.1.1. Distinction figure/fond

         2.1.2. Organisation perceptive

         2.1.3. Perception des objets: modèles

         2.1.4. Rôle des informations de surface

      2.2. Perception du monde réel : "3D" ou profondeur

         2.2.1. Problématique:

         2.2.2. Les différents types d'indices :

         2.2.3. Disparité binoculaire

         2.2.4. Parallaxe/mouvement

         2.2.4.1. Perception humaine du mouvement

         2.2.4.2. Parallaxe

         2.2.5. Indices Occulomoteurs ?

                     2.2.5.1. Vergence (ou convergence)

                     2.2.5.2. Version

                     2.2.5.3. Complexité des mouvements oculaires

                     2.2.5.4. Accommodation

      2.3. Indices picturaux

         2.3.1. Perspective

                     2.3.1.1. Perspective de texture

                     2.3.1.2. Courbure

                     2.3.1.3. Interposition (Occlusion)

         2.3.2. Ombres et ombrages

                     2.3.2.1. Direction d'illumination

      2.4. Problématique de l'attention

      2.5. Discussion

      2.6. Perception humaine vs Perception numérique ?

  1. Systèmes d'affichage

      3.1. Fonction Plénoptique

      3.2. Du pixel 2D au Voxel 3D (ou hogel)

      3.3. Une classification :

      3.4. Affichage stéréoscopique (deux vues, lunettes)

         3.4.1. Couleur entrelacée (anaglyphe)

         3.4.2. Affichage stéréoscopique à entrelacement de polarisation

         3.4.3. Affichage stéréoscopique multiplexé dans le temps

         3.4.4. Affichages HMD

         3.4.5. Conflit Vergence-Accomodation ?

      3.5. Affichage 3D autostéréoscopique - Techniques d’affichage 3D multivue

         3.5.1. Approximer le champ lumineux à l'aide de plusieurs vues

         3.5.2. Stratégies de mise en œuvre des écrans 3D multiview

         3.5.3. Techniques d'affichage 3D multi-vues basées sur l'occlusion

                     3.5.3.1. Barrière de parallaxe

                     3.5.3.2. Affichages à ouverture temporelle séquentielle

                     3.5.3.3. Déplacement de la fente devant l'écran

                     3.5.3.4. Affichage de barrière cylindrique de parallaxe

                     3.5.3.5. Panneau LCD entièrement adressable en tant que barrière de parallaxe

         3.5.4. Techniques d'affichage 3D multi-vues basées sur la réfraction

                     3.5.4.1. Feuille lenticulaire

                     3.5.4.2. Couche lenticulaire inclinée sur un écran LCD

                     3.5.4.3. Conception LCD pour la réalisation de vues 3D multivues haute résolution

                     3.5.4.4. Affichage 3D multi-vues utilisant plusieurs projecteurs et une feuille lenticulaire

                     3.5.4.5. Masque de prisme

                     3.5.4.6. Verres à cristaux liquides

                     3.5.4.7. Affichage 3D intégral

                     3.5.4.8. Feuille lenticulaire en mouvement

         3.5.5. Affichage 3D multivue basé sur la réflexion

                     3.5.5.1. Répartiteur de faisceau (demi-miroir)

         3.5.6. Affichage 3D multivue basé sur la diffraction

                     3.5.6.1. Rétroéclairage directionnel basé sur l'optique diffractive

         3.5.7. Affichage 3D multivue basé sur la projection

                     3.5.7.1. USC: affichage du champ lumineux à l'écran rotatif avec un projecteur haute vitesse

                     3.5.7.2. Holografika: plusieurs projecteurs + écran diffuseur vertical

                     3.5.7.3. Affichage Theta-Parallax-Only

                     3.5.7.4. Projecteur avec une feuille de miroir lenticulaire

                     3.5.7.5. Projecteur avec une barrière de parallaxe double couche

                     3.5.7.6. Projection frontale avec barrière de parallaxe

         3.5.8. Écrans 3D super-multivues

         3.5.9. Afficheurs 3D autostéréoscopiques à suivi oculaire (adaptatifs en fonction de la position)

         3.5.10. Conceptions de rétroéclairage directionnel pour une résolution complète

         3.5.10.1. Rétro-éclairage directionnel conçu par 3M

         3.5.10.2. Rétro-éclairage directionnel conçu par SONY pour un affichage commutable 2D / 3D

         3.5.10.3. Rétroéclairage à quatre directions avec une barrière de parallaxe à 12 vues pour un affichage 3D à 48 vues

         3.5.10.4. Rétroéclairage multidirectionnel à l'aide de matrices de microlentilles

  1. Capter et modéliser le réel

      4.1. Principes:

      4.2. Algorithmique

      4.3. Vision artificielle

         4.3.1. Détection de points caractéristiques

         4.3.2. Détection de coins de Harris

         4.3.3. Détection Shi-Tomasi

         4.3.4. Scale-Invariant Feature Transform

         4.3.5. Speeded-Up Robust Features (SURF)

         4.3.6. Autres améliorations (de détection)

         4.3.7. Calibrer la camera : principe

         4.3.8. Calibrer la caméra: modélisation géométrique

         4.3.9. Calibrer la caméra: modèle numérique

                     4.3.9.1. Prendre en compte la distance focale

                     4.3.9.2. prendre en compte les pixels

                     4.3.9.3. Prendre en compte les déplacements

                     4.3.9.4. Paramètres permettant de caractériser la caméra

                     4.3.9.5. Points complémentaires

         4.3.10. Calibrage à proprement parler

                     4.3.10.1. Calcul de la matrice de projection

                     4.3.10.2. Extraction des paramètres intrinsèques et extrinsèques

         4.3.11. Estimation de pose

         4.3.12. Géométrie épipolaire

         4.3.13. Cartes de profondeurs

      4.4. Suivi d'objets et de personnes

         4.4.1. Suivi par IMU

         4.4.2. Suivi vidéo

         4.4.3. Suivi par lighthouse

         4.4.4. Suivi par vidéo +DL

      4.5. Fusion de données

         4.5.1. SLAM

         4.5.2. Iterative Closest Points

         4.5.3. SLAM contraint

         4.5.4. SLAM + Modèles numériques 3D

         4.5.5. Reconnaissance & tracking d'objets

  1. Générer du contenu virtuel (en 3D)

      5.1. Computer Graphics

      5.2. Techniques

      5.3. Rasterisation

      5.4. Le Pipeline graphique

      5.5. Coté hardware

         5.5.1. Histoire

         5.5.2. Evolution

         5.5.3. OpenGL

         5.5.4. WebGL & Three.js

      5.6. Le Pipeline graphique

         5.6.1. Géométrie 3D: une entrée du pipeline Graphique

                     5.6.1.1. Localiser les sommets

                     5.6.1.2. Primitives

                     5.6.1.3. Pixels ou fragments ?

         5.6.2. Traitement des sommets

         5.6.3. Transformations et repères

                     5.6.3.1. Mise à l'échelle

                     5.6.3.2. Rotation

                     5.6.3.3. Translations

                     5.6.3.4. Rappels

                     5.6.3.5. Compositions

         5.6.4. Vues et projections

         5.6.5. De la scène 3D à l'espace caméra (2D)

                     5.6.5.1. Transformée modèle-vue

         5.6.6. Projections

                     5.6.6.1. Projection perspective

                     5.6.6.2. Projection orthographique

         5.6.7. Rastérisation (tramage)

                     5.6.7.1. Fenêtrage (viewport transform)

                     5.6.7.2. Visibilité des polygones (back-face culling)

                     5.6.7.3. Traitement des fragments

         5.6.8. Rappel

         5.6.9. Lightning

Veuillez patienter