Thèse compression vidéo basée réseaux de neurones à faible complexité F/H

L'ambition de la Division Innovation est de porter plus loin l'innovation d'Orange et de renforcer son leadership technologique, en mobilisant nos capacités de recherche pour nourrir une innovation responsable au service de l'humain, éclairer les choix stratégiques du Groupe à long terme et influencer l'écosystème digital mondial.
Nous formons les expertes et les experts des technologies d'aujourd'hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité. La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche et l'innovation dont 740 chercheurs. Porteurs d'une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists, sociologues, graphistes, marketeurs, experts en cybersécurité...), les femmes et les hommes de Innovation sont à l'écoute et au service des pays, des régions et des business units pour faire d'Orange un opérateur multiservices de confiance.

Vous intégrerez une équipe de recherche pluridisciplinaire à la pointe de l'innovation sur la compression vidéo, la vidéo 3D et le traitement audio. L'équipe joue un rôle essentiel dans le processus de standardisation international (ISO/MPEG, ITU-T), donnant un côté applicatif à cette thèse. Le sujet de thèse est au coeur de problématiques industrielles majeures pour Orange et d'autres acteurs mondiaux, les résultats obtenus pourront donc être directement exploités.

Votre rôle est d'effectuer un travail de thèse sur la compression vidéo basée réseaux de neurones à basse complexité
Contexte global et problématique du sujet
La quantité de vidéos échangée sur Internet ne cesse d'augmenter et de nouveaux formats de vidéos émergent régulièrement. Les outils de compression évoluent pour véhiculer ces contenus sur les réseaux, offrant un débit toujours plus faible tout en garantissant une bonne qualité.

Depuis plusieurs années, des systèmes de compression basés réseaux de neurones ont émergé. Ils remplacent l'ensemble encodeur-décodeur (codec) par un réseau de neurones (auto-encodeur) générique, appris sur un large ensemble de vidéos afin de faire face à la variété des contenus et formats. Ces auto-encodeurs rivalisent avec les meilleurs codecs conventionnels. Ils présentent cependant une complexité de décodage trop importante, limitant leur utilisation.

Il est possible de remplacer un auto-encodeur générique par un réseau de neurones uniquement (sur-)adapté à l'image à compresser. On apprend alors un petit réseau de neurones lors de la compression de chaque image, qui permettra ensuite de décompresser l'image. Un codec basé sur-adaptation (Cool-chic) est développé par Orange et d'autres acteurs. Il démontre des performances de codage d'image au niveau des auto-encodeurs tout en étant 1000 fois moins complexe. Des premiers travaux ont été entrepris pour étendre Cool-chic à la compression de vidéo.
Objectif scientifique - résultats et verrous à lever
L'objectif de la thèse est d'améliorer l'exploitation des redondances temporelles dans un codec vidéo neuronal basé sur la sur-adaptation.Les codecs basés sur-adaptation rencontrent des difficultés pour exploiter les redondances temporelles. Ils reposent sur une analyse de mouvement puis une prédiction temporelle afin d'identifier les zones redondantes dans les images successives d'une vidéo. Une des pistes envisagées pour la thèse est d'améliorer ce processus, via une meilleure analyse de mouvement permettant une meilleure prédiction temporelle. Également, de nouvelles architectures de réseaux de neurones permettent d'enlever les redondances temporelles sans analyse du mouvement.

Compétences (scientifiques et techniques) et qualités personnelles exigées par le poste
Compétences en traitement du signal et intelligence artificielle
Appétence pour le traitement d'image vidéo
Programmation : Python, C++, bash etc.
Experience en deep learning : framework PyTorch, Tensorflow, jax
Formation demandée (master, diplôme d'ingénieur, doctorat, domaine scientifique et technique ...)
Master recherche ou école d'ingénieur
Expériences souhaitées (stages, ...)
Expériences dans le domaine de l'image et machine learning dans le domaine multimédia

Références de l'offre
Les groupes de standardisation ISO/MPEG & ITU-T ont conçus des normes successives (AVC, HEVC et VVC) depuis plusieurs décennies, raffinant un même paradigme de compression " conventionnel ". Une nouvelle norme sera finalisée à l'horizon 2030.

Les codecs basés sur la sur-adaptation possèdent un décodeur unique, propre à chaque image qui doit ainsi être transmis en même temps que le signal compressé. Ce signal auxiliaire est de nature différente du domaine image habituel, puisqu'il s'agit de paramètres de réseaux de neurones. On veillera à améliorer sa transmission, en essayant de mutualiser des éléments de réseaux de neurones successifs composant une vidéo.La complexité du système devra rester faible pour garantir un impact énergétique limité quel que soit le terminal visé.