Description
Ce projet vise à développer un modèle d'IA multimodal fédéré pour la détection en temps réel des anomalies dans le domaine de la santé. Au cours de l'atelier organisé à Londres, les équipes construiront et intégreront des modèles unimodaux entraînés à partir de textes cliniques, d'images médicales et de signaux physiologiques. Le modèle multimodal final sera entraîné via un apprentissage fédéré et optimisé pour être déployé sur des appareils embarqués tels que Raspberry Pi et d'autres technologies de microcontrôleurs. À l'aide de jeux de données publics tels que MIMIC et CheXpert, le projet met l'accent sur l'IA médicale prête à l'emploi et respectueuse de la vie privée. Une attention particulière sera accordée à l'apprentissage fédéré personnalisé (PFL), qui permet d'affiner chaque modèle local en fonction de la modalité et de la distribution de ses données. Cela améliorera la généralisation et l'adaptation du modèle sur des clients hétérogènes. Après l'atelier, les efforts se concentreront sur l'optimisation et la validation à distance.
Context
La maladie d'Alzheimer est en fait la principale cause de démence.
Il s'agit d'une maladie évolutive, ce qui signifie qu'elle s'aggrave progressivement avec le temps et qu'elle affecte le cerveau en détruisant lentement la mémoire et les capacités cognitives.
Objectifs du projet
Notre objectif sera de construire ce modèle multimodal lors de l'atelier à Londres, qui intégrera différents types de données de santé.
Une fois développé, nous fédérerons ce modèle pour une formation distribuée sur plusieurs appareils. Des stratégies d'apprentissage fédéré personnalisées, telles que le réglage fin local et le méta-apprentissage, seront également explorées afin d'assurer une meilleure adaptation à la distribution locale de chaque nœud participant.
Le projet est divisé en plusieurs WP qui aboutiront à des briques logicielles indépendantes.
WP1 | Développement de modèles unimodaux et multimodaux
WP2 | Compression/optimisation des modèles unimodaux/multimodaux
WP3 | Intégration des modèles optimisés sur les appareils RPi et FPGA
WP4 | Apprentissage fédéré personnalisé