Chercheur·euse en sciences mathématiques pour la sécurité de l'IA

Les entreprises d'IA de pointe investissent des milliards de dollars dans la mise à l'échelle des architectures et des méthodes existantes (par exemple, DPO, RLHF, RLVR). Bien que puissantes, ces approches sont fondamentalement imparfaites et entraînent des problèmes de désalignement, de complaisance et de nombreuses autres formes de comportements nuisibles.

LoiZéro est une organisation à but non lucratif fondée par Yoshua Bengio afin de concevoir des systèmes d'IA avancés qui soient sûrs dès leur conception (safe-by-design). Nous en sommes aux premières étapes du développement de la théorie, de la méthodologie et des systèmes d'apprentissage automatique visant à contrer les risques d'alignement posés par les modèles de pointe actuels, grâce à une approche fondamentalement nouvelle appelée l'IA Scientifique (Scientist AI).

Nous recherchons un·e chercheur·euse théoriecien.ne exceptionnel·le pour contribuer à nos efforts fondamentaux et théoriques, en étroite collaboration avec Yoshua Bengio et notre équipe de recherche et d'ingénierie de calibre mondial.

Principales responsabilités:

• Explorer avec audace des territoires inconnus en étudiant de nouvelles architectures de systèmes d'IA, des cadres théoriques et de nouveaux mécanismes de sécurité, afin de définir un modèle d'IA forte (AGI) sûre ainsi que les garanties de sécurité correspondantes.
• Collaborer étroitement avec Yoshua Bengio et d'autres chercheur·euse·s de premier plan pour analyser et affiner les exigences formelles nécessaires à la construction et au déploiement sécurisés de l'IA Scientifique. Cela inclut la démonstration de garanties de sécurité probabilistes sous des contraintes de données et de puissance de calcul finies et, à mesure que le système progresse, le soutien aux équipes de recherche pour la validation empirique.
• Analyser, évaluer et contribuer aux travaux théoriques existants menés chez LoiZéro par Yoshua Bengio et ses chercheur·euse·s principal·e·s, y compris la rédaction et la diffusion d'articles scientifiques.
• Assurer une veille scientifique rigoureuse pour rester à l'affût de la recherche pertinente en sécurité de l'IA et en apprentissage automatique, et comprendre en profondeur les risques posés par les modèles de pointe (désalignement, détournement de récompense/reward hacking, objectifs instrumentaux, etc.).
• Examiner et enrichir le programme de recherche global de LoiZéro afin d'orienter et de hiérarchiser les expériences. L'objectif est de répondre efficacement aux questions de sécurité critiques, sans pour autant freiner l'atteinte des plus hauts niveaux de capacité.
• Partager vos connaissances en matière de sécurité de l'IA et aider les chercheur·euse·s et ingénieur·e·s de LoiZéro à mieux concevoir et implémenter de nouveaux algorithmes de ML et de nouvelles expériences.

Compétences et qualifications:

• Doctorat (PhD) en apprentissage automatique, informatique, mathématiques, statistiques, ou dans un domaine connexe pertinent pour le programme de recherche de l'IA Scientifique.
• Solide feuille de route en recherche, particulièrement dans la formalisation et l'analyse technique fructueuse d'intuitions par rapport à des modèles de language.
• Vif intérêt et idéalement une expérience concrète en sûreté technique de l'IA, accompagnée d'une capacité exceptionnelle pour la pensée systémique et abstraite.
• Compréhension approfondie des fondements mathématiques couramment utilisés dans la conception et l'analyse de l'apprentissage automatique probabiliste, en particulier pour les réseaux de neurones et les modèles de langage.
• Persévérance nécessaire pour s'attaquer à des problèmes complexes et mal définis et aptitude à transformer la confusion et les impasses en opportunités pour approfondir la réflexion et la compréhension.
• Excellentes compétences en communication : capacité à articuler des idées complexes, tant à l'oral qu'à l'écrit, auprès de publics techniques et non techniques.
• Aptitude à travailler dans un environnement collaboratif et à contribuer aux objectifs de recherche collectifs.

Un atout majeur :

• La capacité de voyager régulièrement aux côtés de Yoshua et des membres de l'équipe pour participer à des conférences, ce qui accélérera considérablement l'avancement des travaux !