Entretien avec Peter Düben, ECMWF, responsable de la modélisation du système terrestre
Bonjour, Peter. Parlons de Mantik.
L'« outil d'infrastructure de développement ML », comme il est officiellement appelé dans notre projet de recherche MAELSTROM !
Un projet de recherche européen passionnant qui vise à utiliser l'apprentissage automatique sur des superordinateurs pour les prévisions météorologiques et climatiques ! Mais vous auriez déclaré à propos de Mantik : « Ça ne marchera pas de toute façon. »
Non, ce n'est pas vrai ! – Attendez, est-ce que cela fait partie de l'interview officielle ? – Lorsque nous avons demandé un financement pour MAELSTROM en 2018, nous avions un plan, et ce plan était bon : afin de pouvoir concevoir des applications, nous avions besoin d'un atelier que tout le monde pouvait utiliser, qui permettait aux gens de communiquer et de lancer les exécutions, qui offrait de la flexibilité et permettait l'optimisation. Le problème central était que nous devions développer des applications et des outils de développement en même temps. Cela signifie que les développeurs d'applications ne peuvent pas travailler avec le logiciel dès le premier jour, car il n'est tout simplement pas encore disponible. Mais l'idée reste bonne et tout à fait valable.
Vous avez dit « nous avions un bon plan ». Dans quel contexte ce plan a-t-il été rédigé ? Comment était le monde à cette époque ?
Dans notre domaine – la météo et le climat –, les gens commençaient à travailler avec l'apprentissage automatique. Mais nous n'étions pas encore des experts. Nous avons dû apprendre énormément de choses sur les réseaux neuronaux et la préparation des données. Mais aussi : comment former efficacement un logiciel et savoir à quel moment de la formation il est performant ? Comment comparer différentes méthodes ? Comment envoyer à un superordinateur quelque chose que vous avez préalablement développé sur un ordinateur portable ?
Mais l'apprentissage automatique n'était pas nouveau à l'époque, même s'il n'était pas encore très répandu dans le domaine de la météo et du climat. N'y avait-il rien dans d'autres domaines à l'époque que vous auriez pu utiliser pour vous lancer avec quelques adaptations mineures ?
Ce n'était plus une nouveauté, mais cela en était encore à ses balbutiements. Si l'on compare ce qui a été fait avec le ML en 2018 et ce qui se fait aujourd'hui, il y a un monde de différence. Cela ne s'applique pas seulement à la météo et au climat, mais à toutes les applications. Ce dont s'occupe MAELSTROM, à savoir le calcul haute performance et le supercalcul, a fondamentalement changé. Vous avez connu une croissance exponentielle depuis 2018. Mais beaucoup de choses se sont également passées dans le secteur des logiciels depuis 2018. Certains outils ont vu le jour qui réalisent déjà une grande partie de ce que nous avions prévu à l'époque, comme ML Flow ou Weights & Biases.
Où en est Mantik aujourd'hui ? Va-t-il continuer à jouer un rôle important, ou a-t-il été pris au dépourvu et dépassé par d'autres ?
L'idée de cet outil reste bonne et pertinente, et j'ai maintenant hâte de voir comment tous les fils vont se rassembler au cours des six prochains mois. Les premières applications MAELSTROM seront également disponibles dans Mantik à la fin du mois de septembre. Vous pourrez alors voir exactement ce que vous pouvez faire avec cet outil. Et ensuite, si Mantik parvient à se démarquer, je pense que de plus en plus d'utilisateurs s'y intéresseront. Lorsque nous sortirons de cette phase de bêta-test, où l'on entend sans cesse « ce sera disponible la semaine prochaine, cela pourrait bientôt fonctionner... », nous pourrons vraiment franchir le Rubicon.
Le calcul intensif est l'un de vos domaines de prédilection. Qu'est-ce qui rend le domaine de la météorologie et du climat si particulier en termes d'exigences pour les outils utilisés ?
Nous disposons d'ensembles de données très volumineux, d'échantillons gigantesques. Notre efficacité dépend beaucoup de la manière dont nous traitons les données. Nos données sont simplement plus spécifiques que des vidéos de chats ou des photos de chevaux. Sinon, les exigences sont relativement similaires. Quand j'entends dire que Mantik est beaucoup utilisé dans l'industrie automobile, je comprends tout à fait, car là aussi, on travaille avec des ensembles de données volumineux. Et dans ce secteur, il y a probablement 500 développeurs qui doivent travailler en bonne intelligence.
Dites-vous cela parce que la collaboration est une caractéristique centrale de Mantik ?
Oui. Vous pouvez collaborer via les dépôts GitHub, et si vous avez une question, vous pouvez la poser via Slack. Mais Mantik va encore plus loin : vous pouvez comparer et évaluer ce que font différents développeurs.
Quelle est la recette du succès qui permet à un outil de devenir une norme ? Tout comme GitHub est une sorte de norme. Qu'il s'agisse d'apprentissage automatique, de calcul haute performance ou autre ?
Il doit résoudre un problème. Git, par exemple, résout le problème de la distribution du code et de la mise en commun du travail de dix personnes différentes. Et Mantik pourrait relier tout cela un peu mieux : vous dotez les dépôts Git de plus d'interfaces, vous facilitez la communication entre les développeurs, mais vous offrez également la possibilité de lancer et de former des exécutions à partir de son interface graphique. La force de Mantik réside dans le fait qu'il relie les différents paquets entre eux. Qu'il s'agisse de ML Flow ou de GitHub. Ce n'est pas une tâche facile, car les composants individuels sont dynamiques et évoluent.
Cela semble être une tâche colossale.
En tout cas, ce n'est pas une tâche qui sera terminée de sitôt.
Parlez-moi un peu de Markus Abel, c'est probablement lui avec qui vous avez le plus travaillé. Comment se passe la collaboration avec lui ? Comment aborde-t-il les choses ?
Markus est un entrepreneur. Il sait vendre ce qu'il fait. Il n'a pas peur de prendre des risques, ce qui est très important dans une entreprise comme celle-ci. C'est donc très agréable de travailler avec lui. Markus est également ouvert à la critique. Il a beaucoup de bonnes idées. Il est parfois un peu trop optimiste, mais je pense que cela fait aussi partie de son travail.
C'est intéressant que vous disiez qu'il est un entrepreneur. D'autres personnes à qui j'ai posé la question diraient qu'il est encore profondément...
... l'université.
L'université et la recherche.
Pas de mon point de vue. Probablement parce que ma tête est encore coincée dans le bac à sable de la recherche.
Quel est le meilleur résultat possible si l'on combine les deux mondes, à savoir la recherche traditionnelle et l'entrepreneuriat ?
C'est un processus sain à tous les niveaux. Cela se voit également au fait que, à ma connaissance, Ambrosys n'a jamais eu de difficulté à trouver de jeunes talents. Ce qui fonctionne, c'est de recruter des personnes à l'université, puis de les former dans une petite ou moyenne entreprise.
Pourquoi pensez-vous que c'est le cas ?
C'est certainement aussi grâce à des personnes comme Markus, qui d'une part sont à l'écoute et d'autre part n'ont pas peur d'embaucher quelqu'un qui n'a pas 30 ans d'expérience dans le métier.
Dites-nous quelque chose de critique à propos de Markus et de son peuple.
J'ai déjà dit tout ce que je pouvais dire : Markus est parfois un peu trop optimiste. Mais cela fait partie de son travail. Il n'y a vraiment rien de dérangeant.
À qui ou pour quelles tâches recommanderiez-vous Ambrosys ?
Dans toutes les situations comme celle que nous avons connue à l'époque : vous savez que des choses incroyablement importantes vont se produire, mais vous ne savez pas dans quelle direction. Vous avez alors besoin de personnes qui ont le courage de s'aventurer en territoire inconnu. Des personnes qui ont de bonnes idées, qui savent regarder à gauche et à droite et apporter de nouvelles choses, même si elles ne sont pas des experts, mais qui ont leurs relations. Cela a très bien fonctionné avec Markus. Nous ne le connaissions pas, il ne nous connaissait pas, mais cela n'avait pas d'importance à ce moment-là. Il a fait son travail et nous avons élaboré un plan qui a fonctionné pendant les quatre années suivantes. Un territoire inconnu ? Je m'en fiche complètement !
C'était une belle conclusion. Merci beaucoup.
Merci. Bonne continuation. Ciao !