L'ancien ingénieur de Google et chercheur influent en IA, François Chollet, cofonde une organisation à but non lucratif pour aider à développer des benchmarks qui sonderont l'IA pour une intelligence de niveau humain.
La fondation ARC Prize sera dirigée par Greg Kamradt, ancien directeur de l'ingénierie chez Salesforce et fondateur du studio de produits d'IA Leverage. Kamradt occupera le poste de président et de membre du conseil.
La collecte de fonds pour la fondation ARC Prize commencera plus tard en janvier.
Chollet a introduit ARC-AGI, abréviation de «Corpus abstrait et raisonné pour l'intelligence artificielle générale», en 2019. Jusqu'à cette année, la meilleure IA en performance ne pouvait résoudre que juste moins d'un tiers des tâches dans ARC-AGI.
“Contrairement à la plupart des benchmarks d'IA de pointe, nous n'essayons pas de mesurer le risque d'IA avec des questions d'examen surhumaines,” a écrit Chollet dans le post. “Les futures versions du benchmark ARC-AGI se concentreront sur la réduction de l'écart de compétences humaines vers zéro.”
Il reste à voir comment la fondation ARC Prize abordera les critiques auxquelles Chollet a dû faire face pour avoir surestimé ARC-AGI comme un benchmark pour atteindre l'IGA. La définition même de l'IGA est actuellement vivement contestée; un membre du personnel de OpenAI a récemment affirmé que l'IGA avait déjà été atteinte si l'on définit l'IGA comme une IA “meilleure que la plupart des humains dans la plupart des tâches.”
Le PDG de OpenAI, Sam Altman, a cependant déclaré en décembre que l'entreprise avait l'intention de s'associer à l'équipe ARC-AGI pour élaborer de futurs benchmarks. Chollet n'a donné aucune mise à jour sur d'éventuels partenariats dans l'annonce d'aujourd'hui.
Dans une série de posts sur X, cependant, la fondation ARC Prize a déclaré qu'elle allait créer “un réseau académique” pour progresser dans l'IGA et les évaluations et établir “une coalition de partenariats avec des laboratoires d'IA de pointe” pour collaborer sur des benchmarks industriels en IGA.
