Qui est Jacob Coxon, le chercheur qui accuse l’IA de vouloir nous tuer ?

Jacob Coxon a suscité une vive controverse dans le domaine de l’IA en dénonçant les pratiques des entreprises comme Anthropic et OpenAI, qu'il jugeait trop rapides à développer des systèmes d'intelligence artificielle auto-améliorants. Son départ, motivé par un sentiment de responsabilité face aux risques potentiels, a rapidement fait réagir la communauté scientifique et le grand public.

Ses arguments se concentrent sur l’idée que les pressions concurrentielles entre les entreprises et les États-Unis et la Chine pourraient inciter à prendre des risques inutiles en matière de sécurité. Il souligne que si le risque immédiat d'une prise de contrôle par une IA est considéré comme faible, la menace grandit avec l'émergence de systèmes capables de s’améliorer eux-mêmes.

Bien que certains chercheurs aient partagé ses préoccupations, notamment via des estimations de probabilités d'extinction humaine, d'autres ont exprimé leur scepticisme, soulignant que les systèmes actuels ne présentent pas un risque existentiel majeur et que le scénario d’une 'explosion d'intelligence' reste largement spéculatif. Cette divergence d'opinions met en lumière la complexité du débat sur le développement de l'IA.

Le cas de Jacob Coxon, ainsi que les départs précédents de chercheurs au sein d'Anthropic et OpenAI, soulignent des tensions internes concernant l’approche de la sécurité de l'IA. La décision récente d'Anthropic de ne pas soumettre son dernier modèle à une évaluation préalable par l'AISI alimente également les interrogations sur la solidité des engagements de ces entreprises.