Un modèle d'IA a envoyé un faux conseil sur un meurtre non résolu

La semaine dernière, des représentants d'Anthropic ont rencontré des représentants de la police de Philadelphia. Cela est dû à ce qu'un des modèles d'IA de l'entreprise a envoyé en juillet un faux conseil concernant un meurtre non résolu dans la ville américaine. Le conseil a été soumis via un formulaire sur un site dédié aux meurtres non résolus, mais a heureusement été filtré comme indésirable. Il a fallu jusqu'au 28 septembre pour qu'Anthropic découvre l'incident et ce n'est que le 7 octobre que la police a été informée de l'affaire.

La police a commenté que l'entreprise doit renforcer ses mesures de protection pour éviter que des incidents similaires n'affectent les systèmes de la ville sans son autorisation. Le fait qu'il ait fallu deux mois pour détecter et signaler l'incident à la ville est inacceptable.