Un chatbot alimenté par l'intelligence artificielle créé par la ville de New York pour aider les propriétaires de petites entreprises a été critiqué pour avoir donné des conseils inexacts et bizarres qui contredisent les politiques locales et encouragent même les entreprises à enfreindre la loi. Malgré les rapports de ces problèmes par le média technologique The Markup, la ville a choisi de garder le chatbot sur son site officiel du gouvernement. Le maire Eric Adams a défendu la décision, admettant que les réponses du chatbot étaient incorrectes dans certains cas.
Lancé en octobre en tant que ressource pour les propriétaires d'entreprise, le chatbot fournit des réponses textuelles générées par algorithme aux questions sur la navigation dans les processus bureaucratiques de la ville. Il comprend un avertissement qu'il peut produire des informations incorrectes, nuisibles ou biaisées et précise que ses réponses ne sont pas des conseils juridiques. Cependant, le chatbot continue d'offrir de faux conseils, soulevant des inquiétudes parmi les experts sur les risques que les gouvernements mettent en oeuvre des systèmes alimentés par l'IA sans surveillance adéquate.
Le chatbot a fourni des conseils concernant, tels que suggérer qu'il est légal pour un employeur de licencier un travailleur qui signale un harcèlement sexuel ou refuse de couper ses dreadlocks. Il a également affirmé à tort que les entreprises ne sont pas tenues de composter ou d'utiliser des méthodes d'élimination des déchets spécifiques. Dans un cas, le chatbot a même conseillé qu'un restaurant puisse servir du fromage grignoté par un rongeur, soulignant l'importance d'informer les clients de la situation.
Microsoft, la société qui alimente le chatbot via ses services Azure AI, a déclaré qu'elle collaborait avec les autorités municipales pour améliorer le service et garantir des résultats précis alignés sur la documentation officielle de la ville. Malgré les critiques, le maire Adams a défendu le chatbot, attribuant les inexactitudes au processus d'aplanissement des problèmes technologiques et au rejet des appels à interrompre le service.
Les experts ont mis en évidence les risques associés aux grands modèles linguistiques comme celui utilisé dans le chatbot de New York, soulignant le potentiel de désinformation et de réponses illogiques. Des préoccupations similaires ont été soulevées au sujet des chatbots déployés par des entreprises privées, avec des cas de conseils trompeurs conduisant à l'insatisfaction des clients et à des litiges juridiques. L'approbation de cette technologie par le secteur public soulève des préoccupations supplémentaires quant à la responsabilité et aux conséquences potentielles du suivi de directives inexactes.
Alors que d'autres villes envisagent de mettre en oeuvre des chatbots, les experts exhortent à la prudence et soulignent l'importance d'organiser soigneusement le contenu et de définir le problème que le chatbot est censé résoudre. Les leçons tirées du chatbot de New York servent de mise en garde pour les villes explorant des solutions basées sur l'IA, soulignant la nécessité de rendre des comptes et de déployer de manière responsable la technologie dans le secteur public.
thèmes: New York États-Unis Microsoft
