央視財經今日（11月21日）消息，據(jù)英國天空新聞臺20日報道，日前，美國谷歌公司旗下的人工智能模型“雙子座”讓一位與其對話的用戶“去死”。當時這名用戶問了“雙子座”一個與老年人相關的問題，但“雙子座”并沒有給出相關回答，反而對用戶進行一系列人格侮辱，比如“你在浪費時間和資源”“你是社會的負擔”“你是宇宙的污點”以及“你應該去死”等等。隨后用戶的家人將這一情況發(fā)到網(wǎng)上，并表示在用戶提出該問題之前，“雙子座”的運行一切正常。

報道稱，谷歌“雙子座”向用戶提供的回答有明確限制，比如不能“鼓勵或允許可能造成現(xiàn)實世界傷害的危險活動”，其中包括自殺。谷歌方面表示，大型語言模型有時會做出“不理智”的反應，本次情況就是一個例子。“雙子座”的回答違反了相關政策，公司已采取行動避免類似情況再次發(fā)生。