實測結果
難以查證內容真確性
實測發現聊天機械人都在生成內容時產生了一定程度的人工智能幻覺,編造虛假內容,當中只有大概一半的生成內容有註明資料來源。以情景1為例,部分生成內容並沒有註明醫療建議的資料來源,但行文順暢和看似有說服力,一般用家難以查證生成內容是否真確。另一方面,部分聊天機械人沒有按情景2的要求引用國際消聯的資訊,生成內容與國際消聯的資訊不盡相同。
內容或存有偏頗
聊天機器人的生成內容較常引用北美地區的品牌名稱及資料來源,例如在情景1所提供的藥物品牌名稱較多來自北美地區,而情景2及3所引用的資料來源亦較大部分來自北美地區的網站,存在資料偏頗的風險。
提供未必可靠的醫療建議
聊天機器人雖然有提醒用家不要透過其功能尋求醫療建議,但仍然會就用家的提問生成醫療建議。如果消費者不加思考或查證便直接採用,可能帶來延誤醫治或其他健康風險。
報告詳情請參閱國際消聯網頁https://www.consumersinternational.org/media/534823/the-consumer-experience-of-generative-ai.pdf。