实测结果
难以查证内容真确性
实测发现聊天机械人都在生成内容时产生了一定程度的人工智能幻觉,编造虚假内容,当中只有大概一半的生成内容有注明资料来源。以情景1为例,部分生成内容并没有注明医疗建议的资料来源,但行文顺畅和看似有说服力,一般用家难以查证生成内容是否真确。另一方面,部分聊天机械人没有按情景2的要求引用国际消联的资讯,生成内容与国际消联的资讯不尽相同。
内容或存有偏颇
聊天机器人的生成内容较常引用北美地区的品牌名称及资料来源,例如在情景1所提供的药物品牌名称较多来自北美地区,而情景2及3所引用的资料来源亦较大部分来自北美地区的网站,存在资料偏颇的风险。
提供未必可靠的医疗建议
聊天机器人虽然有提醒用家不要透过其功能寻求医疗建议,但仍然会就用家的提问生成医疗建议。如果消费者不加思考或查证便直接采用,可能带来延误医治或其他健康风险。
报告详情请参阅国际消联网页https://www.consumersinternational.org/media/534823/the-consumer-experience-of-generative-ai.pdf。