来源：雅虎新闻
作者：周刊王CTWANT | 廖梓翔
编辑：Techub News-June
随着生成式聊天机器人CahtGPT在全球的爆火，AI机器人可以说是开始逐步进入人们的日常生活中，不少人都会开始使用AI机器人来辅助自己的工作。但现在就有公司发明检测AI，专门针对各家厂商的AI机器人进行内容「正确性」上的检测，并且将各家机器人「幻觉度」进行排名，其中冠军就是大家所熟知的ChatGPT，而排名最末的竟然是Google所推出的PalM 2。
根据《toms hardware》报导指出，先前就有第三方研究机构在研究各家AI机器人之后，确定了AI机器人会有「幻觉（hallucinations）」的产生，AI机器人会凭空编造一些不存在的信息来回答。
先前其实就有传出类似的案例，美国纽约律师事务所「Levidow, Levidow & Oberman」施瓦茨（Steven A Schwartz）就在一次诉讼中，提出由ChatGPT所撰写的文件，而其中引用了6起步存在的案件当作判例，结果遭到对手公司法律团队识破，更被法院要求解释。
而且根据研究人员的研究，他们发现短时间内似乎无法解决AI机器人产生幻觉的问题。研究AI科技的布朗大学教授文卡塔尔苏巴马尼安（Suresh Venkatasubramanian）也表示，与其说AI机器人会虚构不存在的事情，还不如说，AI机器人所产生的回答比较像是小孩子随口说出的故事，因为不懂得事情的真伪。
为了厘清AI幻觉度的问题，新创公司Vectara就进行了一项研究，以各家厂商推出的AI机器人进行法律方面的测试，Vectara提供了800多份文件给AI，接着要求这些AI依照要求来进行文件的内容摘要，最后将AI生成的结果输入到自己研发的检测AI中。
Vectara验证各家AI准确度的排名。（图／翻摄自Vectara GitHub）
其中，GTP 4与GTP 4 Turbo的正确性为97%、幻觉度3%；GPT 3.5 Turbo的正确性为96.5%、幻觉度3.5%；Meta推出的Llama 2 70B正确性为94.9%、幻觉度5.1%；Llama 2 7B正确性为94.4%、幻觉度5.6%。其余各家的AI机器人正确度均有90%以上，幻觉率也是10%以下。
但在其中，Google所推出的PalM 2，其正确率为87.9%，幻觉率为12.1%；而PalM 2 Chat的正确率为72.8%，幻觉率为27.2%。
