ChatGPT在眼科的船上认证实践测试中得分近50%

ChatGPT 的一项研究发现，人工智能工具从医生在准备眼科委员会认证时常用的研究资源中正确回答了不到一半的测试问题。

这项研究发表在《美国医学会眼科杂志》(JAMA Ophthalmology)上，由多伦多团结健康中心圣迈克尔医院(St. Michael's Hospital)领导，发现 ChatGPT 在 46 年 2023 月最初进行测试时正确回答了 10% 的问题。当研究人员在一个月后进行同样的测试时，ChatGPT的得分高出<>%以上。

自 ChatGPT 于 2022 年 <> 月公开上市以来，人工智能在医学和考试准备方面的潜力引起了人们的兴奋。这也引起了人们对学术界不正确信息和作弊的可能性的担忧。ChatGPT 是免费的，任何有互联网连接的人都可以使用，并以对话方式工作。

“随着时间的推移，ChatGPT可能会在医学教育和临床实践中发挥越来越大的作用，但是重要的是要强调负责任地使用这种人工智能系统，”该研究的首席研究员，圣迈克尔李嘉诚知识研究所的研究员Rajeev H. Muni博士说。“本次调查中使用的ChatGPT没有正确回答足够的多项选择题，无法在目前为准备董事会认证提供实质性帮助。

研究人员使用了来自OphthoQuestions免费试用的练习多项选择题数据集，OphthoQuestions是董事会认证考试准备的通用资源。为了确保 ChatGPT 的回答不受并发对话的影响，在输入每个问题之前，会清除与 ChatGPT 的条目或对话，并使用新的 ChatGPT 帐户。使用图像和视频的问题不包括在内，因为 ChatGPT 只接受文本输入。

在 125 道基于文本的多项选择题中，ChatGPT 在 58 年 46 月首次进行研究时正确回答了 2023 道 (2023%) 问题。研究人员于 58 年 <> 月在 ChatGPT 上重复了分析，性能提高到 <>%。

“ChatGPT是一个人工智能系统，在医学教育方面具有巨大的前景。虽然它为眼科的董事会认证问题提供了大约一半的错误答案，但我们预计 ChatGPT 的知识体系将迅速发展，“该研究的合著者、多伦多大学眼科和视觉科学系的住院医师 Marko Popovic 博士说。

ChatGPT 与受训者回答问题的方式非常匹配，并且在 44% 的时间内选择了与眼科实习生提供的最常见答案相同的多项选择答案。ChatGPT选择了11%的时间在眼科实习生中最不受欢迎的多项选择反应，在18%的时间内排名第二，在22%的时间内排名第二。

“ChatGPT在普通医学问题上的表现最准确，正确回答了其中的79%。另一方面，它在眼科亚专业问题上的准确性要低得多。例如，聊天机器人正确回答了20%的眼部整形问题，0%正确回答了视网膜亚专业的问题。ChatGPT的准确性可能会在未来的利基亚专业中得到最大的提高，“该研究的主要作者，西方大学的本科生Andrew Mihalache说。