医生经常查询患者的电子健康记录，以获取帮助他们做出治疗决定的信息，但这些记录的繁琐性质阻碍了这一过程。研究表明，即使医生接受过使用电子健康记录（EHR）的培训，平均来说，只找到一个问题的答案可能需要8分钟以上。

医生在EHR界面上导航的时间越长，他们与患者互动和提供治疗的时间就越短。

研究人员已经开始开发机器学习模型，通过自动在EHR中找到医生需要的信息来简化过程。然而，训练有效的模型需要大量相关医疗问题的数据集，由于隐私限制，这些数据集通常很难获得。现有的模型很难产生真实的问题——那些将由人类医生提出的问题——并且往往无法成功地找到正确的答案。

为了克服这一数据不足，麻省理工学院的研究人员与医学专家合作，研究医生在审查EHR时提出的问题。然后，他们建立了一个公开可用的数据集，由这些医学专家编写的2000多个临床相关问题组成。

当他们使用自己的数据集训练机器学习模型来生成临床问题时，他们发现，与来自医学专家的真实问题相比，该模型在60%以上的时间里提出了高质量和真实的问题。

有了这个数据集，他们计划生成大量真实的医学问题，然后使用这些问题来训练机器学习模型，这将帮助医生更有效地在病历中找到所需的信息。

“2000个问题听起来可能很多，但当你看看现在正在训练的机器学习模型时，它们有如此多的数据，可能有数十亿个数据点。当你训练机器学习模型在医疗保健环境中工作时，你必须真正有创意，因为数据非常缺乏，”主要作者埃里克·雷曼说，计算机科学和人工智能实验室（CSAIL）的研究生。

资深作者是Peter Szolovits，电气工程和计算机科学系（EECS）教授，他是CSAIL临床决策小组的负责人，也是MIT-IBM Watson人工智能实验室的成员。该研究论文是MIT、MIT-IBM Watson人工智能实验室、IBM research、，帮助提出问题并参与研究的医生和医学专家将出席计算语言学协会北美分会的年度会议。

斯佐洛维茨说：“现实数据对于与任务相关但难以找到或创建的训练模型至关重要。”。“这项工作的价值在于仔细收集临床医生提出的有关患者病例的问题，从中我们能够开发出使用这些数据和通用语言模型来提出进一步合理问题的方法。”

数据不足

雷曼解释说，研究人员能够找到的少数几个大型临床问题数据集存在许多问题。有些是由患者在网络论坛上提出的医学问题组成，这些问题与医生的问题截然不同。其他数据集包含由模板生成的问题，因此它们在结构上基本相同，使得许多问题不切实际。

“收集高质量的数据对于完成机器学习任务非常重要，特别是在医疗环境中，我们已经证明这是可以做到的，”雷曼说。

为了建立他们的数据集，麻省理工学院的研究人员在最后一年的培训中与执业医生和医学生合作。他们给了这些医学专家100多份EHR出院总结，并告诉他们通读总结并提出任何问题。为了收集自然问题，研究人员没有对问题类型或结构施加任何限制。他们还要求医学专家确定EHR中导致他们提出每个问题的“触发文本”。

例如，医学专家可能会阅读EHR中的一条注释，其中表示患者过去的病史对前列腺癌和甲状腺功能减退具有重要意义。触发文字“前列腺癌”可能会导致专家提出诸如“诊断日期？”或者“是否进行了干预？”

他们发现，大多数问题集中在症状、治疗或患者的测试结果上。Lehman说，虽然这些发现并不意外，但量化每个广泛主题的问题数量将有助于他们建立一个有效的数据集，用于真实的临床环境。

一旦他们编译了问题和伴随的触发文本的数据集，他们就用它来训练机器学习模型，以根据触发文本提出新问题。

然后，医学专家使用四个指标确定这些问题是否“好”：可理解性（这个问题对人类医生有意义吗？），琐碎（问题是否太容易从触发文本中回答？），医学相关性（根据上下文问这个问题有意义吗？），以及与触发器的相关性（触发器是否与问题相关？）。

令人担忧的原因

研究人员发现，当一个模型被给予触发文本时，它能够在63%的时间里产生一个好问题，而人类医生会在80%的时间里提出一个好问题。

他们还训练模型，使用他们在项目开始时发现的公开可用数据集恢复临床问题的答案。然后，他们测试了这些经过训练的模型，看看是否能找到人类医学专家提出的“好”问题的答案。

对于医生提出的问题，这些模型只能恢复约25%的答案。

“这一结果确实令人担忧。人们认为表现良好的模型实际上非常糟糕，因为他们测试的评估问题一开始就不好，”雷曼说。

该团队目前正在将这项工作应用于他们的初始目标：建立一个模型，可以在EHR中自动回答医生的问题。下一步，他们将使用他们的数据集训练一个机器学习模型，该模型可以自动生成数千或数百万个良好的临床问题，然后可以用来训练一个新的自动问答模型。

虽然在该模型成为现实之前还有很多工作要做，但雷曼兄弟对该团队用该数据集展示的强劲初始结果感到鼓舞。

原文链接: https://news.mit.edu/2022/teaching-ai-ask-clinical-questions
数字的星球: https://sciencesfeed.com