杜克大学(Duke University)的工程师使用机器学习技术开发了一种显微镜,该显微镜能够适应其照明角度、颜色和图案,同时自学完成诊断任务所需的最佳设置。在概念验证研究中,显微镜同时开发了一种照明模式和分类系统,使其可以快速识别出被疟原虫感染的红细胞。根据研究团队的说法,它比受过训练的医生和其他机器学习方法更准确地执行了这些任务。Roarke Horstmeyer教授说:“标准显微镜用来自各个方向相同数量的光照亮样品,并且这种照明已经为人类的眼睛优化了数百年。”“但是计算机可以看到人类看不到的东西。因此,我们不仅重新设计了硬件以提供多种照明选项,还使显微镜能够为其自身优化照明。”
杜克大学的工程师们开发了一种新型的显微镜,该显微镜使用的碗中装有各种颜色的LED灯和机器学习产生的照明方案。 由Roarke Horstmeyer /杜克大学提供。
新型显微镜没有从下方散射白光来均匀照亮载玻片,而是采用了碗形光源,整个表面都嵌入了LED。这种配置允许从不同角度和不同颜色照亮样品。由于LED阵列可以完全控制每个LED的亮度和颜色,因此显微镜可以提供多种照明模式,可以针对不同的传感任务进行优化。研究人员考虑了两个特定的传感任务-将稀薄血液涂片和浓血涂片中的疟原虫分类-形成了两种明显不同的最佳照明模式。
首先,他们向显微镜放置了数百个疟疾感染的红细胞样本,这些样本被制成薄薄的全细胞涂片。显微镜使用卷积神经网络了解了样品的哪些特征对于诊断疟疾最重要,以及如何最好地突出这些特征。显微镜的算法最终落在来自相对较高角度不同颜色的环形LED图案上。虽然生成的图像比常规的显微镜图像嘈杂,但它们在亮点上突出显示了疟原虫,并且大约90%的时间被正确分类。受过训练的医师和其他机器学习算法通常可达到约75%的准确度。
新显微镜自学了点亮红细胞以发现其中的疟原虫最佳方法。与传统显微镜产生的图像(上)相比,新显微镜产生的红细胞图像(下)包含更多的噪声,但是由于光照条件的原因,疟疾寄生虫会被明亮的斑块照亮。无疟疾的红细胞在右边。 由Roarke Horstmeyer /杜克大学提供。
Horstmeyer说:“它挑选出的图案是环状的,具有不同的颜色,并且不一定明显。”“即使图像比临床医生所创建的图像更暗、更嘈杂,该算法仍在说它可以与噪声共存,它只是想突出显示寄生虫以帮助诊断。”Horstmeyer将LED图案和排序算法发送给合作者实验室,以查看结果是否可转换为不同的显微镜设置,另一个实验室也显示出类似的结果。Horstmeyer说:“医生必须仔细检查一千个细胞,才能找到一个疟疾寄生虫。”“由于他们必须如此近距离地放大,因此他们一次只能看十几个,因此阅读幻灯片大约需要10分钟。如果他们只需要看几秒钟,我们的显微镜就已经挑出所需要的细胞,那将大大加快这一过程。”
研究人员还表明,该显微镜在浓血涂片制剂中效果很好,其中红细胞形成了高度不均匀的背景,并且可能被分解。对于此准备,机器学习算法在99%的时间内都是成功的。根据Horstmeyer的说法,这种准确性的提高是可以预期的,因为所测试的厚涂片比薄涂片的染色更重,并且显示出更高的对比度。但是,浓密的涂片也需要更长时间来准备。机器学习显微镜项目的目标之一是减少在资源有限的情况下由有限数量训练有素的医生进行诊断的时间。
一群杜克大学的工程学研究生已经组建了一家初创公司SafineAI,以使可重新配置的LED显微镜小型化,这一概念已经在当地的一项沥青比赛中赢得了12万美元的奖金。同时,Horstmeyer正在使用另一种机器学习算法来创建显微镜的版本,该显微镜可以将其LED模式调整为它尝试读取的任何特定幻灯片。Horstmeyer说:“我们基本上是在尝试使图像采集过程更灵活一些。” “我们希望显微镜使用其所有自由度。因此,它不仅可以傻傻地拍摄图像,还可以与焦点和照明一起玩耍,以试图像人一样更好地了解幻灯片上的内容。”