当纳米颗粒追踪成像技术中加入 AI 技术，会取得怎样的显著进步呢？

近期，厦门大学教授团队基于深度学习研发了一种自动化、高速、多维的单粒子追踪（single particle tracking，SPT）系统，打破了细胞微环境中纳米颗粒旋转追踪的局限性。

通过深度学习能够学习、提取复杂图像和序列数据中的特征，从而实现在纳米尺度下，全方位、精准追踪活细胞内单分子/单个纳米颗粒。不仅追踪了在三维空间的位移，还首次观测到分子/纳米颗粒的旋转运动。

需要了解的是，在生物医学领域，通过控制纳米颗粒的旋转运动，能够实现对细胞和生物分子的操控和检测。实际上，纳米颗粒的旋转运动与诸多重要的生物过程密切相关，例如在生物传感器中作为探针，用于纳米药物传递以及解析进入细胞的机制等。

图丨方宁（来源：）

该方法在成像研究中具有广泛的应用，例如探究复杂环境中探针的旋转和平移等行为。在样品制备完成条件下，可实现从仪器数据处理到解析的自动化流程，为未来实现完整的自动化药物递送全流程奠定基础，并为高速筛选药物的递送研究和制药生产线提供全新的方案。

审稿人对该研究评价称：“作者介绍了一种自动化、高速、多维的 SPT 系统，用于追踪活细胞内各向异性金纳米探针的三维取向。特别是，他们详细解释了训练卷积神经网络（Convolutional Neural Network，CNN）的数据集构建和预处理方法。通过这种方式，展示了训练有效模型的能力。”

近日，相关论文以《深度学习辅助的活细胞自动多维单粒子追踪》（）为题发表在 Nano Letters[1]。

厦门大学博士研究生宋东良、张欣为共同第一作者，厦门大学教授、温州医科大学博士和美国公司高级研究员担任共同通讯作者。

图丨相关论文（来源：Nano Letters）

同时追踪活细胞八个维度信息

传统的单颗粒追踪方法通常仅能处理二维平面或时间序列数据。在常规的实验条件下，由于纳米颗粒尺寸极小，在细胞环境或组织环境中信号比较弱，无法看到它的旋转运动过程。并且，用理论解析得到的相关信号不仅效率低，而且很容易存在人为误差。

指出，“如果我们能够实时探测到探针受到限制过程的变化趋势，就可以知道它具体受到了怎样的限制。”

为解决上述问题，该课题组开发了一种与深度学习算法集成的自动化、高速、多维 SPT 系统，用于以高定位精度（<10nm）和时间分辨率（最快 0.9ms），来跟踪活细胞中各向异性金纳米粒子探针的 3D 取向，克服了在低信噪比条件下旋转跟踪的局限性。

图丨整体思路示意图（来源：Nano Letters）

该课题组将 AI 引入到复杂的实验中，来帮助和替代以往人工干预以及人工判断的过程，对复杂细胞环境的运动过程自动识别和分类，追踪目标探针和直接解析药物递送颗粒的机制。

在 SPT 实验中，通过揭示各向异性光学纳米探针的平移和旋转动力学，能够提供细胞活动的分子水平信息。

该方法可以在 S/N 约为 4 的情况下，在实验和模拟数据上求解方位角（0°-360°）和极角（0°-90°），误差小于 2°。即使当 S/N 接近 1 的极限时，该方法仍然比传统的模式匹配方法保持更好的鲁棒性和抗噪声性。

图丨（a）自动高速多维SPT成像装置示意图；（b）评估自动跟踪系统对采样台双向运动的响应；（c）通过二维椭圆高斯拟合得到了系统的横向定位精度（来源：Nano Letters）

值得关注的是，在该研究中，研究人员实现了包括空间、时间和荧光强度等在内的多维度成像。指出，“这个实验是迄今为止最复杂的细胞成像实验，我们实现了八个维度的同时成像。”

通过对活细胞内沿微管运输的药物递送过程展开实验，证明了多维 SPT 系统的有效性。该研究涉及大量的学科交叉，包括光学成像、硬件搭建、AI 算法设计、程序数据分析等。“在该研究中，宋东良同学做了大量的工作，并将各学科融会贯通。”表示。

向单分子诊疗、药物递送及精准医疗等方向推进发展

据介绍，该团队对于将 AI 引入实验划分为三个阶段，分别是对图像的自动识别、运动模式及细胞行为的分类以及预测。

在该研究中已经完成了第一阶段，也就是基于计算模拟生成的数据对图像自动识别。目前，他们即将完成第二阶段，即对细胞过程进行追踪并依据运动模式分类。

举例说道：“比如在细胞里纳米药物递送穿过细胞膜，被传输到最终的目标位置，释放过程会经历不同的阶段。因此它的分子行为也不同，该阶段以能够自动识别细胞的分类运动情况为目标。”

在第二阶段中，除了图像识别，还需要大量的信息判定，因此需要深度学习将细胞中的整个生物过程作为训练集。据介绍，目前该课题组正在使用实验室过去十几年的数据进行训练。

图丨多维成像系统及深度学习图像识别算法（来源： Nano Letters）

第三阶段是运动模式分类的基础上，对药物递送的进程与结果进行预测。表示：“在通过各种显微镜或电镜等获得海量数据后，我们可以通过 AI 分析大规模数据集和活细胞的实时动态，这对制药行业来说非常有意义。”

目前，虽然国内已有很多分子诊断的相关应用，但用成像技术进行单分子追踪仍然处于空白的阶段。

而在国外，单分子医学诊疗领域已经有公司进入商业化阶段。2022 年，美国单分子追踪公司 获得超过 5 亿美元的融资。

在现阶段，这项技术的直接产品是科学仪器，此前研究人员已申请相关国际专利。据悉，未来该团队计划将结合更多药厂的药物递送体系相关数据，以包含药物效果评判的过程和全流程。

从科学仪器的角度来看，这种仪器方法已经在单分子/单颗粒成像领域产生一些比较显著的影响。“我希望该技术不是仅停留在实验室，而是推动向新型单分子诊疗、纳米药物递送以及精准医疗等方向发展，目前我们也在推进相关合作。” 表示。

“历尽千帆，归来仍是少年”

本科毕业于厦门大学，在加拿大英属哥伦比亚大学获得博士学位后，于美国能源部埃姆斯国家实验室及爱荷华州立大学从事博士后研究。之后，他分别在美国爱荷华州立大学担任助理教授和美国佐治亚州立大学担任教授。

2021 年，作为特聘教授和祥华讲座教授全职加入母校厦门大学，目前团队成员 30 余人，以生物和化学光学成像为重点研究方向，包括：光学成像仪器开发和应用、单颗粒旋转追踪技术和单分子化学成像等。

谈及回国任职，感慨道：“虽然在美国各方面科研条件都不错，但我认为在 45 岁之前回到祖国是一个黄金契机，还有很多时间去做更多事情。回到我的母校厦大，对我来说是一种荣誉。”

图丨方宁课题组（来源：）

此前，带领课题组针对难以在活细胞中测量关键生物分子构象转化动态过程的问题，首次在实验上解决了领域内的争议。他们开发全新的单粒子旋转追踪系统，率先在活细胞中观察囊泡沿着缢断蛋白螺旋手性方向的定向旋转，在阐明受体介导内吞机制方面取得突破性进展[2]。

德国国家科学院院士、法国巴黎居里研究所卢德格尔·约翰内斯（）教授在 Nature Cell Biology 对上述研究评论道：“这种方法代表了技术上的杰作，”并特别指出，“除了对了解细胞背景中缢断蛋白功能的分子机制做出贡献外，目前的研究更普遍地强调了角度敏感显微镜技术的力量，以及这些技术可能在膜生物学领域做出的更大贡献[3]。”

（来源：Nature Cell Biology ）

为了动态监控蛋白时空分布与蛋白间相互作用，该团队开发可自动三维聚焦、高空间和角度分辨率的单粒子追踪技术，通过理论推导半平面点扩散函数仿真模拟与角度相关的单粒子离焦图案来解析三维角度，实时解析囊泡在细胞中运输的旋转动力学，发现马达蛋白-囊泡-细胞微管相互作用的新模式[4]。

美国科学院院士、美国宾夕法尼亚大学耶尔·E·高德曼（）教授在 Biophysical Journal 特别指出：“这种智能的光学和分析方法可直接应用于其他细胞内物质，或由其他实验室用以高分辨率空间角度成像。未来这类研究有望揭示分子马达活动和细胞内货物的靶向运输之间令人困惑的关系[5]。”

表示，这次的新研究是使用深度学习/AI 辅助成像对活细胞生命过程研究的第一步。未来希望在 AI 的帮助下，能够使用多维成像技术实现对蛋白功能和细胞行为的解析和预测。

与“开着一辆拥有自动驾驶感知能力的汽车”类似，“当该探针在细胞中运动时，可以根据它的行为分析和判断周围环境，并对下一步的可能性进行预测。”他说。

认为，在 AI 技术的加持下，该方法将推动实验和仪器的进一步的发展。“原来只有科研实验室才能够用得起、用得上。未来我们会将技术商业化，并拓展到制药领域。”

参考资料：

1.Song,D. et al. Deep Learning-Assisted Automated Multidimensional Single Particle Tracking in Living Cells. Nano Letters(2024). https://doi.org/10.1021/acs.nanolett.3c04870

2.Dynamin-dependent vesicle twist at the final stage of clathrin-mediated endocytosis. Nature Cell Biology 23, 859–869 (2021). https://doi.org/10.1038/s41556-021-00713-x
3.Johannes, L., Valades-Cruz, C.A. The final twist in endocytic membrane scission. Nature Cell Biology 23, 812–813 (2021). https://doi.org/10.1038/s41556-021-00711-z

4.Resolving cargo-motor-track interactions with bifocal parallax single-particle tracking.Biophysical Journal 120(8), 1378-1386 (2021). （https://doi.org/10.1016/j.bpj.2020.11.2278

5.Yale E. Goldman.Biophysical Journal 2021, 120, 1306. https://doi.org/10.1016/j.bpj.2021.02.026

运营/排版：何晨龙

01/

02/

03/

04/

05/