近日,在 2018 年“创业在上海”创新创业大赛入围国赛的企业中,上海瓴舸网络科技有限公司(英文名为“Reacool”,以下简称“上海瓴舸”)及其参赛项目十分有趣。
该参赛项目为医学混合现实手术导航系统(以下简称“Reacool-MMR 系统”),采用医学快 速 原 型 技 术 (Medical Rapid Prototyping) 重 建人体解剖结 构的 3D 模型,并通过混合现实技术 (Mixed Reality) 感知、识别和测量物理空间,将模型以全息的方式,原位叠合到真实的人体解剖结构上去,使医生拥有一双能看穿患者病灶的“透视眼”,在提高手术效率、降低脑内建模难度、提升手术成功率等方面具有非凡意义。
上海瓴舸是一家面向疼痛医学领域的专业医疗科技公司,公司团队由来自医疗临床一线的青年学者与专业 IT 人士共同组成。疼痛医学是上海瓴舸长期致力的领域,在该领域,上海瓴舸的早期产品“培恩 e 学”具有极高的知名度和专业认可度,也是国内成功的医疗互联网品牌之一。该产品是上海瓴舸在疼痛学会的支持下,运营的一家面向疼痛领域,融合了线上医疗培训、医疗直播、医疗平台建设和营销策划的“疼痛医疗 + 互联网”平台。目前,“培恩 e 学”已获得关注者人数达 40000 多人,未来医生的“透视眼”创造者文 魏路平台认证医生 11000 多人。
精准医疗和个性化医疗的日益普及带来巨大的市场需求,上海瓴舸认为,当代医生需要更有效的技术手段提高手术效率、规避额外损伤,微创介入疗法或将在疼痛医疗领域得到进一步应用普及。直到微软公司 HoloLens 设备的出现,上海瓴舸终于在医学混合现实领域找到突破口。
跨界的实现,关键在于人体定位的精确匹配
早在 17 年前,医学混合现实的概念就已被提出。在图像引导的神经外科手术中,“混合现实”被用来合并视频图像和计算机模型,以毫米级定位精度对内窥镜拍摄的医学影像、CT 图像等进行可视化增强,并通过映射操作将其长期绘制在器官表面,形成可视化图形导航。但受制于当时的技术限制,这一概念很久以来并未找到合适的技术平台依托,因此并没有获得普及。
作为当下较前沿的跨界技术之一,混合现实技术可以在真实的物理空间中,创造出具有空间属性的全息影像,并且可以使该影像锚定在固定位置。但从“混合现实技术”到“医学混合现实技术”,这一跨界在国内尚属新鲜。据上海瓴舸 CEO 秦春晖介绍,该跨界的成功实现,最难点在于成像和定位领域,如何实现人体定位的精确匹配是关键。
传统定位使用手工标记,依赖于二维平面影像,如 X 光、CT、MRI,由医 生 触摸感受,再凭借经验和想象用记号划线。但依赖医生经验和直觉判断的实际定位效果往往无法满足手术要求,难以将影像模型与人体准确匹配,操作效率低,在手术进程中需要反复定位。
“HoloLens 的出现,让 虚 拟 影像 和真实场景有效结合起 来,刚发预告片的时候,我们就已经关注到了它。”秦春晖透露,“当时我们正尝试将高科技设备与现代医学结合起来,创造出一些新的手术方法和医疗教育方法。”
早在 2016 年,微软便将 HoloLens 设备推向市场。该产品不仅可以呈现物体的全息立体影像,还可以随着观看角度的变化呈现物体不同的空间状态信息。而由 HoloLens 呈现的全息影像还可以通过视线、手势、语音、外设等方式进行交互,具有极高的灵活性和强大的实用性。
2016 年 8 月,上海瓴舸成立,开始探索将 HoloLens 与临床医疗相结合,提高手术定位的可视性和准确性。这是 一支 “医学 +IT”的跨界团队。以秦春晖为代表的医学团队是深耕上海疼痛医学界多年的专家,深知一线临床医生的需求痛点;其 IT 团队拥有来自华为、育碧等公司的资深技术人员,具有强大的实现能力。想象不难,困难的是如何把想象变为现实。在此过程中,上海瓴舸做了大量的前期准备工作,包括人体解剖学素材的获取、真实人体数据的测量、素材的 3D 转化,以及信标定位与空间锚的设计和校准 . 等等。
“最初完成一次校准需要半小时,才能将人体与全息模型匹配起来。这不符合临床的操作习惯。”秦春晖解释道,“临床操作中,比如我看见你这只手,模型就能自动化贴合到人体上,这才是我们想要的效果。”
所见即所得,临床操作要求高精准性。随后一年多的时间内,上海瓴舸从材料学、定位学、IT 程序、互动界面等多方面反复修正,仅是程序算法就迭代了十几个版本。最终,使用 Unity3D 和 Mixed Reality Toolkit 进行成像部分的开发,并依托 HoloLens 的空间映射和空间感知技术进行全息 3D 模型定位,自主研发了与空间映射相结合的优化算法,实现了当前几秒钟完成人体与模型精准匹配的速度。
推荐阅读:医疗技术方面论文有哪些征稿期刊
从事医学领域工作的技术人员,无论是研究项目还是晋升职称都会要求发表论文的,而且这一领域比其他行业要求更为严格,为此很多想要发表医疗技术论文的作者,对于期刊的选择了解的并不多,哪类期刊能征收这方面的论文,大家是比较困惑的。期刊天空老师针对这个问题给大家整理了一部分医学期刊,有需求的可以直接与期刊天空在线编辑联系。
让医生拥有“透视眼”,或将改变临床诊断手段
2018 年 9 月,秦春 晖受 邀参观 美国斯坦福大学有关乳房肿瘤手术的定位匹配研究。由于乳房组织会移动,需要根据变动实时准确定位,但国外的技术尚停留在表面,不能满足其需求。
与国 外 技 术 相比,Reacool-MMR 手术导航系统可以与现实场景实时整合,使用混合现实技术显示的关键解剖结构,可以与真实场景中对患者的操作保持一致。在实践中,其精度验证实验证明了该方案的距离误差在 0.809+/- 0.05 mm,角度误差在 1.038 度 +/-0.05 度,满足了临床要求。更值得一提的是,当患者处于运动过程中,医生可以观察到其骨骼的运动方式,在脊柱外科、神经外科、骨科、肿瘤科等领域的微创手术中,突破了患者解剖结构“全靠猜”的尴尬局面,让医生拥有了一双“透视眼”。
目前,上海瓴舸已与上海华东医院联合申报了省部级项目”混合现实引导椎管内穿刺技术的研发与应用”,并通过上海申康公司(上海医院发展中心)的审批。 Reacool-MMR 手术导航系统在上海华东医院已经开始用于混合现实引导下的椎管内穿刺和麻醉术临床实验,极大提高了手术效率,增加了单日手术台数,丰富的可视化信息也同时降低了手术风险率。该实验为期 3 年,目前已经完成一半。
2018 年 2 月,上海瓴舸收到美国微软公司邀请,至西雅图总部分享 项目研究经验;随后 3 月,微软公司总部高层来到中国参观该 项目,双方随即达成了建立医学混合现实实验室的初步协定。在国内,上海瓴舸与广州南方医院整形外科、嘉兴第一人民医院、福建协和医院、浙江大学医学院附属第二医院等达成了合作。
精准定位操作是临床医生的迫切需求,也是 精准 医 疗的必 然 要求。未 来, Reacool-MMR 手术导航系统或将改变传统的医疗诊断方式。据相关数据显示, 2016 年中国医疗健康产业市场容量高达 4 万亿元。未来 5 年内,我国医疗产业将以 20% 的年复合增长率继续增长,2019 年将扩大到 8 万亿元。而医疗影像设备作为其最要产业之一,其市场规模也在持续增长中。面对如此巨大的市场,秦春晖表示,希望未来 3—5 年,上海瓴舸能够成为医学混合现实领域的第一品牌,占据 30%— 50% 的市场份额。
* 稍后学术顾问联系您