隨著全球老齡化加劇，腔鏡手術(shù)量年增長率超18%，外科醫(yī)生面臨巨大操作負擔(dān)。現(xiàn)有手術(shù)機器人（如da Vinci）雖能輔助手術(shù)，但任務(wù)自動化局限于特定場景（如預(yù)編程動作），缺乏跨場景泛化能力。而近期重磅發(fā)表于《Science Robotics》（最新影響因子為27.5，五年影響因子達32.9）的一項名為“Surgical embodied intelligence for generalized task autonomy in laparoscopic robot-assisted surgery”的研究中提出了基于具身智能的腹腔鏡手術(shù)機器人通用任務(wù)自主性研究，旨在突破傳統(tǒng)手術(shù)自動化方法對額外傳感器輸入或基于人工預(yù)定義規(guī)則與模型依賴的局限性，通過視覺基礎(chǔ)大模型，具身智能控制策略學(xué)習(xí)，首次實現(xiàn)多任務(wù)、跨場景的自主操作。研究團隊構(gòu)建了包含視覺解析（Visual Parsing）、感知回歸器（Perceptual Regressor）、策略學(xué)習(xí)（Policy Learning）與視覺伺服控制（Visual Servoing Controller）的全新VPPV范式，依托團隊自研的開源仿真平臺SurRoL，實現(xiàn)了通用手術(shù)機器人的自主操作，并在商業(yè)平臺Sentire思騰?腔鏡手術(shù)機器人（以下簡稱“Sentire思騰?”）上完成活體動物體內(nèi)驗證1。

研究亮點總結(jié)

全球首例臨床場景下自主手術(shù)活體動物驗證：在外科醫(yī)生監(jiān)督自主模式下完成活體豬模型3類任務(wù)。

純視覺人工智能方案，無需任何額外傳感器：自主操作僅需手術(shù)機器人視覺系統(tǒng)輸入，可無縫部署至真實臨床場景。

通用性：數(shù)據(jù)驅(qū)動的解決方案，可應(yīng)用于多種自主操作任務(wù)。

開源仿真平臺SurRoL的生態(tài)價值：100%自研具身智能平臺，涵蓋手術(shù)機器人交互環(huán)境，多種手術(shù)任務(wù)仿真，強化學(xué)習(xí)訓(xùn)練引擎。

自動化“第三只手”，解鎖人機協(xié)作新范式：機器人自動完成多種輔助操作，有望提升外科醫(yī)生手術(shù)效率。

方法論創(chuàng)新與技術(shù)架構(gòu)

VPPV全流程范式

關(guān)鍵創(chuàng)新：基于視覺基礎(chǔ)大模型實現(xiàn)穩(wěn)健場景理解，強化學(xué)習(xí)范式實現(xiàn)通用的多任務(wù)策略學(xué)習(xí)，AI策略與傳統(tǒng)控制的分層融合架構(gòu)提升自動化的穩(wěn)定性，模塊化的設(shè)計更利于算法的更新與迭代。

實驗驗證與關(guān)鍵結(jié)果分析

手術(shù)訓(xùn)練任務(wù)的自動化

在SurRoL仿真平臺上，VPPV完成了7項常見的機器人腹腔鏡手術(shù)基礎(chǔ)訓(xùn)練任務(wù)的學(xué)習(xí)和自動化，包括到達針抓取點 （NeedleReach），針拾取（NeedlePick）、紗布拾?。℅auzeRetrieve）、拾取與放置（PickAndPlace）、樁轉(zhuǎn)移（PegTransfer）、板匹配（MatchBoard）和針重新抓取（NeedleRegrasp）。令人印象深刻的是，系統(tǒng)在虛擬環(huán)境中的表現(xiàn)出色——例如針頭拾取、紗布拾取的任務(wù)成功率達到100%，樁轉(zhuǎn)移任務(wù)成功率為98%。更關(guān)鍵的是，當(dāng)這些在"虛擬世界"中訓(xùn)練的AI技能被應(yīng)用到真實的手術(shù)機器人上時，依然保持了良好的表現(xiàn)。在達芬奇研究平臺(dVRK)的真機測試中，紗布拾取達到96%，而對于針頭拾取任務(wù)雖有更好的精度要求，仍能達到成功率84%，而對于進階手術(shù)訓(xùn)練任務(wù)樁轉(zhuǎn)移，能達到86%的成功率，證明了VPPV方法良好的仿真-現(xiàn)實遷移能力。

離體組織實驗（Sentire思騰?）

為了更接近真實手術(shù)環(huán)境，研究團隊在離體豬胃組織（保留胃網(wǎng)膜動靜脈）上進行了嚴格的驗證實驗，采用國產(chǎn)的Sentire思騰?腔鏡手術(shù)機器人完成5類輔助任務(wù)自動化驗證，總成功率接近90%。實驗設(shè)置嚴格模擬真實手術(shù)場景：組織隨機旋轉(zhuǎn)（±180°）、平移（±5cm），并引入光照變化、模擬煙霧及呼吸運動干擾。其中三項關(guān)鍵技術(shù)指標(biāo)表現(xiàn)尤為突出：

內(nèi)窺鏡自主操控：該任務(wù)目標(biāo)為自動調(diào)整內(nèi)窺鏡的姿態(tài)，使得手術(shù)器械位于視野中央。通過視覺解析實時定位器械尖端，DDPG策略驅(qū)動內(nèi)窺鏡調(diào)整位姿，使器械穩(wěn)定居中于術(shù)野，成功率達95%（圖1）；這項技術(shù)可以解放醫(yī)生對手術(shù)工具和腹腔鏡的操作切換及對視野的頻繁控制，讓醫(yī)生專注于手術(shù)操作本身。

自動紗布精準(zhǔn)拾?。涸撊蝿?wù)目標(biāo)為自動拾取紗布并且放置于出血點進行止血，該任務(wù)通常為助手醫(yī)生完成。FastSAM分割結(jié)合IGEV深度估計，定位紗布中心點；RL策略控制器械跡接近目標(biāo)，視覺伺服執(zhí)行抓取后覆蓋出血點，成功率達91%（圖2）；

自動軟組織牽引：在腹腔鏡手術(shù)中，經(jīng)常需要牽拉組織以獲得更好的手術(shù)視野。MPM軟體仿真訓(xùn)練的策略驅(qū)動器械抓取目標(biāo)組織，機械臂自主牽拉組織暴露術(shù)野，在器械多構(gòu)型（針持、雙極鉗）及煙霧干擾下保持魯棒性，成功率達91%（圖3），實驗結(jié)果表明該算法學(xué)會了如何有效地抓取和牽拉軟組織，為主刀醫(yī)生創(chuàng)造理想的操作空間，并成功實現(xiàn)人機協(xié)作下的軟組織切割。

圖1 離體實驗中，真實世界場景的不同設(shè)置對內(nèi)窺鏡操控的影響

圖2 離體實驗中，真實世界場景的不同設(shè)置對紗布拾取的影響

圖3 離體實驗中，真實世界場景的不同設(shè)置對軟組織牽引的影響

實驗結(jié)果證明：

平臺兼容性：VPPV框架無縫適配Sentire思騰?應(yīng)用程序編程接口（API），控制延遲低于25ms；

環(huán)境魯棒性：在煙霧、光照變化、器械多構(gòu)型下保持高成功率；

操作高效性：（圖4）統(tǒng)計了機器人執(zhí)行軌跡的長度，展示極小的冗余動作。

圖4 基于運動學(xué)數(shù)據(jù)記錄的各任務(wù)機器人執(zhí)行軌跡長度結(jié)果

活體動物驗證（Sentire思騰?+監(jiān)督自主性）

研究團隊在約30公斤活體豬模型上進行了最具挑戰(zhàn)性的驗證實驗。實驗同樣采用了國產(chǎn)Sentire思騰?腔鏡手術(shù)機器人，這項實驗采用了創(chuàng)新的"監(jiān)督自主性（supervised autonomy）"安全模式：由資深胃腸外科醫(yī)生首先在腹腔鏡視野下標(biāo)記安全操作區(qū)域，隨后在醫(yī)生密切監(jiān)督下自主執(zhí)行任務(wù)，醫(yī)生可隨時接管控制權(quán)，確保手術(shù)安全。實驗在香港中文大學(xué)醫(yī)療機械人創(chuàng)新技術(shù)中心的混合手術(shù)室內(nèi)進行，模擬真實的機器人輔助胃部游離手術(shù)環(huán)境。（圖5）：

紗布拾取成功率83%：這看似簡單的任務(wù)在活體環(huán)境中面臨前所未有的挑戰(zhàn)。血染紗布與周圍軟組織的顏色差異極小，傳統(tǒng)的顏色識別方法完全失效。VPPV方法創(chuàng)新性地采用視覺基礎(chǔ)模型，不再依賴單純的顏色特征，而是通過形狀、紋理、空間和語義的綜合分析來識別目標(biāo)，實現(xiàn)了紗布中心的定位和自動抓取和，展示算法在動態(tài)復(fù)雜環(huán)境中的適應(yīng)能力；

軟組織牽引成功率 77%：在活體環(huán)境中，軟組織的物理特性與離體組織存在顯著差異——場景更加復(fù)雜多變。研究團隊成功驗證了革命性的人機協(xié)作模式：AI控制的"第三只機械手"專門負責(zé)組織牽拉，為手術(shù)視野創(chuàng)造理想空間，而主刀醫(yī)生可以專注于操控其他兩只機械臂進行精細的腸系膜解剖。這種協(xié)作模式顯著提升了手術(shù)效率，減輕了醫(yī)生的操作負擔(dān)。

血管夾閉成功率67%：這是技術(shù)難度最高的任務(wù)，需要在直徑僅5毫米的豬右胃網(wǎng)膜動脈上精確放置止血夾。而10毫米寬的夾閉器要求控制精度達到2.5毫米級別。當(dāng)夾閉器接近血管時，精密的視覺伺服控制器自動激活，通過圖像反饋進行精準(zhǔn)的血管定位。實現(xiàn)了成功夾取，代表了毫米級精度自動化的技術(shù)突破。

圖5 在監(jiān)督自主性模式下進行的活體動物試驗驗證：（A）活體實驗裝置；（B）自動化手術(shù)任務(wù)示意圖，包含紗布拾取、軟組織牽引和血管夾閉。每個任務(wù)展示兩個示例場景，包含內(nèi)窺鏡圖像（頂部）、估計的深度圖（左下方）和目標(biāo)物體分割（右下方）

本研究通過VPPV范式首次實現(xiàn)手術(shù)機器人多任務(wù)零樣本仿真-現(xiàn)實遷移，其成功源于三層創(chuàng)新架構(gòu)：視覺解析層（FastSAM+IGEV處理真實手術(shù)噪聲）、策略抽象層（感知回歸器輸出物理可解釋的9D狀態(tài)向量）、執(zhí)行優(yōu)化層（DDPG規(guī)劃與視覺伺服閉環(huán)控制）。這一框架在Sentire思騰?腔鏡手術(shù)機器人上的驗證具有里程碑意義，其本質(zhì)在于康諾思騰憑借全棧自研與垂直整合戰(zhàn)略構(gòu)建的技術(shù)平臺——通過底層機電系統(tǒng)（軌跡誤差<3.3mm）、實時控制固件（API延遲25ms）與立體視覺模塊[1080p/60fps雙互補金屬氧化物半導(dǎo)體（CMOS）+現(xiàn)場可編程門陣列（FPGA）加速]的深度耦合，形成獨特的AI就緒且AI 友好架構(gòu)。該平臺不僅承載離體組織5類輔助任務(wù)全流程自動化（內(nèi)窺鏡操控/紗布拾取/軟組織牽引等），更支撐全球首例活體血管夾閉AI自主操作，其開放性接口使VPPV算法與硬件無縫協(xié)同，MPM軟體仿真參數(shù)反向校準(zhǔn)機械臂力控模塊（交互力誤差<0.3N），完整實現(xiàn)從算法到系統(tǒng)的優(yōu)化閉環(huán)。而"監(jiān)督自主性"范式（醫(yī)生標(biāo)記安全區(qū)域+實時接管）依托多臂協(xié)同特性，在第三機械臂自主牽引時解放外科醫(yī)生雙手，同時模塊化設(shè)計預(yù)留語音中斷等擴展接口——這種跨平臺部署能力（dVRK與Sentire思騰?雙驗證）推動手術(shù)自主性從概念邁向臨床，彰顯垂直整合技術(shù)生態(tài)的產(chǎn)業(yè)化潛力。

技術(shù)泛化性方面，SurRoL開源仿真平臺（集成dVRK數(shù)字孿生、MPM物理引擎、RL/IL算法庫）已形成社區(qū)生態(tài)，加速算法迭代；而VPPV的模塊化設(shè)計支持持續(xù)升級，例如視覺解析層可嵌入分割一切模型（SAM）等大模型提升分割精度，策略層可融合大型語言模型(LLM)生成高階手術(shù)計劃。面向未來，需攻克活體動態(tài)補償（如呼吸運動建模）、長時程任務(wù)鏈（如吻合術(shù)）及跨平臺適配等挑戰(zhàn)，而Sentire思騰?的開放式API將在此進程中發(fā)揮核心樞紐作用——其已證明的臨床兼容性與安全性，為手術(shù)自主性從L2（工具輔助）向L3（任務(wù)自主）演進鋪設(shè)了產(chǎn)業(yè)化通路。

研究團隊