日韩精品一区二区三区swag_一区二区三区在线高清_亚洲国内欧美_国产精品xnxxcom

    近日，聯(lián)通云智手機開放了“手機自動駕駛”功能的大規(guī)模商用，實現(xiàn)“一句話操控手機App”的功能。該功能背后的核心能力，是中國聯(lián)通數(shù)據(jù)科學(xué)與人工智能研究院自研的元景屏幕操控智能體和元景多模態(tài)GUI模型。憑借元景多模態(tài)GUI模型對屏幕內(nèi)容的精確理解和操控任務(wù)的準(zhǔn)確規(guī)劃，元景屏幕操控智能體為手機、PAD、電腦等多類硬件的App自動操控提供了有力支撐。
    元景屏幕操控智能體
    元景屏幕操控智能體能夠像人類一樣自動理解和操作智能設(shè)備的屏幕界面。用戶只需要簡單地輸入一個指令，比如“打開攜程預(yù)定車票”、“QQ音樂播放音樂”、或者“使用高德打車到指定位置”，屏幕操控智能體就能自動完成一系列復(fù)雜的操作，無需用戶手動點擊、輸入或切換應(yīng)用，大大節(jié)省了時間和精力。
    聯(lián)通云智手機“自動播放”功能演示視頻截圖（QQ音樂）
    元景屏幕操控智能體秘訣就在下圖中。當(dāng)用戶發(fā)出指令后，屏幕操控智能體會先對當(dāng)前屏幕進行“拍照”，然后將這張“照片”和用戶的指令一起發(fā)送給元景多模態(tài)GUI模型。模型會分析當(dāng)前屏幕上的各種元素（比如按鈕、文本框、圖標(biāo)等）、理解用戶的需求，并規(guī)劃出接下來的操作步驟，比如點擊某個按鈕、輸入文字、滑動屏幕等。然后，智能體就會按照這些步驟準(zhǔn)確地操作設(shè)備。
    元景屏幕操控智能體架構(gòu)
    如果屏幕操控智能體在自動操作過程中遇到需要輸入敏感信息的環(huán)節(jié)，比如登錄賬號、輸入密碼或者支付環(huán)節(jié)，其還會暫停操作并提醒用戶手動確認，以確保用戶的隱私和安全。在用戶完成輸入后，智能體會繼續(xù)自動操作，直至用戶的操作指令執(zhí)行完畢。
    以下視頻展示了元景屏幕操控智能體在手機上完成“打開攜程，幫我預(yù)定9月10日從成都到北京的飛機票，選擇07:55出發(fā)的那趟航班。”這一任務(wù)的工作流程：智能體會基于當(dāng)前屏幕截圖和用戶指令，逐步模擬人類操作手機，直到到達支付界面，提醒用戶支付。
    聯(lián)通云智手機“攜程訂飛機票”步驟演示視頻截圖
    元景屏幕操控智能體使得各類智能設(shè)備的操控操作變得更加簡單，尤其對老人、兒童等對智能設(shè)備操作不太熟悉的群體，提供了更加便利的操作方式。比如，老人想給遠在他鄉(xiāng)的孩子發(fā)一條信息，只需要說“給兒子發(fā)個消息，說我想他了”，智能體就能自動打開消息應(yīng)用，輸入文字并發(fā)送；孩子想聽一首歌，只需要說“播放周杰倫的《稻香》”，智能體就能自動找到歌曲并播放。對于上班族來說，它也能大大提升工作效率。比如需要快速完成各類申請、信息查詢、訂票、點外賣等操作時，都可以通過一句話的指令自動完成。
    元景多模態(tài)GUI模型
    作為元景屏幕操控智能體的核心，元景多模態(tài)GUI模型基于自研的創(chuàng)新復(fù)合視覺編碼模塊和元景語言模型構(gòu)建，具備對多種屏幕內(nèi)容的精確理解和多步復(fù)雜操作任務(wù)的高效準(zhǔn)確規(guī)劃能力，其中，復(fù)合視覺模塊融合了CNN（ConvNext）和ViT（Siglip、InternViT）兩類視覺編碼器，能夠在捕獲圖像細節(jié)以及空間特征的同時，全面理解圖像全局信息，從而實現(xiàn)了屏幕內(nèi)容的魯棒視覺表征。
    同時，為了支持動態(tài)分辨率輸入，復(fù)合視覺編碼模塊除了塊內(nèi)的位置編碼外，還對每個patch之間添加2D圖像位置編碼，從而加強了GUI模型對位置信息的感知。
    元景多模態(tài)GUI模型架構(gòu)
    元景多模態(tài)GUI模型使用了大量屏幕控制相關(guān)的識別定位和多步任務(wù)規(guī)劃圖文數(shù)據(jù)，覆蓋了不同操作系統(tǒng)的應(yīng)用、網(wǎng)頁、系統(tǒng)設(shè)置等界面，使得模型在準(zhǔn)確理解用戶輸入文本指令的同時，能夠準(zhǔn)確識別和定位屏幕上的各種圖形和界面元素，并規(guī)劃出復(fù)雜的多步操作任務(wù)，就像擁有一雙“火眼金睛”和一個&l