日韩精品一区二区三区swag_一区二区三区在线高清_亚洲国内欧美_国产精品xnxxcom

    近日，聯(lián)通云智手機(jī)開放了“手機(jī)自動(dòng)駕駛”功能的大規(guī)模商用，實(shí)現(xiàn)“一句話操控手機(jī)App”的功能。該功能背后的核心能力，是中國(guó)聯(lián)通數(shù)據(jù)科學(xué)與人工智能研究院自研的元景屏幕操控智能體和元景多模態(tài)GUI模型。憑借元景多模態(tài)GUI模型對(duì)屏幕內(nèi)容的精確理解和操控任務(wù)的準(zhǔn)確規(guī)劃，元景屏幕操控智能體為手機(jī)、PAD、電腦等多類硬件的App自動(dòng)操控提供了有力支撐。
    元景屏幕操控智能體
    元景屏幕操控智能體能夠像人類一樣自動(dòng)理解和操作智能設(shè)備的屏幕界面。用戶只需要簡(jiǎn)單地輸入一個(gè)指令，比如“打開攜程預(yù)定車票”、“QQ音樂播放音樂”、或者“使用高德打車到指定位置”，屏幕操控智能體就能自動(dòng)完成一系列復(fù)雜的操作，無需用戶手動(dòng)點(diǎn)擊、輸入或切換應(yīng)用，大大節(jié)省了時(shí)間和精力。
    聯(lián)通云智手機(jī)“自動(dòng)播放”功能演示視頻截圖（QQ音樂）
    元景屏幕操控智能體秘訣就在下圖中。當(dāng)用戶發(fā)出指令后，屏幕操控智能體會(huì)先對(duì)當(dāng)前屏幕進(jìn)行“拍照”，然后將這張“照片”和用戶的指令一起發(fā)送給元景多模態(tài)GUI模型。模型會(huì)分析當(dāng)前屏幕上的各種元素（比如按鈕、文本框、圖標(biāo)等）、理解用戶的需求，并規(guī)劃出接下來的操作步驟，比如點(diǎn)擊某個(gè)按鈕、輸入文字、滑動(dòng)屏幕等。然后，智能體就會(huì)按照這些步驟準(zhǔn)確地操作設(shè)備。
    元景屏幕操控智能體架構(gòu)
    如果屏幕操控智能體在自動(dòng)操作過程中遇到需要輸入敏感信息的環(huán)節(jié)，比如登錄賬號(hào)、輸入密碼或者支付環(huán)節(jié)，其還會(huì)暫停操作并提醒用戶手動(dòng)確認(rèn)，以確保用戶的隱私和安全。在用戶完成輸入后，智能體會(huì)繼續(xù)自動(dòng)操作，直至用戶的操作指令執(zhí)行完畢。
    以下視頻展示了元景屏幕操控智能體在手機(jī)上完成“打開攜程，幫我預(yù)定9月10日從成都到北京的飛機(jī)票，選擇07:55出發(fā)的那趟航班。”這一任務(wù)的工作流程：智能體會(huì)基于當(dāng)前屏幕截圖和用戶指令，逐步模擬人類操作手機(jī)，直到到達(dá)支付界面，提醒用戶支付。
    聯(lián)通云智手機(jī)“攜程訂飛機(jī)票”步驟演示視頻截圖
    元景屏幕操控智能體使得各類智能設(shè)備的操控操作變得更加簡(jiǎn)單，尤其對(duì)老人、兒童等對(duì)智能設(shè)備操作不太熟悉的群體，提供了更加便利的操作方式。比如，老人想給遠(yuǎn)在他鄉(xiāng)的孩子發(fā)一條信息，只需要說“給兒子發(fā)個(gè)消息，說我想他了”，智能體就能自動(dòng)打開消息應(yīng)用，輸入文字并發(fā)送；孩子想聽一首歌，只需要說“播放周杰倫的《稻香》”，智能體就能自動(dòng)找到歌曲并播放。對(duì)于上班族來說，它也能大大提升工作效率。比如需要快速完成各類申請(qǐng)、信息查詢、訂票、點(diǎn)外賣等操作時(shí)，都可以通過一句話的指令自動(dòng)完成。
    元景多模態(tài)GUI模型
    作為元景屏幕操控智能體的核心，元景多模態(tài)GUI模型基于自研的創(chuàng)新復(fù)合視覺編碼模塊和元景語言模型構(gòu)建，具備對(duì)多種屏幕內(nèi)容的精確理解和多步復(fù)雜操作任務(wù)的高效準(zhǔn)確規(guī)劃能力，其中，復(fù)合視覺模塊融合了CNN（ConvNext）和ViT（Siglip、InternViT）兩類視覺編碼器，能夠在捕獲圖像細(xì)節(jié)以及空間特征的同時(shí)，全面理解圖像全局信息，從而實(shí)現(xiàn)了屏幕內(nèi)容的魯棒視覺表征。
    同時(shí)，為了支持動(dòng)態(tài)分辨率輸入，復(fù)合視覺編碼模塊除了塊內(nèi)的位置編碼外，還對(duì)每個(gè)patch之間添加2D圖像位置編碼，從而加強(qiáng)了GUI模型對(duì)位置信息的感知。
    元景多模態(tài)GUI模型架構(gòu)
    元景多模態(tài)GUI模型使用了大量屏幕控制相關(guān)的識(shí)別定位和多步任務(wù)規(guī)劃圖文數(shù)據(jù)，覆蓋了不同操作系統(tǒng)的應(yīng)用、網(wǎng)頁、系統(tǒng)設(shè)置等界面，使得模型在準(zhǔn)確理解用戶輸入文本指令的同時(shí)，能夠準(zhǔn)確識(shí)別和定位屏幕上的各種圖形和界面元素，并規(guī)劃出復(fù)雜的多步操作任務(wù)，就像擁有一雙“火眼金睛”和一個(gè)&l