全新 Copilot 及代理體驗讓強大的 AI 功能在 Windows 11 上變得簡單易用
Microsoft執行副總裁兼消費者首席營銷總監 Yusuf Mehdi
Microsoft 今日邁向一個令人振奮的里程碑,透過全新一系列更新,讓每一部 Windows 11 PC都成為以 Copilot 為核心的 AI PC。這項更新將強大的 AI功能融入用戶日常的 Windows 體驗中,讓 AI 工具變得更易使用。
Microsoft 認為 AI PC應具備以下三項特質:
- 首先,用戶應該能夠以自然文字或語音與AI PC 互動,讓AI理解用戶的需求。
- 其次,AI PC 應該能夠「看見」用戶螢幕上的內容,並提供引導支援,幫助用戶完成任務。
- 第三,AI PC 應該能夠代表用戶執行操作。
以上功能都建基於 Windows 11 的安全保障,並需要獲得用戶授權才會運行。
Microsoft 相信,這場以對話為核心的互動方式轉變,將如同滑鼠與鍵盤的誕生一樣,為最廣泛的用戶群體釋放 PC 功能的全新可能。
到目前為止,AI 的強大功能往往取決於用戶撰寫提示的技巧。提供的背景和細節越多,回應就越豐富。但反覆輸入文字既繁瑣又耗時,尤其當需要多次嘗試才能達到理想效果。
隨着68% 的消費者表示正在使用 AI 來協助決策,語音輸入讓這一切變得更簡單。
Copilot Voice 和 Copilot Vision 的突破在於互動時的便利性。用戶只需說出新的喚醒詞「Hey Copilot」,並講出需求,即可輕鬆完成任務。在用戶的授權下,Copilot Vision 能分析螢幕上的內容,幫助用戶學習新應用程式、獲得專案建議,甚至指導用戶如何完成工作。自推出以來,Copilot Vision 的早期用戶已展出許多創意應用場景,例如對裝置進行疑難排解、獲得逐步指導,甚至學習複雜的編輯工具。
這項強大的功能適用於所有配備 Copilot 的 Windows 11 裝置。
讓我們深入了解Windows 11上Copilot的最新功能。
只需對Windows 11說出:「Hey Copilot」
人們每天都在對着電腦說話,以進行語音輸入及存取、筆記紀錄、語音轉錄、搜尋等重要的無障礙功能。現時的電腦已經能聽懂用戶的說話。我們觀察到當用戶使用語音輸入時,他們與Copilot的互動頻率是使用文字的兩倍。這種便利能讓用戶更深入體驗Copilot。
全新的喚醒和結束語句功能讓使用Copilot變得更加簡單。現在,現在 Windows 11 PC上全面推出,讓用戶能隨時以 Copilot Voice 開始與AI對話。
若用戶想使用這項功能,只需在 Copilot 的應用程式設定中啟用「Hey, Copilot」,然後以「Hey, Copilot…」作為開頭說出指令。屆時,用戶會看到畫面上出現Copilot 的麥克風,同時會聽到一個提示音效,代表 Copilot 正在聆聽。
若要結束對話,用戶可以說「Goodbye」或點擊「X」。在互動停止的幾秒鐘後, Copilot亦會自動結束對話並發出提示音效,確認對話已經結束。
Copilot Vision 現於全球 Windows 市場全面推出
Microsoft已在在所有提供 Copilot 的市場上推出Copilot Vision。
功能包括:
- 完整的桌面及應用程式共享:當用戶與Copilot分享桌面或應用程式時,Copilot 能協助分析內容、提供見解及在回答問題的同時提供語音指導。無論是提供改善創意專案的建議、修改履歷,還是遊戲導航,Copilot 都能提供即時協助。
- 重點功能:用戶可以透過「重點功能」詢問 Copilot「告訴我如何」完成特定任務,Copilot便會在應用程式中指示用戶需要點擊的位置及操作步驟。有了這項功能,Copilot便可以在用戶玩遊戲時提供建議、查看照片並指導用戶如何修正圖像亮度,甚至檢查用戶的旅行行程,以確保行李清單能滿足當地需求。
- Word、Excel、PowerPoint 完整應用程式內容理解:當用戶分享 Word、Excel 或 PowerPoint 檔案時,Vision 能獲得全面的應用程式內容,而不但是當前螢幕上顯示的內容。例如當用戶要求Copilot 協助審核 PowerPoint 的簡報內容時,它能分析整份簡報,而無需逐頁翻閱。
- 文字互動:這個功能即將於向Windows Insider 測試人員計劃用戶推出,讓用戶能以文字與 Copilot Vision 對話,Copilot 會在同一聊天視窗以文字回應。過去用戶只能用語音輸入指令,Copilot 會以語音方式進行指導。在未來即使用戶忘記帶耳機或偏好文字互動,Vision 都能提供支援。
更深入、更豐富的 Windows 11 體驗 即將登陸 Windows Insider 測試人員計劃及 Copilot Labs
十多年來,Windows Insider 測試人員計劃用戶社群的活力與熱情,一直為Windows 的未來發展帶來無限創新動力。現在,結合 Copilot Labs,Microsoft 將為 Windows Insider 測試人員計劃用戶帶來更多實驗性 AI 及代理功能。
為確保 Microsoft 提供的體驗真正符合用戶所需,Microsoft 將率先在 Windows Insider 測試人員計劃預覽以下功能,並根據用戶的回饋持續改進。
全新工作列體驗 讓 Copilot 融入用戶的工作流程
全新工作列上的「Ask Copilot」功能,讓 Copilot 成為用戶使用 PC 時的得力助手,在有需要的時候隨時準備好協助、指導與協作。
Microsoft 的願景簡單而大膽:將工作列打造成一個動態樞紐,助用戶以更少精力完成更多任務,並將日常操作轉化為高效且愉快的體驗。這項選擇性功能提供一鍵啟動 Copilot Vision 及 Voice的功能,讓用戶以更自然的方式與 Copilot 互動。無論是語音、文字或透過 Copilot Vision 的引導式支援,用戶都可按自己習慣的方式與 Copilot 協作。
全新簡化的搜索體驗採用煥然一新的設計,配合極速的搜尋結果,讓用戶能更快、更輕鬆地找到應用程式、檔案和設定。搜尋結果會隨輸入即時更新。
此功能使用現有的 Windows API 來顯示用戶的應用程式、檔案和設定,類似於 Windows 搜尋功能,並不會授予 Copilot 存取用戶內容的權限。
在 Copilot Labs 預覽本機檔案的 Copilot Actions 功能
今年五月,Microsoft 宣佈網頁版 Copilot Actions 功能,讓 Copilot 能代表用戶執行實際操作,例如預訂餐廳或訂購日用品。
即將在 Copilot Labs 向 Windows Insider 測試人員計劃用戶推出預覽的實驗功能,讓 Copilot Actions 擴展至 Windows 本機檔案,直接執行操作。
無論是整理旅遊相片,或從 PDF 檔案中擷取資訊,Copilot Actions 都能根據用戶 PC 上的內容協助完成任務。
作為一個通用代理,用戶只需用自己的話描述想完成的任務,代理就會嘗試透過桌面和網頁應用程式來完成。
在此過程中,用戶可專注處理其他任務,亦可隨時接手或檢查進度,包括檢視已執行的操作。
Microsoft 將從少量使用情景開始,逐步改善模型效能並從中學習。用戶可能會看到代理出錯或在處理複雜介面時遇到挑戰,因此在真實環境中測試此功能至關重要,有助功能持續改進,令體驗更強大及流暢。
Copilot 功能再升級 新增 Copilot 連接功能、簡易文件建立及Windows 設定整合
Copilot 連接功能讓用戶能將常用的服務直接連接至 Windows 上的 Copilot 應用程式,包括 OneDrive 檔案、Outlook 聯絡人、電郵、行事曆事件,亦支援 Google 服務如Google Drive、Gmail、Google Calendar及Google Contacts。
只要選擇連接服務,Copilot 就能以用戶輸入的語言搜尋並理解其個人資訊,讓用戶能更輕鬆地在多個平台中尋找及記錄重要資訊。例如,用戶可以說:
- 「找出我的牙醫預約詳情」,裝置便能即時顯示行事曆項目。
- 「Mary 的電郵地址是什麼?」,然後無需翻查收件匣即可取得聯絡資訊。
- 「找出我 Econ 201 課的課堂報告」,Copilot 便會在 OneDrive中搜尋並迅速提供最相關的文件。
用戶現在也可要求 Copilot 將文字匯出到 Word、Excel 或 PowerPoint,以更快投入項目工作中。例如,若用戶請 Copilot 協助處理一份功課,便能將成果直接匯出為用戶指定的格式化文件、試算表或簡報。
同時,Windows 上的 Copilot 現加入與 Windows 設定整合的功能。用戶只需用自然語言向 Copilot 詢問 Windows PC 設定,即可獲直接連結至相關 Windows 設定的頁面。現在,用戶可以提出如「讓螢幕設定變得更易於閱讀」或「減少干擾以協助我提升專注力」等問題,Copilot 便會引導用戶前往相對應的 Windows 設定頁面。
提供更深入及強大的 AI 功能 助用戶專注於工作流程
我們很高興在 Windows 中推出更多全新的 AI 操作功能,讓用戶以更輕鬆的方式完成各項任務。
Manus 是一款通用 AI 代理,可在 PC 上執行各種任務。透過檔案總管中的全新 Manus AI 操作功能,用戶能夠一鍵完成複雜的工作任務,例如是以裝置上資料夾中的文件建立網站。操作方式極其簡便,選取文件後右鍵點擊「以 Manus 建立網站」,Manus 即可在幾分鐘內為用戶完成網站建立,無需上傳檔案,亦無需編碼。
用戶亦可在 Windows 中以原生應用程式方式使用 Manus,包括直接在聊天視窗中輸入指令,例如:「請用我裝置上的圖片檔案,生成一個專業的網站」,即可獲得 Manus 提供的相同 AI 輔助功能,無需離開當前工作畫面便可建立網站。
Manus 運用 Windows上的 Agentic 平台能力,如模型上下文協議(Model Context Protocol),在數分鐘內為用戶擷取合適的文件並建立網站,無需手動上傳圖片或多重操作。用戶可繼續當前作業或處理其他任務,Manus 會在後台安全運作,協助完成任務。此功能目前正處於私人預覽階段,更多更新將稍後公佈。
Microsoft 還在檔案總管中推出另一項全新的 AI 操作功能,讓用戶可直接透過Filmora編輯影片,輕鬆無縫地展開影片剪輯工作。
最後,使用 Copilot+ PC 的 Windows Insider 測試人員計劃用戶將可體驗 Zoom 與 Click to Do 的整合功能。
不久後,用戶只需在螢幕上將滑鼠指標懸浮於電郵地址上,即可透過 Click to Do 立即安排 Zoom 會議,無需切換應用程式、複製詳細資料或中斷工作流程,讓用戶保持工作節奏,在當前操作位置即可立即行動。
透過Gaming Copilot(Beta)及 ROG Xbox Ally,Xbox 與 Windows 攜手推出流動 AI 遊戲新體驗
在遊戲領域方面,Xbox 與 Windows 的合作比以往更緊密,攜手開創全新遊戲方式。
玩家現可透過與ASUS 合作開發的掌上型遊戲裝置——ROG Xbox Ally 及 ROG Xbox Ally X,以嶄新方式體驗 Xbox、Windows 及 Copilot 。
除了可在同一平台上快速存取 Xbox、Game Pass 及其他主流 PC 商店中已安裝的遊戲外,用戶亦可與 Copilot 對話。
用戶一鍵便能啟動用戶的個人遊戲助手——Gaming Copilot。長按遊戲庫按鈕,即可與 Gaming Copilot 對話,獲取遊戲推薦、協助及更多支援,無需離開遊戲畫面。
Windows 11 上的 AI 安全防護
安全是 Windows 所有工作的核心,亦與 Microsoft 的安全未來倡議(Secure Future Initiative)保持一致。Windows 11 是 Microsoft 迄今最安全的作業系統——從設計與預設即啟用多層防護,從啟動電腦一刻起即開始保護用戶。
安全並非一個選項,而是持續的承諾。隨著 Windows 推出強大的代理體驗,Microsoft 亦致力不斷提升防護措施,保障用戶的私隱與安全。
以下是 Microsoft 在Windows 推出 Copilot Actions,於代理發展旅程中邁出新一步時作出的三項安全承諾:
- 用戶始終掌控 Copilot Actions 的權限。Copilot Actions 預設關閉,用戶可隨時暫停、控制或停用其功能。
- 用戶可隨時掌握 Copilot Actions 的動態。用戶可監控進度,並在每個步驟中掌握最新資訊。如涉及敏感或重要決策,系統會請求用戶批准特定操作,確保過程由用戶主導。
- Microsoft 以負責任方式推出新功能。除了進行廣泛的內部測試外,安全體驗的關鍵在於負責任地推出新功能,先從預覽版開始,收集回饋以不斷完善安全與私隱控制。
詳情請參閱在 Windows 上保障 AI 代理使用安全。
Windows 致力成為推動代理體驗的最佳平台,提供最全面的安全保障。我們期待在下個月 Microsoft Ignite大會上,進一步分享有關 Windows 代理安全的資訊,包括企業級控制。
現正是升級至 Windows 11 PC的最佳時機
隨著Windows 10 PC的支援結束,數以百萬計用戶正升級至全新Windows PC,享受更快速、更安全、面向未來的體驗 。升級至Windows 11可確保用戶持續受到保護,並充分利用 Windows 11 創新優勢;而現在,升級亦帶來更強大的 AI 功能,讓用戶即時使用。
我們希望每位用戶在升級後都能親身體驗個人 PC 不僅是工具,更是值得信賴的夥伴。這些體驗適用於所有 Windows 11 PC。
如果用戶正在物色新電腦,現時市場上已有多款 Windows 11 PC可供選擇,涵蓋不同價位與規格,由 Surface 及 Microsoft 生態系統合作夥伴提供,滿足各種需求。若要獲得最快速、最安全體驗,可選擇配備神經處理單元(NPU)的 Copilot+ PC,享受更強大的 AI 體驗。
- Acer Aspire 14 AI 設計簡約,是兼顧效能與便攜性的理想之選。搭載 Intel Core Ultra 處理器(第 2 代)及內建 Intel® Arc™ 顯示卡,機身設計時尚現代,提供多日電池續航。
- ASUS Vivobook 16 是一款高效能筆電,專為日常工作與創意應用而設。這款 16 吋螢幕、搭載 AMD Ryzen AI 300 系列處理器的 Copilot+ PC 提供強大效能、更長電池續航力及充足儲存空間,滿足各種所需。
- Dell 14 Plus Laptop 外型時尚輕巧,搭載 AMD Ryzen AI 300 系列處理器。這款 Copilot+ PC 能在裝置上執行 AI 工作,同時輕鬆處理日常任務,是行動、多任務的理想選擇。
- HP Omnibook X Flip 16 吋 2 合 1 筆電是 HP Envy 的 AI 強化進化版,設計高級,靈活配合用戶的生活方式。搭載 Intel Core Ultra 處理器(第 2 代),輕巧且具獨特 AI 體驗,適合獨立工作者、專業人士、創作者及學生。
- Lenovo Yoga 7 2 合 1 Copilot+ PC 採用 360° 可翻轉設計,配備靈敏觸控螢幕及 Yoga Pen,方便筆記、繪圖或隨心切換使用模式。搭載 AMD Ryzen AI 300 系列處理器及 Lenovo AI Core,於 16 吋 IPS 螢幕上提供自動調節效能。
- Samsung Galaxy Book4 Edge 16 搭載 Snapdragon X Elite 處理器,結合強大效能與便攜性,支援長達 22 小時的影片播放、超快速充電,以及 16 吋 3K Dynamic AMOLED 2x 顯示器。直覺式觸控螢幕支援多點觸控手勢,無論工作或娛樂都能輕鬆操作。
- Surface Copilot+ PC 搭載 Snapdragon X 系列處理器,具備強大效能、長效電池續航及實用 AI 功能,外型簡約時尚,為用戶提供更多選擇。Surface Laptop,13 吋擁有 Surface 系列最長的電池續航力,支援長達 23 小時的影片播放及長達 16 小時的網頁瀏覽。Surface Pro,12 吋則是目前最輕薄的 Copilot+ PC,設計靈活,配備內建可調式支架。
立即透過 Microsoft Store 更新,體驗 Windows 11 上最新的 Copilot 功能,並密切留意 Windows Insider Blog,隨時掌握 Windows Insider 測試人員計劃即將推出的新體驗。
我們期待與所有用戶一同探索、創造與實現更多可能,讓 Windows 與 Copilot 成為用戶身邊的得力夥伴。
