蘋果AI劃時代登場:整合GPT-4o、Siri全面進化、每個系統都能用

行業報告研究小站 2024-06-11 21:11:01

文 / 郝博陽 趙陽

淩晨的WWDC上,蘋果全部6大系統更新,還配上了40分鍾的AI計劃圖。全程幹貨滿滿,信息點多得人都有點喘不過氣來。

提起近幾年的WWDC,你都能想到什麽?除了作爲one more thing登場的Vision Pro以外,能讓人記起的實在是不多。鎖屏自定義、OCR文字識別、Widget組件登場——iOS的更新逐漸成了一系列小升級的集合。它們都看起來挺酷,但用處挺少,就像2022年的靈動島。

不僅iOS陷入了這樣的困境,安卓系統也是。在今年5月的I/O大會上,連谷歌自己都坦誠說近幾年實在沒什麽變化——底層技術沒有大的發展,系統産品上也就只能止于“雕花”。

但現在,新的可能橫掃一切科技産品的技術革新總算來了。我們也因此看到了這一場號稱iOS”史上最大更新“的發布會。

除了過瘾以外,在這次發布會上,你才真的感覺AI時代來了。

谷歌和微軟夾擊下,在AI策略上一直處于被動的蘋果,憑借著其對系統的深入理解在這次WWDC上甚至帶來了一絲反超的意味。

小到圖像、相冊、以及備忘錄,郵件,大到Siri系統的革新,AI帶來的改變幾乎無處不在。蘋果試圖將這一新獲得的能力,最大化的運用在它已有的系統之內。

下面我們就來看看,蘋果到底是如何將AI帶進它的系統裏去的。

6大OS齊更新,AI潤物無聲

蘋果先快速梳理了一下6大OS的更新,其新功能裏那些複雜的理解、推測,信息整合處處都透出了AI的影子。

visionOS 2

騰訊科技

,贊45

首先登場的是備受關注的VisionPro最新系統:visionOS 2。Vision Pro團隊負責人Mike Rockwell表示,在過去的時間裏,Vision Pro和visionOS爲廣大用戶的娛樂、工作和協作,解鎖了衆多新可能。而開發者們,也從Vision Pro裏汲取了更多的靈感,這在其他平台上是無法實現的。

Mike Rockwell介紹稱,截至目前,已有2000多款專爲Vision Pro打造的應用程序,而兼容iPhone和iPad的應用也已超過150萬個。

本次全新升級的visionOS 2帶來了空間照片功能。現在通過AI計算分析,visionOS 2就可以把圖庫中的所有2D圖像轉化成空間3D實景尺寸的圖像。

除此以外,visionOS 2整體的交互也有所升級,提供了更多快捷手勢,讓你只需點擊即可導航到主屏幕,並且你還可以翻轉手以調出控制中心、通知、Mac虛擬現實器等常用功能。據悉,今年晚些時候,這個Mac虛擬現實器功能還將擁有更高的分辨率、更大的尺寸。它甚至能進一步延展成環繞的超寬屏,寬度相當于兩台4K顯示器並排擺放。

不僅如此,visionOS 2還新添加了旅程模式,讓你在旅途中更好的享受大屏觀看電影或工作體驗。

剛才提到,在過去一年裏,visionOS上有2000多款應用爲Vsion Pro專門打造。爲了更多更好的應用不斷湧現,蘋果在開發者端還提供了更多API,包括制作TabletopKit和可以加載企業軟件的API,爲企業工作和App的創作的提供了更好工具。

而爲了提升其空間視頻的制作,蘋果還與Cannon聯合,推出全新的EOS R7鏡頭可用于拍攝空間視頻,並給Vemeo、 Final cut提供空間視頻剪輯能力。此外,蘋果沉浸式視頻(180 度 8K 格式)與 Blackmagic 和 達芬奇達成新合作,由後兩者提供更專業的拍攝和調色的工具。有了這些工具,紅牛正在制作沉浸式體育系列節目,它們也會在蘋果TV上登陸。

蘋果宣布,Vision Pro會新向8個國家和地區發售,首先是中國大陸、日本和新加坡,發售日期爲6月28日。其次是澳大利亞、加拿大、法國、德國和英國,發售日期爲7月12日。

iOS 18

騰訊科技

,贊19

除了visionOS 2和Vision Pro在國內發售的消息以外,蘋果在WWDC上也正式公布了iOS 18。全新的iOS 18對控制中心、照片、隱私控制等方面進行全面優化。

蘋果的軟件副總裁 Craig Federighi 展示了iOS 18的一系列更新。首先是可定制的主屏幕,可以讓你自由地將應用程序圖標放置在你想要的任何位置。例如,你現在可以把喜愛的牆紙、應用程序和各種小組件添加到主屏幕中。而且,蘋果還帶來了全新的深色外觀模式,來匹配你想要的桌面色調和風格。

此外,蘋果還對控制中心進行了升級,你現在不僅能夠在多個控件之間滑動,而且蘋果還面向開發者推出了新的控制API,可以把你認爲最重要的功能在最顯著的位置展示,甚至你可以在鎖屏狀態下,將相機和手電筒換成其他功能。

在安全隱私方面,iOS 18現在可以單獨鎖定某一個應用,讓它需要通過驗證才能打開,在一定程度上增強了隱私保護。而且,如果你有哪個應用程序不想被別人知道,現在你可以把它藏起來,放到一個新的帶鎖的隱藏APP文件夾裏。

全新的iOS 18還可以在信息回複中更加更多的表情符號,並且將有粗體、下劃線、刪除線和斜體的新格式展示。

對于日常大家常用的照片功能來說,爲了與 Android 上的 Google Photos 進行強有力的競爭,蘋果對iOS 18 中的照片應用進行了大規模的優化。其中,就包括人臉識別分類、照片集置頂等一系列快捷訪問功能。蘋果將人工智能引入到了照片應用,讓你能夠使用自然語言搜索照片。當然,你還可以清理圖片背景中的物體,類似于“路人消除”的功能。

此外,蘋果還在iPhone 中增加了衛星通信,在沒有無線局域網或蜂窩網絡的情況下,允許通過衛星進行信息發送。

在支付方面,爲了進一步幫你替換實體錢包,蘋果推出了Tap to Cash功能。這是一種快捷又私密的Apple Cash轉賬方式,無需共享電話號碼或電子郵件地址。有了Tap to Cash,只需將你們兩個的手機靠近即可完成支付。

另外,iOS 18還有一項重要的更新:蘋果宣布支持 RCS ,確認它將隨 iOS 18一起推出。不過,除此之外,蘋果並未透露任何其他細節。

macOS

騰訊科技

,贊11

在WWDC24上,蘋果正式公布了macOS 15 Sequoia,其中包括Apple Intelligence、iPhone 鏡像、跨平台密碼應用程序等等。開發者測試版現已發布,公開測試版將于 7 月發布,完整版將于 2024 年秋季發布。

蘋果介紹稱,macOS Sequoia包含有Apple Intelligence,這是一套適用于iPhone、iPad和iOS 的AI功能。比如,蘋果在WWDC上演示的寫作功能。它可以總結電子郵件和其他應用程序中的文本,並自動進行電子郵件的撰寫和回複。而且有了Apple Intelligence,Siri現在也可以通過語音提取上下文信息進行回複。

蘋果宣布,Apple Intelligence 將于“今年夏天”與Sequoia測試版一起推出,但是想要設備擁有這一功能需要M1或更高版本的處理器。

另外,全新的macOS 15 Sequoia中還擁有iPhone鏡像(iPhone Mirroring)功能,可讓你通過Mac來控制你的手機。在演示中我們看到,通過iPhone Mirroring,你的iPhone屏幕可以完全鏡像到Mac上,並且你可以通過觸摸板,像操作手機一樣來滑動屏幕,甚至可以通過Mac鍵盤在手機上進行打字。

本次Safari也迎來了更新,新功能包括使用機器學習來檢測和總結頁面上的重點信息,生成摘要和目錄。而且,它還爲頁面視頻內容提供了畫中畫模式。

macOS 15 Sequoia還新增一個跨平台的Passwords應用,可以存儲多種新類型的帳戶信息,包括Wi-Fi密碼、密鑰、驗證碼和共享密碼等等。它將在iOS、iPad、Mac、visionOS和Windows上使用。

tvOS

WWDC24中,蘋果還宣布對tvOS進行了優化,爲你觀看電視帶來了全新的體驗。

蘋果介紹稱,Apple TV+引入了一項全新功能InSight。它可以讓你在觀看Apple Originals節目或影片時,只需在遙控器上向下輕掃就會實時顯示演員及其角色名稱。而且,如果你對正在播放的歌曲感興趣,你也可以快速查看曲目並將其添加到Apple Music播放列表中。

音頻方面,tvOS的增強對話功能可利用機器學習技術來提高人聲清晰度,確保演員的對白始終聽得清楚,而且字幕也會智能添加,當你暫停或回放事,它會自動彈出字幕。目前,這個全新的增強對話功能可以適用于電視、音響以及AirPods和其他藍牙設備。

此外,搭載了全新tvOS的Apple TV還新增21:9寬銀幕模式,可以截取Apple TV劇集中的精彩畫面做屏保。

除了在電視上對音頻的優化以外,蘋果還把新的音頻技術應用到了AirPods和遊戲上。

在易用性方面,蘋果表示,未來你所使用的AirPods在配合Siri應用時將更加簡單方便——免提體驗絲滑又順暢。比如當你在公交車上不方便開口回應Siri時,有了新的音頻功能,只需要你稍微點點頭或搖搖頭,AirPods就知道你要做什麽。

另外,AirPods還加入了全新的語音突顯功能,可以在各種嘈雜的環境下,消除周圍的背景噪音,清晰的接聽電話。

值得一提的是,AirPods進一步對空間音頻進行了優化,號稱可以帶給你前所未有的沉浸感,提升遊戲體驗。

蘋果表示,這個升級後的空間音頻技術,將在騰訊遊戲和EA聯合出品的Need for Speed Mobile首批加入,並于今年秋季推出。

watchOS

在WWDC24中,蘋果還帶來了全新的watchOS 11。在運動、健康監測以及智能應用方面再次升級。

在運動方面,watchOS 11加入了全新的訓練負荷功能。訓練負荷功能可以通過你的訓練強度和時長,配合心率、配速和高度這些熱量值數據,結合年齡、體重等個人數據,通過新的算法自動將傳感器數據,轉爲對你訓練的耗能評分。打分從1-10,看你是否真的竭盡了全力。充分了解自己、了解自己的運動強度——蘋果稱,這是watchOS 11中幫助你保持活力的新方式。

此外,蘋果還帶來了全新的Vitals App。這款應用可以通過你曆史以往的心率、睡眠呼吸頻率以及手腕溫度等信息的對比,判斷你當前的身體狀況,只要有不合格的指標超出,你就會馬上得到提醒。

在全新的watchOS 11中,蘋果針對智能疊放功能也進行了升級。蘋果稱,它會變得更加智能,各種小組件能在你需要時自動出現,比如快下雨時會有降水預測小組件來提醒你、出國旅行時會有翻譯小組件在旁協助。

而且,智能疊放功能還增加了類似“報平安”的新功能。比如,當你和朋友聚會後,讓你的朋友知道你已經安全到家;當你外出夜跑時,可以給你的朋友同步的信息等等。

還有一個比較有趣的是,現在新的watchOS 11還能幫你找到最適合你表盤的照片了。通過機器學習,系統能夠通過面部表情、畫面美感以及構圖等等,智能的識別、評估和精選出最佳照片用于你的表盤設置。顯然,這對于選擇困難症的你來說,可能是一個不錯的功能。

iPadOS

騰訊科技

,贊8

本次iPadOS 18升級涵蓋了iOS中的主要更新,包括個性化設置,自定義控制中心和照片重溫功能。

本次升級中最重磅的就是iPadOS對App的重新布局,現在iPad裏的應用都按照App名+浮動標簽欄的模式展示,在其中你可以調節你想用的功能/內容。而且在進入內容後,標簽欄也可以變成側邊欄。

同播共享(SharePlay)更新,可以遠程控制家人的系統,還可以把自己在iPad上的展示塗鴉分享給家人。

蘋果還帶來了新的計算器升級,添加了Math Note系統。可以利用Pencel直接手寫數學算式,然後直接幫助你計算出結果,甚至能幫你計算複雜公式,並且可以理解所有不等式裏的變量變化。還可以給出對應的函數圖像。

MathNote寫出的內容可以直接同步到新的備忘錄裏。

除此以外,筆記還推出了新功能Samrt Script,它將利用強大的“設備端機器學習風格”讓手寫更好、更流暢、更直、更清晰。寫字不好看再也不用愁。用戶可以將文本粘貼到手寫筆記中,它會顯示在你的手寫內容中。它還可以更好地識別你的筆記意圖,支持手寫內容的拼寫檢查、文本換行和複制粘貼。比如你可以通過劃掉直接刪除你的筆記,還可以隨意變化筆記中位置,爲新的筆記騰出空間。

蘋果的大計劃亮相:Apple Intelligence

路線圖公布,隱私成重點

在介紹蘋果Apple Intelligence之前,庫克先講了蘋果使用AI的原則“我們希望帶來的結果能展現出我們産品的核心原則,它必須足夠強大,能在各種要緊事上幫到你,也必須直觀易用,還要深度整合到産品的使用體驗中。更重要的是,它必須能懂你,並以你的個人情境爲基礎,比如日常安排、人際關系、溝通交流等。另外,它必須從設計之初就注重隱私保護。“

接著庫克總結道:“所有這些加在一起,就不止人工智能那麽簡單,這就是個性化智能,也是Apple接下來的重要一步。”

蘋果高級副總裁Craig表示Apple Intelligence這項智能技術的真正獨特之處是能理解你的個人情境。它根據你的個人數據,你現在打開的頁面等背景,調用多種Agent能力理解你的需求,並完成你的目標。比如當你說想去爲你家人接機時,它可以同時調用郵件裏,航班資訊等一系列信息,並調出地圖告訴你怎麽去想去的地方。蘋果將之命名爲個人情景感知。

這不禁讓人想到了微軟前幾天公布的回憶(Recall)功能,它引發了大家對于隱私的極大焦慮。但對于蘋果來講,這似乎不是什麽問題。它提供了兩種解決方案,首先是能在端內運行的大模型功能就會僅通過端側AI運行,蘋果只在端內收集信息而不會傳送到雲端。大多數AI功能都可以完全在端側完成,這主要是蘋果的超強芯片的功勞。深度集成的生成模型需要巨大的處理能力。

其次,如果是複雜到非要用雲端模型的話,其雲端模型都不可以不經你同意就存儲相關信息。爲了保證你的雲端使用和信息安全,蘋果還打造了私人雲端計算。這些模型都會在他們使用 Apple Silicon 專門創建的服務器上運行,因此也擁有極強的隱私保護功能。在這裏你的數據絕不會被長期儲存,它只用于完成其雲端的大模型計算步驟。在運作過程中,其加密方式將雲鎖定到您的手機。

然而馬斯克表示:根本不信。接了OpenAI,隱私就沒戲。

他還進一步表示,在他的公司,集成OpenAI的蘋果將被禁用。

Graig還表示,Apple Intelligence另一個深刻影響,就是它能跨多個app執行操作,而且它所需工具的各種資源就在你口袋裏常用app中,Apple Intelligence能取用這些工具。這正是AI的下一步,作爲智能體的AI。而其載體就是Siri。這估計就是蘋果灰質計劃(Grey Matter Project)的關鍵。

Siri的新紀元

與之前傳言的Siri已死不同,蘋果官方給出的數據時,它現在一天內會收到高達15億次的調用需求。

而新的Siri將更自然,更相關,更個人化。它會和系統進行更深入的整合。

這種結合首先出現在其出場方式上。現在它被喚醒後出來的不再是那個氣泡,而是一圈圍繞屏幕的光暈。

而且它也終于可以記住上下文對話了。對同一件事你不用再反複提及,說代詞就好。

對于那些不方便說話的場景,Siri現在支持打字了!比如說,當你感覺危險時,你可以用它悄悄報警了。

作爲最基礎的大模型能力,Siri現在可以作爲一個知識庫應用,但暫時只能回答你對蘋果功能的疑問。

除了以上這些變化之外,其他的Siri升級都需要等到明年之後。但這些升級看起來都相當讓人期待。

明年蘋果將帶來Siri的屏幕內感知功能,它可以看到屏幕上發生的事情。比如你的朋友向你發送了他們的地址,你只需說“將此地址添加到聯系人卡片”,它就會執行此操作。

Siri 將成爲一個可以采取行動的智能體,它可以調用各種App內的功能,比如找到照片,調節照片。還可以跨應用使用。

通過之前提到的個人情景感知。Siri也會通過你的個人信息更好的理解和處理你的需求。

而Siri調用應用的能力來自于蘋果的App Intents框架,它讓App能定義Siri、快捷指令,以及其他系統體驗的一系列操作。而開發者可借助App Intents架構定義他們App中的各種操作。

介紹Siri新功能的Kelsey Peterson表示,這次WWDC將會是Siri的新紀元。

騰訊科技

,贊13

AI在應用端郵箱功能

蘋果郵箱現在加入了Rewrite 功能,能幫你智能生成文本的多個版本,並讓你從中選擇。你可以選擇語氣,格式。語氣上可以讓他更正式,更清晰。格式上你甚至可以把邀請改成一首詩。它還能只改你選擇的一部分,而非全部。

Apple intelligence還提供了總結,郵件的智能回複功能。現在他會自動總結你的郵件,你在郵箱裏看到的就是最重要的總結。而且它還會把最近最重要的臨期事件郵件自動放在最上方。

這項功能在短信裏也一樣,它會把那些亟待處理的問題放在最上面的地方。

圖像能力

Genmoji,可以在設備端用鍵盤創造最應景的Emojii。還可以在多個被選中選擇。你還可以直接用照片形成Emoji,並將它放進你的對話裏。

Image Playground,與過往複雜的文生圖軟件不同,它更私人化,會根據對話建議你生成圖像的幾個關鍵詞,比如你最近對話的朋友。而且你也不用費心想Prompt,用幾個詞生成圖像的預覽。Image Playground 可在各種應用程序中使用,還有一個專用的 Image Playground 應用程序。還有一個供第三方開發人員使用的 API。

比如備忘錄裏的新增的Image Wand,就是通過接入Image Playgrund把草圖直接轉化成更完整圖像。在這裏你用Pencil畫的草圖加上一些關鍵詞,就可以生成新的更完整的圖像。

相冊

首先蘋果補齊了其他安卓手機都有的魔力筆刷功能,即用生成式AI更改照片。

蘋果還利用AI提升了搜索能力,現在你可以用自然語言來找具體的照片。更進一步,你甚至可以在一個視頻裏找到特定的段落。

蘋果還展示了一項非常有趣的延展功能:回憶相冊。還可以摘取與你需求相關的照片,自動組合成一個影片,形成關于這件事所有回憶的相冊視頻。連音樂都不用你挑,而是AI直接從Apple Music裏選擇最搭配的音樂。

除此以外,Notes 和 Phone 應用程序也增加了新的 AI 錄音和轉錄功能。

官宣OpenAI合作,但並不是對方的唯一

騰訊科技

,贊17

蘋果還正式宣布了與OpenAI的合作。Siri可以直接調用ChatGPT,你可以利用Siri和它對答。在應用中,也可以直接調出ChatGPT,Apple對模型和應用本身進行了很好的融合,讓ChatGPT的産出,如大綱,文章能直接顯示在應用中。用戶可在iOS系統中免費直接調用ChatGPT,且不用創建賬戶。若用戶已有賬戶,可以進行關聯。ChatGPT的融合會在今年稍後上線。但ChatGPT不會是唯一一個和蘋果合作的大模型公司,蘋果表示,它准備整合多個AI外部模型,避免用戶需要在不同App間切來切去。

開發者用得上的AI才有價值

Apple Intellengence 的效果如何可能最終還是要看開發者社區的發掘。爲了讓開發者更好的使用這項功能。蘋果以全新API和框架更新了SDK,例如,開發者可以將Image Playground加入自己的app,添幾行代碼就行了。Xcode也融合了人工智能能力,幫助開發者更好的在Swift上開發App。

總之, AI這回在蘋果的系統裏,基本上做到了無處不在。

結語

在AI風起雲湧一年半之後,蘋果總算趕上了這班車。

看似好像晚了點,但也許是剛好。

在它之前,已經有很多安卓系手機廠商嘗鮮過了AI。在海外,谷歌去年10月份就公布了第一代AI手機Pixel 8和其對應的AI系統Android 14;三星今年一月份則打出了AI for All的口號,S24裏塞滿了新AI的功能。國內的手機廠商更甚,只要是叫得上名的,華爲,小米,OPPO,vivo,不論哪家都被AI賦了能。

但仔細拆解下來,他們不過是把大語言模型塞進了手機,讓它作爲Chatbot去做總結,翻譯之類它擅長之事。再試著把其中的生成能力融合進一些程序之中。這固然是AI很重要的一個應用方向,但對于手機來講,這只是功能,而非革命。

甚至這些功能中的很多都像近幾年iOS的更新一樣,噱頭大過實用性。

但正如庫克所說,能帶來改變的AI必須足夠強大,能在各種要緊事上幫到你,也必須直觀易用,還要深度整合到産品的使用體驗中。

蘋果其實在努力朝這個方向前進。

雖然現在蘋果的AI功能與競品大體相似,但一些比競品深一步的設計確實是畫龍點睛。比如說蘋果在各個環節都提到的智能排序信息體系,它可以把最重要和最緊急需處理的消息優先在鎖屏或應用場景上排序給你。像馬上需回複的郵件,天氣預報裏一小時後的大雨都可以讓你第一時間看到並處理,貼心如斯。

在它與應用的融合中,許多點看得出來是真需求,而非炫技。比如Smart Script,能實現手寫內容的簡單擦除、移位,這是利用AI解決掉過往用戶體驗中痛點。在其圖像生成應用Image Playground中,爲了給一般用戶降門檻,它不需要完整的Prompt,只需要關鍵詞就能生成。它甚至會根據你最近的對話給出關鍵詞建議,懂到你心裏。

另外,蘋果在AI上還寄出了它的傳統殺手锏:隱私保護。

蘋果對此無所不用其極,甚至用上了私人雲計算的服務確保你在利用AI時的隱私安全。這毫無疑問屬于後發優勢,在微軟的Recall 被黑客輕松破解翻車之後,AI使用方面的隱私安全越來越成爲人們的核心關切。蘋果在此處的強調非常及時。

最後,蘋果給AI應用落地畫出的路線圖也比對手要清晰。它想讓AI系統“能懂你,並以你的個人情境爲基礎。“蘋果計劃利用你的所有端側個人信息來讓AI真正成爲一個了解你的個人助手,而非一個與你無關的問答工具。這才是端側融合的真正意義,也是用戶想要的和他們真正相關,有用的AI。而蘋果希望能達成的利用AI在多程序間聯動應用的目標,更是智能硬件的下一個道標。

因爲對AI和其他所有智能硬件來講。一個更底層的革命,是以AI爲中介,讓他作爲一個全能的Agent型助理,改變我們與應用的關系。

這正是蘋果打算賦予Siri的新使命。

和Siri當年一樣,這條路,它是第一個走的。雖然這一切可能都要在明年才得以實現,但這確實是我們想要的,明確的AI未來。

有很多人認爲蘋果這種以AI爲中介的系統會讓蘋果的App Store生態崩潰。但其實並不會。因爲只要AI還需要調動App來完成工作,那App的遴選,推薦和使用還是要經過蘋果。設備和系統本身才是App Store的圍牆。

這一步步的改進,其實很冒險。比如有些功能從現場演示看還是過于理想化,比如更改郵件排序,這是之前郵件軟件都不敢做的事情。如果出了垃圾郵件被前排放置的情況,其對蘋果的影響應該不亞于谷歌那些醜聞。

而能處理困難問題,跨應用的Agent需要更大的算力和更好的模型。這個畫了的餅要能實現,找到效果、需求、成本間的平衡才是最重要的。

因此下一代智能設備的舞台,蘋果還能不能唱主角。決定的因素可能在6月,而不是9月。

但從今天蘋果的表現來看似乎還相對比較讓人放心。

後來居上的故事,谷歌沒演出來,蘋果也許能演好。

從這次之後的WWDC,終于又一次讓人真正期待起來了。

0 阅读:26

行業報告研究小站

簡介:感謝大家的關注