深挖兩份低調公佈的材料後，發現了蘋果AI的秘密
郝博陽、郭曉靜、吳彬 本文作者
蘋果在大模型時代落後了嗎？幾乎所有人都希望在蘋果WWDC24上找到這個答案。然而，在最重要的主題演講環節之後，爭議也紛至沓來：發佈會前半部分是被戲謔爲“追趕安卓”的小功能集合，後半部分最重磅的AI，從表面上看和安卓手機目前已經對外發布的AI能力大差不差，被很多人認爲“沒有驚喜”。段子開始在網上傳播：“WWDC24最大的驚喜是蘋果給iPad帶來了一個新的計算器”。
雖然真正意義上的AI硬件還沒有出現，但是大模型可能成爲未來端側設備中等同於操作系統的“核心”，已經成爲行業中的某種共識。這樣重要的大模型能力，蘋果到底有沒有？蘋果在AI時代，難道真的要靠OpenAI這樣的第三方大模型公司了嗎？
主題演講的當天，蘋果的股價下跌了1.9%，這似乎符合外界對於這場發佈會的”平淡“評價。然而，戲劇性的事情出現了，蘋果股價在主題演講的第二天，暴漲7%創出歷史新高。資本市場是市場合力的體現，對於蘋果3.18萬億的巨大市值體量來講，資金背後情緒的巨大反差，值得引起關注。
順着之前的爭議焦點，我們將關注點集中到了兩份資料：一份資料是蘋果在官網低調發布的大模型技術文檔，其中有很多值得深挖的細節。另外一份是騰訊科技在現場的同事，發回的一份筆記，筆記記錄了主題演講之後舉辦的一個不起眼的閉門對談內容，對話的兩個人是“蘋果公司的軟件工程高級副總裁雷格·費德里吉（Craig Federighi）和蘋果公司機器學習和人工智能戰略高級副總裁約翰-吉安南德雷亞（John Giannandrea），他們二位都直接向CEO庫克彙報。對話的內容包括爲何與OpenAI合作以及如何保護隱私等。
本文圍繞這兩份資料，試圖抽絲剝繭地探究一下，蘋果的“大模型競爭力”究竟怎樣。
重點有兩個：
蘋果自研大模型的能力很強；
OpenAI並沒有爲Apple Intelligence提供支持，兩者完全獨立。Apple Intelligence完全由Apple自研模型提供支持。
首先是信息逐漸清晰：有兩個在發佈會上並沒說明的信息，在發佈會後逐漸清晰化。
1.蘋果低調發布了自研模型：不僅有端側的小模型，還有云端大模型
在Keynote上，蘋果一直在講擁有了AI能力的端側設備，能帶給用戶多麼神奇的應用體驗。但是這些模型到底是誰家的？哪些是蘋果自研的，哪些是和OpenAI合作的？雖然承諾了隱私安全，但是究竟具體如何保障？馬斯克連發推怒懟蘋果如果集成了OpenAI，將在公司禁用蘋果。但是蘋果整場主題演講下來，我們都沒找到明確答案。
直到發佈會後，它發佈了一篇技術博客，並在State of Union上公佈了它會在蘋果設備上用的模型細節：端和雲模型，都是蘋果自己開發的。
自研大模型趕上GPT4
具體來看，蘋果設備上的端側模型是一個30億參數（3B）的小模型，雲上模型具體參數蘋果沒有公佈。這兩個模型的性能都相當能打。
3B級小模型和主流幾個7B級模型能力上蘋果都能基本勝出（勝出+平手概率>50%)。而其雲端模型則直接打到了GPT-4 Turbo級（勝出+平手概率58.3%）。
這一發布可能纔是整個蘋果這波更新裏最大的核彈：蘋果自研出了GPT4級大模型，而且一出場就已經成熟到可以直接接入蘋果的軟硬件體系內了。
這意味着之前對蘋果模型能力的質疑完全不成立。蘋果現在不用依靠外部模型公司就能構建出自己內部閉環的AI系統。這是除了谷歌之外的其他手機廠商當下完全無法做到的。
這就是蘋果把OpenAI只列爲之一，而且是作爲外部調用的模型之一的底氣。
端側小模型強優化
另外說說端側模型，在發佈會上蘋果強調大多數Apple Intelligents的操作都會在端側模型上完成。但在發佈會後所有人幾乎都在質疑，一個3B大小的模型是不是能真的完成發佈會上展示的那些功能。
首先，3B大小的端側模型落地其實已經很不容易了。
看看蘋果的競品們的表現吧：谷歌在去年12月首次把其端側模型Gemnini Nano部署到旗艦手機Pixel 8 Pro上，它的參數大小不過是1.8B，而且能力非常侷限。三星S24在端側也用的是Gemnini Nano。要知道Pixel 8 Pro具有12G內存，直到今年5月谷歌剛剛纔能讓8G內存的Pixel 8 和 8a也跑上這個1.8B的模型，還要下個月才能真正升級部署。而其他手機廠商部署的端側模型基本上都是在1B級別的參數規模。
而蘋果做到了讓自己8G內存的iPhone 15 Pro跑起來一個3B參數的模型。這工程能力就甩出競爭對手一個身位。
在這之前，蘋果已經爲此做足了準備，在去年12月引起轟動的論文《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》裏，蘋果就提出瞭解決小內存運行大模型的方法，使用窗口化（Windowing）以及行列捆綁（Row-Column Bundling）兩項關鍵技術，來最小化數據傳輸和最大化閃存吞吐量。
在這次的技術文檔中，蘋果還提到了他們在模型框架中用上了分組注意力查詢（grouped-query-attention）和LoRA適應器框架。這兩項技術一個避免重複映射，一個可以壓縮推理過程，都可以有效降低內存佔用和推理成本。
另外，爲了保證AI模型的運作不至於大幅降低手機功耗，蘋果還配上了功耗分析工具 Talaria，及時優化功耗。
在這一系列操作之下，3B模型的端側部署才成爲了可能。
其次，在這篇技術博客裏，蘋果也展示了他們如何去保障小模型的交付能力：不全能，但對具體任務做了加強。
具體來講，蘋果在基礎模型上加了很多微調的適配器。適配器是疊加在通用基礎模型上的小型模型權重集合。它們可以動態加載和交換，使基礎模型能夠根據當前任務實時進行針對性特殊化處理。蘋果智能包含一系列適配器，針對應急判斷，總結，郵件回覆等諸多發佈會上上的功能都進行了精細調優。
因此，至少端側模型可以較好的完成基本的摘要、寫郵件等最常見的工作。
綜合來看，蘋果在這次發佈會上所展示出來的綜合模型能力基本可以說是遠超預期。從大模型到小模型都一躍進入了第一梯隊。
2.只有新旗艦才能用上的AI，可能引發新的換機潮
另一個消息也很重要：雖然iOS18系統升級可以適用於iPhoneX以上的所有機型，但蘋果的AI功能只能適用在iPhone 15 Pro及以上機型，其它終端需要M1芯片以上的能力。這意味爲了能用上AI，用戶可能必須要進行一波換機潮。
這其實也不是蘋果有意卡老用戶。端側大模型的運行瓶頸一方面是算力，一方面是內存。對蘋果來說，算力問題可能反倒不是那麼棘手。本次Apple Intelligent下放的產品從M1開始。M1芯片負責AI推理的NPU能力其實還比不上A16，但也足夠處理蘋果端側模型的推理需求了。那iPhone14 Pro乃至iPhone 15爲什麼不行？還是因爲內存不夠。
因爲在模型進行推理過程中需要佔用很大的運行內存（DRAM），較小的內存會嚴重拖慢推理速度甚至無法完成推理。因此iPhone 15 Pro及以上的蘋果手機纔有的8G內存，可能就是當下經過一系列優化的3B端側模型所需的最小內存數。
但這件事本身也有着優化的空間。昨天上交大發布的PowerInfer2手機推理框架就提出了進一步減小內存佔用的方法。GeminiNano下放到Pixel 8也說明了谷歌也在做一樣的努力。
但內存需求小了，還有7B，14B的模型排隊等着上端。長遠來看，機還是不得不換。畢竟只有更大的端側模型才能帶來更多讓用戶買單的體驗魔法。
既然蘋果自研的大模型能力如此強大，爲何還要和OpenAI合作？蘋果公司的軟件工程高級副總裁克雷格·費德里吉（Craig Federighi）和約翰·吉安南德雷亞（John Giannandrea）在Keynote之後的閉門對話環節揭示了這個細節，騰訊科技在WWDC現場的同事發回了這場對話的內容記錄。“現有的擁有豐富公共信息的大語言模型，如ChatGPT，也有其用途。這些非常大的前沿模型有一些用戶很喜歡的有趣功能，我們將其集成到我們的體驗中可以使用戶體驗更豐富。”
考慮到這一點，Apple在WWDC官宣了與OpenAI合作，在其平臺上提供更強大的AI服務。然而，值得注意的是，OpenAI的ChatGPT並沒有爲Apple Intelligence提供支持，兩者完全獨立。Apple Intelligence完全由Apple自研模型提供支持。
這就意味着，雖然Apple在WWDC現場官宣了和OpenAI的合作，但是這種合作並不是如外界猜測的，集成入蘋果系統中的。這種合作更像是和第三方大模型公司合作的一個範式，Federighi解釋說Apple與OpenAI合作是因爲GPT-4o目前是最好的LLM，但Apple可能會在未來與其他LLM提供商合作，允許用戶選擇外部LLM提供商。SamAltman的態度也很曖昧，一向高調的他，在“如此重要”的合作達成之後，僅僅發佈了一條推特。
根據Federighi所說，Apple Intelligence被設計爲高度個性化的智能，需要利用個人設備上的數據，如照片、聯繫人、消息和電子郵件等，執行任務。當用戶有更復雜的AI請求時，OpenAI的ChatGPT可以發揮作用。例如，某人可以使用他們的Mac或iPhone向ChatGPT發送查詢，如果他們希望ChatGPT爲他們編寫電影劇本。
而且，Apple在設計其與ChatGPT的集成時也採取了隱私優先的思維。未經用戶許可，任何用戶數據都不會發送到OpenAI。在任何請求發送到ChatGPT處理之前，用戶必須首先手動允許。“例如，我是醫生，我可能希望將來引入一個醫療模型；我是律師，我可能有一個專爲法律工作精煉的模型，我想將其引入我的個人設備中。“蘋果認爲這最終是將是對用戶在個人智能方面所做工作的很好補充。”
通過與OpenAI的合作探路，未來蘋果是否會像今天打造APP生態一樣，繼續在Apple的設備上引入百花齊放的模型，爲用戶提供無比個性化和智能化的體驗？這些還是未知數，我們拭目以待。
雖然蘋果在WWDC上展示的這些應用場景看起來並沒有多麼神奇，但是不得不說，這些確實是用戶實際應用中比較好的落地場景。比如iPadOS上筆記學習的功能，計算器全屏識別的功能，iOS上Gen emoji的能力等等，既有趣又有用。都是做應用，但是蘋果顯然做的更討巧，更容易被用戶深度的感知到。
在發佈會後，騰訊科技主導的直播討論中，怒喵科技創始人李楠就表示：“蘋果的端側模型具有系統級別的權限和數據訪問能力。如果你問蘋果真的在AI能力上做到了什麼？它是全行業第一個真正把手機本地的API與端側模型無縫銜接的，並且是全行業第一個真正把用戶個人數據拿給端側模型進行fine-tuning的。別的端側模型也想做這事兒，但是他們拿不到這些數據的訪問權限。蘋果的端側AI的核心技術能力一定會越來越強大。”
這種強大的本源力量來源於蘋果獨特的生態體系，這是安卓希望做而難以做到的，而蘋果可能是短時間內，能打通所有硬件終端設備AI體驗和流轉的，唯一的一家公司。
這無疑是蘋果這麼多年立足於科技行業頂端不曾跌落的重要的護城河。他們擁有極其堅實的生態壁壘，這不單單是產品和系統之間的，包括底層的芯片和開發工具，蘋果都可以做到完全的統一。
這幫助蘋果在端側AI時代，即便是後來者，也能提供前人無法實現的AI生態，甚至他們能提供更多的AI應用生態場景，比如此次WWDC24上，蘋果就展示了包括AI生成emoji、AI驅動的數學備忘錄等等讓人眼前一亮的功能，這相對於很多廠商還只在宣傳AI摳圖能力相比，顯然會更加有吸引力。
“我們希望人工智能不是取代我們的用戶，而是增強他們的能力"。克雷格-費德里吉在圓桌對話中談到蘋果對於AI的看法，“這與我們之前看到的人工智能都不盡相同”。
和OpenAI的關係確定之後，隨之而來的問題是“蘋果如何將已存在的用戶數據交給第三方，完成AI生成內容的同時，保證它們的安全”。
這對於蘋果來說極其重要。
作爲今年WWDC最重要的產品，克雷格-費德里吉在發佈Apple Intelligence的時候，用了很重的篇幅去試圖告訴用戶，Apple Intelligence所打造的這種“端+私有云”組合方式，是多麼的安全。蘋果通過系統級的安全芯片加密，以及完全封閉的傳輸路徑，去保證這一點……
蘋果在主題演講中着重提及了這部分的流程，他們在系統中增加了一個開關，所有輸出到GPT-4o的內容，都一定是用戶主動發起確認的內容。
同時克雷格也在圓桌上表示蘋果處理用戶需求的過程，如果要上雲，他們擁有一套獨立的加密算法，用戶數據脫敏，處理之後數據會隨即銷燬，蘋果對於這個過程中的數據是完全無法干預的。
蘋果希望通過這樣的方式方法，去告訴用戶這足夠安全。甚至他們還找到了一些獨立的安全研究人員，開放給他們Apple Intelligence的服務器，引入第三方去幫助他們證明用戶數據的安全是不會被泄露的。
但這依然沒能消除外界對於隱私數據安全外泄的擔憂，尤其是在Siri接入到GPT-4o之後，用戶數據如何脫敏、如何在蘋果-OpenAI-蘋果的這條傳輸路徑中不走錯路口等等問題，都一股腦的拋向了蘋果。
面壁智能首席研究員韓旭在和騰訊科技的解讀直播中也表示了擔憂，他認爲只要數據從蘋果傳給了第三方，無論是OpenAI的GPT還是Google的Gemini，蘋果可能都將會失去對於數據安全的控制權，這確實會對蘋果的隱私安全提出新的挑戰。
但好消息是，這並不是蘋果第一次面臨這樣的問題。
蘋果在選擇搜索供應商的時候，曾經陷入過類似的討論。當蘋果將Google確認爲iPhone默認的（海外）搜索引擎時，曾經就被質疑如何保證用戶的隱私數據不被泄露。庫克在接受外媒專訪時，闡述的內容和如今他們選擇OpenAI出奇的一致。
蘋果選擇Google，庫克表示谷歌在搜索引擎這一方面是做的最好的。
蘋果選擇OpenAI，克雷格也表示目前OpenAI是蘋果最好的選擇。
庫克在談及搜索引擎時，表示蘋果也在其中融入了很多的控制選項，如在Safari瀏覽器中開發了隱私瀏覽模式，並配有智能防跟蹤器等，來爲用戶提供全方面的幫助。
而克雷格在談及AI時，更多的還只聊到了他們在端側+私有云的加密策略，但對於OpenAI的部分，顯然還沒有透露更多。
或許可以預見，在未來的很長一段時間裏，蘋果都會無數次的證明，自己的AI策略是安全的，包括自己的和第三方的，這對於蘋果這家公司來說，是紅線。
👇 點個“在看”分享洞見