这两天赌钱赚钱app，Apple Intelligence 的上线成为了最大的科技新闻之一。
天然比拟 1 个多月前公布的齐全版 Apple Intelligence， iOS 18.1 beta 1 中引入的 Apple Intelligence 功能并不齐全，Image Playground、Genmoji、优先奉告、具有屏幕感知功能的 Siri 和 ChatGPT 集成……这些完全王人还莫得。
但总的来说，苹果如故带来了 Writing Tools（写稿器具）、通话灌音（含转录）以及全新想象的 Siri。
其中，Writing Tools 复旧重写、专科化、省略等功能，不错用于聊天、发一又友圈、札记以及文本写稿等场景；通话灌音不仅不错记载通话，还能自动转录成文本，方便用户总结。
此外，Siri 也得到了「升级」，可惜当今还仅限于想象，包括全新的「赛马灯」殊效以及键盘输入复旧。
但引东谈主戒备的是，苹果在一篇名为《Apple Intelligence Foundation Language Models》的论文中流露，苹果并莫得给与常见的 H100 等 GPU，而是选了「老敌手」谷歌的 TPU，覆按 Apple Intelligence 的基础模子。
图/苹果
用谷歌 TPU，真金不怕火成 Apple Intelligence
无人不晓，Apple Intelligence 所有分红三层：一层是运行在苹果开垦土产货的端侧 AI，一层是基于「独特云野心」时期运行在苹果自荒谬据中心的云表 AI。按照供应链传出的讯息，苹果将通过无边制造 M2 Ultra 来构建自荒谬据中心。
此外还有一层，则是接入第三方云表大模子，比如 GPT-4o 等。
不外这是推理端，苹果是怎样覆按出我方的 AI 模子，一直是行业内关怀的焦点之一。而从苹果官方的论文来看，苹果是在 TPUv4 和 TPUv5p 集群的硬件上覆按了两个基础模子：
一个是参数范畴达到 3 亿的开垦端模子 AFM-on-device，使用 2048 块 TPU v5p 覆按而成，土产货运行在苹果开垦上；一个是参数范畴更大的劳动器端模子 AFM-server，使用 8192 块 TPU v4 芯片覆按，最终运行在苹果自荒谬据中心里。
图/苹果
这就奇怪了，毕竟咱们王人知谈，英伟达 H100 等 GPU 才是当今覆按 AI 的主流聘请，以至会有「AI 覆按只用 Nvidia GPU」的说法。
与之相对，的 TPU 就显得有些「名不见经传」。
但事实上，谷歌的 TPU 是专为机器学习和深度学习任务想象的加快器，大要提供不凡的性能上风。凭借其高效的野心才气和低蔓延的网罗相连，谷歌的 TPU 在经管大型模子覆按任务时发达出色。
举例，TPU v4 就能提供了每个芯片高达 275 TFLOPS 的峰值算力，并通过超高速互连将 4096 个 TPUv4 芯片相连成一个大范畴的 TPU 超算，从汉典毕算力范畴的倍增。
而且不仅是苹果，其他大模子公司也给与了谷歌的 TPU 来覆按他们的大型模子。Anthropic 公司的 Claude 即是一个典型的例子。
聊天机器东谈主竞技场排名，图/LMSYS
Claude 如今不错说是 OpenAI GPT 模子最浩大的竞争敌手，在 LMSYS 聊天机器东谈主竞技场上，Claude 3.5 Sonnet 与 GPT-4o 耐久是「卧龙凤雏」（褒义）。而据流露，Anthropic 一直莫得购买英伟达 GPU 来搭建超算，即是使用 Google Cloud 上 TPU 集群来覆按和推理。
客岁底，Anthropic 还官宣最初使用 Google Cloud 上的 TPU v5e 集群来覆按 Claude。
Anthropic 的耐久使用，以及 Claude 发达出来的后果，王人充分展示了谷歌 TPU 在 AI 覆按中的高效性和可靠性。
此外，谷歌的 Gemini 亦然完全依赖于自研的 TPU 芯片进行覆按。Gemini 模子旨在鼓舞和生成时期的前沿，其覆按过程需要经管无边的文本数据，并进行复杂的模子野心。
而 TPU 的浩大野心才气和高效的辞别式覆按架构，使得 Gemini 大要在相对较短的时安分完成覆按，并在性能上得回权贵讲理 。
但若是说 Gemini 尚可长入，那从 Anthropic 到苹果又为什么聘请谷歌 TPU，而不是英伟达 GPU？
TPU 和 GPU，谷歌和英伟达的暗战
在本周一举办的野神思图形学顶级会议 SIGGRAPH 2024 上，英伟达独创东谈主兼 CEO 黄仁勋泄漏，本周英伟达就将发送 Blackwell 架构的样品，这是英伟达最新一代的 GPU 架构。
2024 年 3 月 18 日，英伟达 GTC 大会上发布了其最新一代 GPU 架构——Blackwell，以及最新一代 B200 GPU。在性能上，B200 GPU 在 FP8 及新的 FP6 上不错达到 20 petaflops（每秒千万亿次浮点运算）的算力，使其在经管复杂 AI 模子时发达出色。
Blackwell 发布的两个月后，谷歌也发布了其第六代 TPU（Trillium TPU），每块芯片在 BF16 下不错提供接近 1000 TFLOPS（每秒万亿次）的峰值算力，谷歌也将其评价为「迄今甩掉性能最高、最节能的 TPU」。
图/谷歌
对比谷歌的 Trillium TPU，英伟达 Blackwell GPU 在高带宽内存（HBM3）和 CUDA 生态系统的复旧下，在高性能野心中仍然有着一定的上风。在单个系统中，Blackwell不错并行相连多达 576 个 GPU，已毕浩大的算力和活泼的彭胀性。
比拟之下，谷歌的 Trillium TPU 则提神在大范畴辞别式覆按中的高效性和低蔓延。TPU 的想象使其大要在大范畴模子覆按中保持高效，并通过超高速网罗互连减少通讯蔓延，从而提高全体野心效力。
而不仅是在最新一代的 AI 芯片上，谷歌与英伟达之间的「暗战」本色照旧存在了 8 年，从 2016 年谷歌自研 AI 芯片 TPU 就驱动。
到今天，英伟达的 H100 GPU 是当今主流市集上最受迎接的 AI 芯片，不仅提供了高达 80GB 的高带宽内存，还复旧 HBM3 内存，并通过 NVLink 互连已毕多 GPU 的高效通讯。基于 Tensor Core 时期，H100 GPU 在深度学习和推理任务中具有极高的野心效力。
但同期，TPUv5e 在性价比上具有权贵上风，相当符合中小范畴模子的覆按。TPUv5e 的上风在于其浩大的辞别式野心才气和优化的能耗比，使其在经管大范畴数据时发达出色。此外，TPUv5e 还通过谷歌云平台提供，便于用户进行活泼的云表覆按和部署。
谷歌数据中心，图/谷歌
全体来说，英伟达和谷歌在 AI 芯片上的策略各有侧重：英伟达通过提供浩大的算力和平凡的开发者复旧，推动 AI 模子的性能极限；而谷歌则通过高效的辞别式野心架构，普及大范畴 AI 模子覆按的效力。这两种不同的旅途聘请，使得它们在各自的应用边界中王人展现出了独特的上风。
不外更迫切的是，能击败英伟达的，也唯有给与软硬件协同设战术略，同期领有浩大的芯片才气和软件才气的敌手。
谷歌即是这么一个敌手。
英伟达霸权的最强挑战者
Blackwell 是继 Hopper 之后英伟达的又一紧要升级，具有浩大的野心才气，专为大范畴言语模子（LLM）和生成式 AI 而想象。
据先容，B200 GPU 给与了台积电 N4P 工艺制造，领有多达 2080 亿个晶体管，由两块 GPU 芯片给与互连时期「构成」，何况配备了高达 192GB 的 HBM3e（高带宽内存），带宽可达 8TB/s。
老百姓是中国医药零售覆盖最广的企业之一。2023年年末，公司连锁网络（不含联盟）已覆盖全国18个省级市场、150余个地级以上城市，在全国共开设门店13,574家。
而在性能上，谷歌的 Trillium TPU 比拟上一代 TPU v5e 在 BF16 下普及了 4.7 倍，HBM 容量和带宽、芯片互连带宽也王人翻了一番。此外，Trillium TPU 还配备了第三代 SparseCore，不错加快覆按新一代基础模子，蔓延更低，老本也更低。
Trillium TPU 相当符合大范畴言语模子和保举系统的覆按，不错彭胀出数百个 集，通过每秒 PB 级别的网罗互连时期相连层见迭出的芯片，已毕另一种层面的超等「野神思」，大幅普及野心效力和减少网罗蔓延。
图/谷歌
从本年下半年驱动，Google Cloud 用户就能最初给与这款芯片。
总的来说，谷歌 TPU 的硬件上风在于其高效的算力和低蔓延的辞别式覆按架构。这使得 TPU 在大范畴言语模子和保举系统的覆按中发达出色。然则，谷歌 TPU 的上风还在于独处于 CUDA 除外另一个齐全的生态，以及更深度的垂直整合。
通过 Google Cloud 平台，用户不错活泼地在云表进行覆按和部署。这种云表劳动模式不仅减少了企业在硬件上的插足，还提高了 AI 模子的覆按效力。Google、 Cloud 还提供了一系列复旧 AI 开发的器具和劳动，如 TensorFlow 和 Jupyter Notebook，使开发者大要愈加方便地进行模子覆按和测试。
苹果用上的谷歌 TPU v5p，图/谷歌
谷歌的 AI 生态系统中还包含了多种开发器具和框架，如 TensorFlow，这是一个平凡使用的开源机器学习框架，大要充分愚弄 TPU 的硬件加快功能。谷歌还提供了其他复旧 AI 开发的器具，如 TPU Estimator 和 Keras，这些器具的无缝集成大大简化了开发历程。
此外，谷歌的上风还在于：谷歌我方即是对 TPU 算力需求最大的客户。从 YouTube 海量视频内容的经管，到 Gemini 的每一次覆按和推理，TPU 早就融入谷歌的业务体系之中，也霸道了谷歌的巨量算力需求。
不错说，谷歌的垂直整合远比英伟达来得透顶，险些完全掌合手了从模子覆按到应用，再到用户体验的重要节点，这本色也给了谷歌更大的可能，不错阐明时期和市集趋势从底层驱动优化效力。
是以尽管在芯片的性能主见上，Trillium TPU 依然难以和 Blackwell GPU 相抗衡，然则具体到大模子的覆按上，谷歌仍能通过系统性地优化效力，并列以至荒谬英伟达 CUDA 生态。
在 Google Cloud 用 TPU，是苹果最佳的聘请
简言之，谷歌 TPU 集群性能、老本和生态的上风，使其成为大范畴 AI 模子覆按的理念念聘请。反过来，在 Google Cloud 用 TPU 亦然苹果现阶段最佳的聘请。
基于 TPU v4 的超算，苹果也用到了。图/谷歌
一方面是性能和老本。TPU 在经管大范畴辞别式覆按任务时发达出色，提供高效、低蔓延的野心才气，霸道苹果在 AI 模子覆按中的需求。而通过使用 Google Cloud 平台，苹果不错裁汰硬件老本，活泼支撑野心资源，优化 AI 开发的总体老本。
另一方面是生态。谷歌的 AI 开发生态系统也提供了丰富的器具和复旧，使得苹果大要更高效地开发和部署其 AI 模子，再加上 Google Cloud 的浩大基础关节和时期复旧也为苹果的 AI 样式提供了坚实的保险。
本年 3 月，也曾任职于英伟达、IBM 和谷歌的 Sumit Gupta 加入了苹果，带领云基础关节。阐明报谈，Sumit Gupta 于 2021 年加入谷歌的 AI 基础关节团队，并最终成为了谷歌 TPU、自研 Arm CPU 等基础关节的家具司理。
Sumit Gupta 比苹果里面绝大部分东谈主王人更了解谷歌 TPU的上风方位。
2024上半年，科技圈风起潮涌。大模子加快落地，AI手机、AI PC、AI家电、AI搜索、AI电商……AI应用层见叠出；Vision Pro开售并登陆中国市集，再掀XR空间野心波浪；HarmonyOS NEXT正经发布，迁移OS生态生变；汽车全面进入“下半场”，智能化成头等大事；电商竞争日益剧烈，卷廉价更卷劳动；出海波浪风起潮涌，中国品牌迈上各人化征途；7月流火，雷科技·年中总结专题上线，总结科技产业2024上半年值得记载的品牌、时期和家具，记载往时、预测将来，敬请关怀。