从CPU到GPU再到实时AI：英伟达与Groq引领企业AI算力竞赛
本文探讨了AI计算能力增长的“阶梯式”本质，而非平滑的指数增长。从摩尔定律的CPU性能瓶颈，到英伟达CEO黄仁勋通过GPU在游戏、计算机视觉和生成式AI领域取得的成功，展现了计算范式的转变。文章指出，当前大型语言模型（LLM）的增长也面临新的转变，例如DeepSeek利用MoE技术以低成本训练出世界级模型，以及英伟达Rubin新闻稿中提及的NVLink互连技术，预示着实时AI算力竞赛的新阶段。
从远处看，大金字塔呈现出完美的平滑几何形状，一个指向星空的三角形。然而，站在底部，平滑的错觉便会消失，你看到的是巨大的、锯齿状的石灰岩块。它不是一个斜坡，而是一个楼梯。下次当你听到未来学家谈论指数增长时，请记住这一点。
英特尔联合创始人戈登·摩尔（摩尔定律）在1965年曾说，微芯片上的晶体管数量每年将翻一番。另一位英特尔高管大卫·豪斯后来将此修正为“计算能力每18个月翻一番”。一度，英特尔的CPU是这项定律的典范。然而，CPU性能的增长最终像一块石灰岩一样趋于平缓。
但如果放大来看，下一个“石灰岩块”已经出现——计算能力的增长仅仅是从CPU转向了GPU。英伟达CEO黄仁勋下了一盘大棋，并成为一个强大的赢家，他最初通过游戏，然后是计算机视觉，最近是生成式AI，构建了自己的“垫脚石”。
平滑增长的错觉
技术增长充满了冲刺和平台期，生成式AI也不例外。当前的浪潮是由Transformer架构驱动的。引用Anthropic总裁兼联合创始人Dario Amodei的话：“指数增长会一直持续，直到它不再持续。每年我们都觉得‘这不可能继续指数增长了’——然后每年它都做到了。”
但正如CPU趋于平缓而GPU占据主导地位一样，我们看到迹象表明LLM的增长正在再次转变范式。例如，2024年末，DeepSeek通过以极低的预算训练出一个世界级模型，部分原因在于使用了MoE（专家混合）技术，这震惊了世界。
你还记得最近在哪里看到过这项技术吗？英伟达Rubin的新闻稿中：该技术包括“……最新一代的英伟达NVLink互连技术……以加速”。