来源：贝博app体育官网下载最新下载 发布时间：2025-01-02 19:08:57
本年，减肥成功的亚马逊云科技高档副总裁Peter DeSantis，用生成式AI亲手创作了几张re:Invent《周一晚间直播》的配图，来可视化他的讲演。
这也为整场活动定下了基调，其实亚马逊云科技在底层立异上一向有着悠长的前史，从芯片规划到核算架构，再到AI加快，每一步都在推进技能鸿沟的开展。
亚马逊云科技已具有超越十年“自研芯片”的进程，已推出的四大自研芯片产品组合包含：六代Nitro体系、四代Graviton、两代Trainium和Inferentia。
亚马逊云科技在2018年re:Invent大会上发布了根据ARM架构的第一代Amazon Graviton。尔后，Graviton芯片不断针对实际的作业负载进行功能优化：第二代专心于横向扩展功能，第三代聚集高核算需求的专业作业负载，而第四代则成为专为云核算打造的功能最强芯片。
与此一起，AWS Nitro System从头界说了服务器架构，从根本上改造了云的构建和维护云的方法。AWS也将AWS Nitro System的安全性拓宽到Amazon Graviton4，经过两者的结合，打造出亚马逊云科技迄今为止最安全的核算产品之一。
Trainium加快器不属于传统的CPU或GPU，其选用了脉动阵列架构，是专关于AI作业负载优化过的硬件架构。
“人工智能作业负载不是横向扩展型的作业负载，而是扩张类型的作业负载。”Peter DeSantis说道。亚马逊云科技选用“扩张”的方法，专心于进步单个体系的容量，而不是选用“横向扩展”的方法，构建多个相同的体系，在多台机器上分配作业负载。
在传统CPU和GPU中，每个核算过程常常要从内存读取数据、履行核算后，再将成果写回内存。这种频频的内存操作会导致功能瓶颈，尤其是在需求许多带宽的AI使命中。
脉动阵列规划意图是高效处理大规模的矩阵或张量运算，脉动阵列经过将核算成果直接从一个处理单元传递到下一个处理单元，减少了对内存的拜访需求，以此来下降了内存带宽的压力。
Trainium2 Server也得益于此，其是现在亚马逊云科技最强壮的机器学习服务器，其扩张的速度也超越了从前一切的服务器。现场还第一次展现了AWS Trainium2 UltraServer，其设置2个机架、4个服务器和64个Trainium加快器，以超高速的NeuronLink衔接在一起。AWS Trainium2 UltraServer供给比较当时EC2 AI服务器多达5倍的核算容量和10倍的内存，算力峰值扩展到83.2PFLOPS。
一起推出全新Trainium3，其选用3nm制程的芯片，与上代Trainium2比较，核算才能添加2倍，动力功率提高40%。Trainium3专为满意下一代生成式AI作业负载的高功能需求而规划，有助客户更快地树立更大的模型，由Trainium3驱动的UltraServers估计将比 AWS Trainium2 UltraServer的效能高出四倍。
亚马逊云科技一起也注意到推理功能优化的要害性需求，宣告了Latency-optimized inference option for Amazon Bedrock，使各种模型可以得到最佳的推理功能。凭借这一优化，Claude 3.5 Haiku在亚马逊云科技上的作业速度比其他渠道快了60%。
Anthropic 从建立那天起，就靠着前沿的 AI 技能圈足了眼球。11 月 23 日，亚马逊再度追加40亿美元出资，使总出资推高到80亿。这可不只是砸钱，而是鄙人一盘关于AI未来的大棋。
Anthropic还在《周一晚间直播》中宣告了Project Rainier项目，方案在数百个Amazon Trainium 集群上进行练习，构建出更快的、更可扩展的AI，以支撑Anthropic的未来模型开发。
亚马逊云科技还有许多底层根底架构的立异，从功能提高到本钱下降，每一项打破都在从头界说AI的技能鸿沟。