亚马逊云科技(AWS)已与Cerebras达成合作,将在Amazon Bedrock上提供高速AI推理服务,使AWS成为Cerebras分布式推理解决方案的首个云服务提供商。此次合作旨在提供远超当前产品的高推理速度,可能加速大规模生成式AI应用的落地。
此次合作将为AWS客户提供专门化、高性能的AI推理解决方案,通过提供比传统GPU推理更快、更高效的替代方案,可能加速大规模生成式AI应用的采用。
AWS成为Cerebras分布式推理解决方案的首个云服务提供商。
该解决方案结合了AWS Trainium服务器和Cerebras CS-3系统,以优化预填充(prefill)和解码(decode)阶段。
该合作旨在提供比当前产品快一个数量级的推理速度。
该合作旨在提供比当前产品快一个数量级的推理速度。
今年晚些时候,AWS还将在Cerebras硬件上提供开源大语言模型(LLM)和Amazon Nova。
登录后可保存信号笔记。
登录