亞馬遜雲端科技(AWS)宣布與Cerebras建立策略合作夥伴關係,將在Amazon Bedrock上推出由Cerebras硬體驅動的高速AI推理服務。此舉使AWS成為首家在其雲端平台上提供Cerebras分散式推理解決方案的服務供應商,目標是大幅提升AI推理速度,以加速大規模生成式AI應用的部署。
這項合作將為AWS客戶提供專用且高效能的AI推理解決方案,透過提供比傳統GPU推理更快、更有效率的替代方案,有望加速大規模生成式AI應用的普及與落地。
AWS成為Cerebras分散式推理解決方案的首家雲端服務供應商。
此解決方案整合了AWS的Trainium晶片伺服器與Cerebras的CS-3系統,專為優化預填充(prefill)與解碼(decode)階段的效能而設計。
雙方合作旨在提供比現有產品快上一個數量級的推理速度。
雙方合作旨在提供比現有產品快上一個數量級的推理速度。
預計今年稍晚,AWS將在Cerebras硬體上支援開源大型語言模型(LLM)及Amazon Nova。
Sign in to save notes on signals.
登录