MatX公司是由前谷歌工程师创立的芯片初创企业,已筹集5亿美元(约合7.2万亿韩元)资金用于推出首款产品。此次B轮融资由简街资本和Situational Awareness领投,Marvell Technology以及Stripe联合创始人在内的多位投资者参与。该公司此前已从其他投资者处筹集超过1亿美元(约合1,440亿韩元)。
MatX正在开发能够运行大语言模型的处理器。这款名为MatX One的芯片预计将提供比现有显卡更高的处理能力。通过连接数十万颗此类芯片,可以构建用于大规模训练与推理任务的集群。
与大多数人工智能处理器类似,MatX One采用了由多个计算模块通过网络连接的"脉动阵列"架构。这些模块在执行AI指令时负责处理部分计算任务。其独特之处在于,MatX One采用"可分割脉动阵列"设计,能够根据数据集特性高效调整电路配置。
MatX One运用了将决定大语言模型指令处理方式的模型权重存储在SRAM单元中的技术以提升处理速度。同时,在速度较慢但容量更大的HBM内存中存储KV缓存数据,通过减少重复计算来节省时间。
此外,MatX通过研究博客提出了多项性能优化方案,旨在实现快速响应生成并改进大语言模型的注意力机制。公司联合创始人兼首席执行官莱纳·波普在博客中表示:"我们的架构通过结合低延迟与长上下文支持,能够比迄今公布的所有系统更高效地处理大语言模型。"
本轮融资将用于完成芯片设计的最终阶段,目标是在一年内完成半导体开发最后环节的流片工作。


