生成式人工智能初创公司Subquadratic成功吸引了2900万美元（约合426亿韩元）的种子投资，并发布了能够处理高达1200万Token（令牌）的大型语言模型‘SubQ’。其构想是同时解决被认为是现有AI模型核心局限的‘上下文窗口’与计算成本问题。
公司于5日（当地时间）在成立的同时宣布了此消息。Subquadratic由首席执行官Justin Danggle和首席技术官Alexander Werdon共同创立，并说明其模型结构应用了‘次二次架构（Subquadratic Architecture）’。其核心在于，不再采用现有对所有Token进行全面比较的‘密集注意力机制’，而是利用选择性计算必要关系的‘稀疏注意力机制’，从而大幅提升了处理量。
目前，主流大型语言模型通常提供约12.8万个Token，即使是顶级的云端模型，也大多提供100万Token级别的上下文窗口。而该公司表示，SubQ支持高达1200万个Token。这大约相当于一次能够阅读约900万个单词、接近120本书籍的体量。
有评价认为，这种差异不仅仅是简单的数字竞争。到目前为止，由于模型一次能处理的信息量有限，通常的做法是附加检索增强生成（RAG）或代理型（Agent）搜索系统，将所需数据单独挑选后输入。然而，这种方式存在局限性：会增加延迟，产生额外计算成本，并且根据优先输入哪些信息，结果也可能大相径庭。
Subquadratic将这种结构性问题的原因归结于基于Transformer（转换器）模型的‘平方级扩展’。在现有模型中，当输入量增加2倍时，计算量并非简单增加2倍，通常会增长至约4倍。而该公司解释说，自己的架构接近于‘线性扩展’，即使输入量增加2倍，计算量也仅增加约2倍。这意味着，对于长文档、庞大的代码库、大型企业数据集等需要长上下文的作业，其实际感受的差异可能会更大。
公司也提出了颇具冲击性的性能数据。据Subquadratic称，在100万Token环境下，SubQ比主要前沿模型快50倍以上，成本低至五十分之一以下，且准确率更高。此外，他们还主张，在整个1200万Token区间内，与其他领先模型相比，其计算需求量可降至接近千分之一水平。
在长上下文评估指标‘RULER 128K’基准测试中，该公司也强调了其比较优势。据Subquadratic介绍，SubQ在成本为8美元（约合11,752韩元）的情况下，实现了95%的准确率。而相比之下，Anthropic（安索皮克）的Claude Opus（克劳德·奥普斯）在成本约为2600美元（约合381.94万韩元）时，准确率为94%。据称，在成本方面两者相差约300倍。
减少对RAG的依赖，提出一次性阅读整个代码的方向
在公开技术的同时，Subquadratic还面向开发者和企业客户推出了SubQ API。该接口支持利用高达1200万Token的上下文窗口。同时，公司还推出了用于代码工作的命令行界面（CLI）代理‘SubQ 代码’。该工具专注于将整个代码库放入一个上下文窗口中，并在单一流程中处理规划、执行和审查。
这在软件开发领域尤其可能引起关注。因为以往处理大型代码库时，通常需要分割使用多个代理或搜索层级，而上下文窗口的大幅拓宽有望简化其结构。在AI行业中，近年来，‘产品化成本’和‘响应延迟’正与模型本身性能一样，成为重要的竞争力因素。
Subquadratic还表示，正在准备搜索产品。初期似乎打算免费提供，随后再考虑扩展到研究、编码和企业级工作任务等领域。不过，公司划清了界限，表示短期内没有计划以开源或开放权重形式发布。相反，其方针是支持为客户提供定制化训练。
超长文AI竞争正式开启…核心在于‘成本曲线’而非‘性能’
本轮投资有来自软银愿景基金的Javier Villamizar（哈维尔·维利亚米萨尔）、Tinder（汀德）联合创始人Justin Mateen（贾斯汀·马廷），以及参与了Anthropic（安索皮克）、OpenAI（开放人工智能）、Stripe（斯特赖普）、Brex（布雷克斯）早期投资的投资者们。尽管是初创企业，但其获得的投资规模不小，这意味着市场正将‘长上下文处理’领域视为下一代人工智能基础设施的竞争领域。
归根结底，Subquadratic的胜负手，与其说在于更长的上下文窗口本身，不如说在于能以多低的成本和多快的速度实现它。随着生成式人工智能更深入地融入企业工作、搜索和编码，稳定处理大量上下文的能力很可能变得至关重要。如果Subquadratic所展示的数据能在实际应用场景中得到复现，那么它很可能给以长文本处理为中心的AI市场潮流带来不小的变化。
TP AI 注意事项 本文摘要是使用基于 TokenPost.ai 的语言模型生成的。正文中可能包含被省略或与事实不符的主要内容。