近期人工智能(AI)技术竞争中,数据获取与运用能力正超越算法和半导体,成为核心变量。
当地时间11日,Protege首席执行官巴比·塞缪尔斯在a16z发布的文章中指出,AI研究人员认为当前阻碍AI发展的最大瓶颈在于数据。
他解释道,AI发展的核心要素包括算法、算力和数据三方面,近年来算法研究与计算基础设施的扩展进展迅速。
他指出,虽然OpenAI、Anthropic、谷歌DeepMind等研究机构引领着算法发展,英伟达等半导体企业也在进行算力竞争,但用于实际模型训练的高质量数据仍然匮乏。
非营利数据项目Common Crawl从公开网络收集的数据总量约为419太字节(TB)。
而预计到2025年全球生成的数据总量将达到约175泽字节(ZB),相当于约1750亿太字节。这意味着AI模型主要依赖学习的公开互联网数据仅占全球生成数据的极小部分。
这表明医疗记录、企业内部数据、音视频数据、产业运营数据等大多数现实世界数据仍存在于非公开领域,未来AI发展很可能在很大程度上取决于能否访问这些现实世界数据并将其转化为训练数据。
他表示,随着AI智能体时代全面到来,数据的重要性正日益凸显。
Protege首席执行官补充道:“AI智能体要执行实际工作,需要的不是简单文本数据,而是反映人类实际工作流程与交互的数据”,“分析哪些任务需要AI学习、实际产业中哪些工作具有自动化价值,这类分析工作本身正成为新兴研究领域”。
他还指出,当前许多数据企业正围绕模型评估或基于人类反馈的强化学习(RLHF)等有限任务进行数据生产,“这种方式生成的数据难以充分反映人类活动中复杂的上下文关系与现实决策过程”。
他解释道:“未来AI发展需要医疗记录、语音对话、视频、实际工作数据等现实世界产生的多样化数据”,“对数据进行获取、结构化处理并加工为适合AI学习的‘AI数据产业’,很可能成长为新的核心领域”。


