来源：GCR
作者：Saurabh Deshpande, Siddharth,Joel,
编译：Techub News-Flora
编辑：Techub News-Junge
摘要：本文从历史发展的角度来描述数据的重要性，以及WEB3的出现能够让数据发挥更大的价值。
WEB3数据分析网站汇总图：链下市场数据 - 链下链下混合数据 - 纯链上数据
如果你想了解更多内容，我们在7月18日为这篇文章写了一篇前导。
所有生物都会保留记录。动物追踪季节以了解何时狩猎。啮齿动物和鸟类将食物存储在特定地点。等几个月后它们需要食物时就要记住食物存在哪里。狼在自己的领地周围做标记，示意其他动物不要靠近。甚至树木也追溯时间。每年都在树干中形成一个年轮。这可以根据环数估算树的年龄。
尽管树木和动物可以追溯时间，但它们无法检索或叙述过去。他们无法访问内存。这就是和人类记录不一样的原因。多亏了我们的沟通能力，我们才能知道美索不达米亚（公元前3400年）和古埃及人（公元前3200年）的苏美尔人使用楔形文字写作和象形文字来记录信息。
当知识在不需要源头参与的情况下也能传递时，人类就进化了。我们还能阅读欣赏柏拉图和苏格拉底的遗作，都是因为我们有办法记录他们的教诲。文本就是最初的AR平台。
记录伊朗粮食的情况，来源: Link
文本留给我们想象，而记录有助于我们具象化。它降低了个人脑中记忆的需求。这就是为什么一些最古老的人类文本涉及债务，收入或贸易记录的原因。
数字化
在后工业化时代，工厂建立了具有竞争性的护城河，通过数字化的销售记录来增强其市场地位。有一个例子是一家名为亚洲油漆的印度公司。他们的油漆可能不是市场上最好的，但他们控制着印度80亿美元的油漆行业的50％以上的市场份额。
为什么？很简单，它是一个家庭品牌，并且拥有规模经济。但是他们如何拿到数据根源？是因为他们大量投资于数据收集和处理，以优化其供应链。
在上文中，过去30年亚洲油漆股票的复合年增长率为25％。支持这种增长是由于20世纪80年代对大型机计算机的投资。该设备比当时印度最佳研究组织使用的设备更强大，每小时都能收集有关整个印度销售涂料的颜色和数量的数据。这使亚洲涂料可以建立一个模型，该模型以98％的精度预测整个印度的油漆需求。
这种预测能力使亚洲涂料公司捕获最大价值，因为它可以大大减少其补充时间。当时，出售涂料等商品的规范是将其出售给批发商，后者然后将其交给了分销商，后者又将其出售给经销商。经销商可以直接与消费者互动。如此复杂的供应链的原因是，各方持有资产清单和有关油漆供求的受控数据。
Choksey先生是亚洲油漆的创始人，通过研究最终用户的消费模式并减少对中间商的依赖，从供应链中剔除了批发商和分销商。通过剔除中间商，亚洲绘画捕获了97％的MRP（占经销商3％），而竞争对手则是60％。
电报的价值是来自于：在传递信息上，电报的时效领先磁带。
向数字过渡并非在一夜之间发生。部分使得数据收集变得有趣的原因是金融世界以及它之间的相互联系。例如，在20世纪后期，股票市场数据是使用上述电报设备传递的。早在1835年，商人们就会训练鸽子携带一些有关欧洲热点事件的纸条。当载着货物的轮船驶离陆地不到50英里时，鸽子就会带着信息飞到指定的地点。他们过去每小时最高要支付500美元c才能收到新闻。
到1867年，商人们竞相优化电报中信息传递的速度。一位名叫E. A . Calahan的西联汇款员工向纽约证券交易所支付了20多万美元，以获得让员工在交易大厅向他的客户传递股票行情数据的能力。其中一位名叫Thomas Alva Edison的年轻科学家，努力为该系统进行优化。一个世纪后，像彭博终端这样的工具将指数级扩展在任何一天中传达的财务数据速度和数量
数据是如何产生价值的？
数据就像原油一样，必须经过几个步骤的提炼才能使用。了解彭博社的成长方式有助于了解整个数据格局的演变以及过程。彭博社并不是第一个尝试使用技术来改进交易和报告机制的人。纳斯达克使用 Bunker Ramo 终端来传播信息并下达买卖订单。然而，依赖以前的电话通信网络意味着扩展这种模式始终具有挑战性。
资料来源：纳斯达克-自动OTC交易的演变
1981年，投资银行所罗门兄弟(Solomon Brothers)的合伙人迈克尔•布隆伯格(Michael Bloomberg)在菲布罗公司(Phibro Corporation)收购该银行时，以1000万美元被解雇。他意识到，随着从纽约到日本的金融市场日益电子化，投资者已准备好为简化的金融信息付费。他创办了一家名为创新市场系统(Innovative Market System)的数据服务公司，该公司于1986年更名为彭博(Bloomberg)。
在互联网普及之前，人们使用the Chiclet访问彭博终端(Bloomberg Terminal)。这是通过专用电话线连接到当地枢纽的特殊电缆连接到彭博控制器的。彭博通过数据合作伙伴、新闻机构和新闻稿，手动数据输入和基于电话的数据收集等专有方法收集了数据。
借助互联网信息闸门打开了。如今，彭博几乎是实时地获取、处理和传递2000亿条金融信息。每秒大约是2300万个数据点。彭博社上可用的一些信息是公开的。公司的财务报表以及股票和债券价格之类的数据点可以在公共论坛上找到。
但是，如果你是石油和天然气分析师，想了解原油容器的运动怎么办？如果你不订阅彭博社（Bloomberg）这样的数据源，则不太可能实时获取此信息。互联网上的所有数据不都是免费的。
当涉及到Web2中的数据时，个人通常有两个限制: 允许访问和处理大量数据的大障碍。多年来，像彭博社（Bloomberg）这样的供应商已经建立了足够强大的网络效应，可以通过其分支机构获取数据，这是分析师或投资者无法承受的。
最好是向彭博社支付$ 20,000的年度订阅费用，也好过尝试从各种数据平台中获取数据，这些数据平台可能每个都有不同的定价层。即使你足够努力地去获取数据，如果没有大量的基础设施支出，你也无法实时处理和运行分析。在零售端，许多最终规模化的平台都是数据匹配引擎。
我们可以这样想：Google（搜索引擎）是一家数据公司，可为企业访问用户以换取广告美元。当餐厅或新闻通讯（像我们一样）希望搜索针对Google信息的用户目标时，它们符合类似信息的供应和需求。一些在搜索Web3特有的时事通讯信息的人正在找我们，我们也刚好在找那个人。(在这里，我忍住了停止推荐计划的冲动。)
Google由于其功能的规模经济而建立了垄断。他们的用户清单和用户每天提出的查询数量仍然无与伦比。 谷歌通过推出一个无广告的搜索引擎建立了自己的地位，当时广告是常态，然后通过收购YouTube和Android，最终通过向苹果等竞争对手付费，使谷歌成为默认搜索引擎。仅对苹果而言，谷歌每年就支付200亿美元，以保持其Safari默认搜索引擎的地位。
谷歌之所以支付这么高的溢价，是因为从本质上讲，它提供的是一个匹配引擎。匹配的引擎使用户需要与提供产品的企业保持联系。大多数网络的垄断是匹配引擎的核心。亚马逊将卖家和买家匹配起来。Instagram将观众与创作者匹配起来。这些匹配引擎之所以有效，是因为这些产品上的交互留下了丰富的线索，可以从中驱动上下文。
本·埃文斯(Ben Evans)在2022年写过一句名言:没有数据这回事。知道我的内容、食物或旅行偏好对第三方来说没有多大价值。只有当它被上下文聚合或丰富时，它才变得有价值——无论是对商业还是对研究。
从某种意义上说，我在周五晚上吃印度香饭的偏好可以用来向我宣传印度香饭的外卖，而这恰恰是我购买印度香饭的可能性最高的时候。总的来说，将我的购买概率与同一地区的同行进行比较有助于更好地定位用户。
数据要么需要规模(大量)，要么需要上下文才有价值。Web3和Web2产品在历史上的不同之处在于它们留下的痕迹。只有亚马逊知道一周内Xbox控制器的销量。但是你可以看到交易者在任何一天在OpenSea上买卖nft的模式。原因是每一笔交易都会留下公开痕迹。
Web3中的数据产品使用这些跟踪来构建上下文。像以太坊和比特币这样的区块链分别每12秒和10分钟产生一个区块。每个块都包含改变区块链状态的事务。而像Etherscan这样的代码块勘探器捕获与所有事务相关的数据。例如，如果你转到Etherscan看到一个代码块，则下面的图像就是你可能看到的。
区块链上的事务具有丰富的上下文。像Arkham和Nansen这样的产品是研究人员了解交易发生时发生的事情的解释引擎。你可以查看自以太坊启动以来的所有区块。但是，你可以如何处理此信息？几乎没有。因此，你需要一种在几个表中捕获这些数据的方法。例如，每当市场的NFT合同被列入一个块时，与该交易有关的数据应附加到与NFT相关的表中，或者当调用UNISWAP合同时，应将相关数据存储在与DEX相关的表中。 （Dune将此作为一种服务。）
如果不产生重大的基础设施成本，就无法分析原始数据。所以，尽管数据是免费的，你还是会遇到同样的问题。作为投资者或dApp构建者，你依赖外部数据。但是你的核心功能与收集和管理数据无关。将资源花费在必要但非核心的活动上并不是每个组织都能享受的奢侈。
环境驱动价值
对于数据产品而言，围绕数据的发生场景使产品独一无二。彭博运用其对金融的理解，并将数据转换为发明者和交易员可以轻松使用的形式。Similarweb等网站或Newzoo等研究出版物利用自己的核心竞争力，将社交或游戏相关背景应用到所追踪的数据中。
区块链原生数据产品的与众不同之处在于，它们通过提供用户语境来回答与特定用户子集相关的问题查询。例如，Tokenterminal计算协议的经济基础。 Nansen帮助市场参与者标记并了解资产的发展。 parsec查询链链数据，以帮助交易者更好地分析Defi位置。
所有这些产品都是基于一种公共产品:链上数据。不同之处在于这些产品呈现数据的方式，这使得它们对不同的受众具有吸引力。
在我们的行业中，产品类别的划分是基于哪些数据在链上，哪些信息来自链外来源。(有些人经常两者都用。)数据提供程序使用它们的上下文过滤器来创建产品。正如Web2数据有其利基市场一样，Web3数据公司已经或正在逐步利用其核心竞争力建立护城河。
因此，创始人的背景往往决定了所发布产品的性质。当一个核心团队在加密之前在资本市场上花费了大量时间时，他们的产品往往会模仿彭博社，而加密原生产品则看起来像Nansen。不同的产品满足不同的需求，即使查询相同的数据也是如此。
例如，交换器通常在固定间隔后丢弃数据。他们不从事数据业务，存储旧数据需要额外的服务器和管理。一些数据提供商，如Kaiko和Amberdata，维护来自交易所的历史订单数据。这样的数据使交易者和投资者能够建立模型来检验其假设。但是，如果你想了解哪些DeFi合约被ETH或稳定币的流入所淹没，或者分析特定地址或实体的链上行为，你就需要Nansen或Arkham的产品。
市场地图并不能代表所有类别的所有参与者。
了解产品如何在市场中定位的一种方法是通过加密货币中的消费者角色。这些角色可以分为以下四个关键类别。
金融机构
在熊市期间，大多数通过加密数据产品流动的美元来自金融机构。这些都是大客户，销售周期更长，数据需求复杂得多。知道产品是否针对金融机构的一种方法是，客户是否必须经过销售电话才能确定其成本。在Web2的世界里，你找不到PitchBook或CB Insights的成本。在加密领域，你也不知道像Chainalysis这样的产品要花多少钱。
抛开玩笑成分，这种销售过程的部分原因是面向这一消费群体的数据产品提供了亲力亲为的白手套服务。这些用户通常选择高粒度和频繁的数据。他们不仅需要数据用于交易前的决策，还需要数据用于交易后的使用，以满足合规和税收要求。
例如，他们需要能够告诉他们投资组合历史价值的产品，帮助他们进行税收计算，等等。Amberdata、Kaiko、CoinMetrics、CryptoCompare等公司为这些客户提供服务，在某种程度上，还有Nansen。
据我的经验来看，只有在机构或拥有大量资金回合的机构工作背景的创始人才能够打开有关数据的机构市场。这里的进入门槛相对较高，任何企业产品都是如此。
开发者
我们经常遇到Web3的合成性功能，这意味着Web3应用程序可以相互依存。他们可能需要彼此的数据。因此，他们经常需要互相阅读数据。例如，像Yearn Finance这样的平台需要从AAVE和COMPOUND中读取数据，而像Tensor这样的NFT聚合器需要阅读Magic Eden和其他市场的数据。
但这些数据是存储在以太坊和索拉纳等区块链上的。以太坊在12秒内创建一个区块，Solana在400毫秒内完成。将区块链数据排序到表中并将其存储以供快速访问是一项非常重要的任务。这就是Covalent、Graph、Chainlink和Powerloom等索引器的用武之处。它们确保原始区块链数据以所需的格式存储，以便开发人员可以通过简单的API调用获取它。
这个消费者角色中的一个紧急部分涉及用于理解用户行为的工具。例如，ARCx允许开发人员将链下数据(如浏览器行为)与链上数据(如钱包地址)进行映射，以捕获与dApp交互的用户的人口统计信息。它们是一个相对较小但相关的利基市场，因为它们可以帮助开发者确定他们的用户是谁。
研究人员和出版物
加密货币中的数据产品通常通过与研究人员和出版物合作来分发。例如，彭博社经常引用CCData的数据。研究人员被鼓励依赖数据产品，因为它们有助于在收集、清理或整理数据时节省时间和精力。像Dune这样的产品通过建立一个分析师社区来建立护城河，这些分析师相互竞争，来使他们在名单上排名更高。
诸如Block和Delphi Showcase仪表板之类的出版物是使用来自第三方提供商的数据构建的。在这里我们完全依靠外部数据提供商，因为它们可以在收集数据时使用外部资源，同时使用外部资源，从而完全依靠外部数据提供商。
迎合这一消费群体的挑战在于，规模较小的研究人员可能没有所需的预算来证明花费大量资源来获得可能只与单个人相关的利基见解是合理的。相反，企业也很有动力花费精力和资源与《金融时报》等重要出版物合作，因为这有助于分销。
散户投资者
面向散户投资者的产品通常具有较低的数据粒度和频率。但它们是高利润的利基市场，因为它们看到了规模经济。在一个不存在用户流失的世界里，1万名用户每人支付100美元就相当于100万美元的ARR业务。说起来容易做起来难，但这些经济学解释了为什么我们有这么多面向零售的加密数据产品。
大量散户导向型产品是免费的或由广告支持。例如，像DefiLlama这样的免费资源不会告诉你如何通过不同的交易所(cex和DEXs)路由订单以避免滑点，因为它不获取订单簿快照，但它展示了有关令牌解锁或收益解锁的信息。
这部分消费者的一个变化是传递媒介如何打开了一个新的市场类别——例如，Cielo通过Telegram以通知的形式传递数据。通过以一种易于使用的方式为不愿处理桌面界面的消费者群体传递信息，它已经扩展到超过40,000名用户。如果做得好，即使是分销媒介也可以成为早期创业公司的差异化因素，甚至在数据方面也可以如此。
尽管分类模糊了，但数据公司可以分为B2B或B2C方向。像Amberdata和Kaiko这样的公司都有迎合精明客户的产品。这些产品更细粒度(数据可用的细节)和频繁(例如，逐点和实时订单簿数据)，它们满足诸如构建和测试模型、交易前分析、交易后报告、税收和遵从性等需求。数据以一种格式提供，允许客户进行专有分析并根据自己的口味构建可视化。这些公司通常在付费墙后提供产品。
由于基础设施需求、所涉及的客户的性质和销售周期的长度，成本通常是粒度的函数。
上面的图像在两个轴上绘制了不同的产品-深度和粒度与产品价格。请注意，这些地块并不精确。几点可能放错了位置。这个想法是建立一个心智模型来思考几种产品及其在市场上的地位。
面向散户的产品，如Dune或CoinGecko，几乎可以免费显示所有数据。但如果客户想要通过api来运行他们的分析，就必须付费才能访问某些数据，或者。例如，你可以查看由几个Dune向导创建的所有图表，但它们限制了以CSV形式下载的行数。你也可以下载更大的CSV文件，并在支付更多费用后查看私人查询。
以散户投资为中心的公司往往每个客户的收入较低，而少数付费客户的收入为自由用户的百分比。将此与互联网公司免费增值模型的转换率进行比较。通常转化率为2％–5％。 10％的转化率将是一个离群值。他们的策略是拥有尽可能多的免费用户，这样4%的转化率就能显著提高收益。这个我们称之为营销漏斗入口。
因此，数据公司需要足够大的客户回流以产生足够的收入，以维持自己在较低的转换率。当网站有很多访问者时，公司也可以考虑从广告中获得收入。CoinGecko利用广告收入作为杠杆，继续免费提供大部分数据。
多年来，公司已经填补了(B2B和B2C)两端的位置，在两者之间留下了一些空白。如果有人想看看集中交易所的订单是如何变化的，或者看跌期权的比率、iv和倾斜是如何变化的，没有多少产品可以帮助实现可视化。比CoinGeckos更细化的产品有发展空间，但比纯B2B公司的产品更细化。
“技术护城河”
在可以免费使用用户数据的企业中找到技术护城河并不容易。区块链数据是免费的。你收集的数据没有什么特别。所以，数据业务的“护城河”并不仅仅是基于你拥有一些别人没有的数据。相反，它们是基于团队以有洞察力的、可使用的格式、按时、无错误地提供数据的能力。
许多公司声称拥有相同的数据，但是数据质量及其表现形式也有所不同。例如，许多公司声称拥有链订单订单数据。但是，诸如投标/问订单的数量，时间序列长度以及可用交流和对的数量等因素因提供商而异。 AAmberdata和Kaiko拥有加密市场最全面的订单数据。然而，为什么只有少数供应商能够提供这种数据呢?在Web3数据中出现护城河的原因在于此。
人才 ——恕我直言，当原材料是免费的时候，你如何塑造它则决定了产品的价值。将原始数据转换为有用的信息需要在加密和传统金融市场中的许多利基市场中的领域专业知识。像Velo Data这样的团队在传统市场上具有经验，比试图构建类似B2C产品的其他团队具有优势。找到理解区块链数据结构并具有金融市场相关经验的有才华的开发人员是很少见的。
基础结构——收集和交付大量数据需要基础设施，这并不容易实现。这种运作需要资金和人才。为什么基础设施是护城河?想想内存池数据。块包含已确认事务的数据。那些未经确认的交易呢?
不同的网络节点(例如，连接到同一池的节点)看到不同的未确认事务。仅运行一个节点将无法获得竞争事务的全局视图。在几个区块链上维护多个节点会增加基础设施成本。就像人工智能(以及过去的内容网络)一样，随着时间的推移，保持低硬件成本的能力将决定该领域的赢家和输家。
网络效应——人们可以假设网络效应存在于许多加密数据产品中。以Chainlink为例。它是最早允许应用程序从其他应用程序或链读取数据的oracle之一。它成功地获得了社区的支持，并拥有最强大的社区之一。另一个例子是Nansen。它的成名之处是地址标签，它允许它将资产移动归因于真实的实体，而不是十六进制的地址。
随后，它推出了NFT天堂和Token God 模式等功能，允许用户更有效地跟踪NFT和代币。Arkham推出了一款类似于Nansen品牌的产品，但在仪表盘和研究方面的投资使Nansen得以向企业客户倾斜，并为他们提供量身定制的产品。值得一提的是，网络效应离不开前两点(人才和基础设施)。
这在索引器中起作用。一个产品支持的链数越多，开发人员使用该产品而不是依赖多个来源的可能性就越高。像Covalent这样的团队在这方面具有优势，因为他们在相当长一段时间内一直在优化所支持的链的广度。但一定要记住，深度和广度同样重要。
现在说任何产品在加密货币中是否有意义的护城河还为时过早。我们目睹了宏伟计划的早期优势。随着Web3社交类别以及AI和Crypto之间的重叠类别继续扩展，行业中的数据产品可能会成为下一个机会。但这将是一个几十年的故事;我们还处于早期阶段。
更多未来
我们在本文中提到的许多用例都以某种形式关注金融投机。甚至使用api查询数据的开发人员也在构建金融产品。这可能看起来很奇怪，但区块链(作为一种新网络)遵循与电讯报和互联网相同的趋势。
新媒介的到来和新网络的出现加速了金融用例的发展。有了互联网，直到21世纪初人们才意识到用户可以根据他们的位置定位。对于区块链，我们仍在研究如何根据公开的数据轨迹构建商业模型。
在我们日常使用这些平台的过程中，我们看到了一个关键的变化——Dune Analytics在他们的产品中嵌入了人工智能。Dune为用户提供了一个基于sql的界面，用于查询以太坊和Solana等区块链上的数据。此类产品的市场通常仅限于了解如何编写SQL查询的用户。他们最近开始使用人工智能来帮助分析师生成查询，而无需成为SQL专家。它并不像人们希望的那样有功能。但这仍然是迈向未来的一步。也许不久之后，我们就会要求人工智能(如ChatGPT)从区块链查询并提供数据。
在Web3的语境下，通过谷歌Maps镜头是设想“数据”的一种方式。GPS至少在20世纪80年代就出现了。谷歌投入了一项绘制世界地图所需的工作。在为第三方应用程序提供地图覆盖(使用APIs)的过程中，该公司使新一代应用程序得以建立。从快递到叫车服务，一切都在蓬勃发展，皆是因为一家专注于数据的公司从开发者手中接过了这个包袱。
Web3中的数据产品也将扮演类似的角色。我们还不了解这个构建在公共可用资源之上的应用程序的确切性质，但很明显，这在数据领域中存在一个巨大的机会。
