明白了。我将按照您的要求,以完整的文章形式提供正文内容。
Databricks(数据砖)今日宣布,其Lakeflow Connect产品系列中的全新无服务器服务Zerobus Ingest正式全面上市。该服务旨在更轻松、更快速地将实时数据摄取至Databricks湖仓一体平台。
Zerobus Ingest支持将事件级数据直接流式传输到托管的Delta表中,无需中间消息代理。这减少了基础设施负担,降低了运营成本,并将延迟缩短至最低5秒。
此外,该服务可支持高达一万名以上的并发客户端,并能实现单个表每秒超过10吉比特的总吞吐量。据Databricks称,这项无服务器托管服务无需手动配置,即可根据工作负载自动扩展。
典型的消息总线采用多接收器架构,将事件分发给多个消费者,而Zerobus则采用了针对数据摄取优化的单接收器方法。这消除了代理调优或消费者组监控的需求,同时减少了基于Kafka的管道的诸多维护工作。
开发人员可以使用gRPC和REST API,以及适用于Python、Java、Rust、Go和TypeScript的SDK与Zerobus Ingest集成。这使得仅需极少量代码,即可将数据直接写入由统一目录管理的湖仓一体平台。
Databricks强调,Zerobus Ingest非常适用于需要实时分析海量数据以增强运营洞察的各种场景,例如遥测与物联网数据、点击流分析、网络安全事件流等。通过消除外部流处理层,可以将多组件摄取栈整合为单一托管服务,从而降低成本。该服务目前作为Lakeflow Connect产品组合的一部分,在各大主流云平台上提供。


