好的。我将以完整文章的形式提供您所要求的正文内容。
Databricks(数据砖块)今天宣布,其Lakeflow Connect产品系列中的新无服务器服务Zerobus Ingest正式全面上市。该服务旨在更轻松、更快速地将实时数据摄取到Databricks数据湖仓中。
Zerobus Ingest允许事件级数据无需中间消息代理,直接流式传输到受管理的Delta表中。这减少了基础设施负担,降低了运营成本,并将延迟缩短至最低5秒。
此外,该服务支持高达一万个以上的并发客户端,并能实现单个表每秒超过10千兆比特的总吞吐量。据Databricks称,这项无服务器管理的服务无需手动配置,即可根据工作负载自动扩展。
典型的消息总线采用多接收器架构,将事件分发给多个消费者,而Zerobus则采用了针对数据摄取优化的单接收器方法。这消除了代理调优或消费者组监控的需要,同时减少了基于Kafka的管道的许多维护工作。
开发人员可以使用gRPC和REST API,以及适用于Python、Java、Rust、Go和TypeScript的SDK与Zerobus Ingest集成。这使得只需最少的代码即可将数据直接写入由统一目录管理的湖仓中。
Databricks强调,Zerobus Ingest非常适合各种用例,这些用例通过实时分析海量数据来增强运营洞察,例如遥测和物联网数据、点击流分析、网络安全事件流等。通过消除外部流处理层,可以将多组件摄取栈整合为单一管理服务,从而降低成本。该服务目前作为Lakeflow Connect产品组合的一部分,在各大云平台上提供。


