手记

WarpStream通讯第4期:数据管道、零磁盘架构、自带集群及其他新功能

欢迎阅读 WarpStream 第四期通讯。自上一期通讯以来,我们发生了许多事情:我们发布了五篇新博客,发布了一系列产品更新,并新增了一些社交渠道(如 FacebookYouTube)。请通过我们的社交媒体和其他平台与我们互动,通过邮件底部社交栏中的链接关注我们,及时获取最新消息。

最近有很多新的博客文章

WarpStream管理的BYOC集群数据流介绍

对于WarpStream BYOC集群托管的数据流管道Bento提供了一个完全托管的SaaS使用体验。因此,Bento是一个轻量级的流处理框架,提供了类似Kafka Connect的许多功能,同时保持了BYOC部署的成本效益、数据主权和部署灵活性,并包含版本控制功能。

Pixel Federation 利用移动分析平台采用 WarpStream,相比 MSK 节省了 83% 的成本

像素联邦的移动游戏拥有数百万用户,你可以想象他们有多少活动和Kafka主题要处理。通过用WarpStream替换MSK,他们不仅大幅降低了成本,还能够抛弃复杂的VPC对等设置,转而使用更简单的代理组配置。

想了解更多关于WarpStream吗?

预约一下通话

在卡夫卡看来,零磁盘更好

在之前的博客中,我们讨论了分层存储无法解决Kafka问题。最终目标并非是使用某些磁盘,而是实现零磁盘。我们介绍了WarpStream的零磁盘架构(ZDA)详情点击这里,它允许你轻松实现Kafka代理节点的自动扩展,通过代理组来隔离工作负载,并且可以轻松地在您的虚拟私有云(VPC)中运行整个数据流,而无需编写自定义代码或增加额外服务。

默认即安全:WarpStream 的 BYOC 部署模型是如何保障最敏感的数据处理任务

WarpStream的BYOC模型是一种混合方法,平衡了两种常见的云部署模型(完全自管理与完全托管的SaaS)。将软件分为独立的数据平面和控制平面,确保数据隐私和主权、合规、成本控制和灵活性。

试试 WarpStream(瓦普斯特流),免费赠送 $400 信用额度

免费试用

多地区:统一视图

在构建基础设施即服务产品时,一个常见的问题是,需要在许多不同的地区提供高度可用和隔离的资源,同时,整个产品需要给最终用户一个“[单一控制面板]”的感觉。我们将回顾可用的解决方案,并最终选择了基于推送的复制技术。

最近的产品更新信息
数据管道

BYOC的用户现在能够使用Managed Data Pipelines。这些结合了WarpStream控制平面的能力与Bento,一个开源流处理平台。

这提供了与Kafka Connect相似的许多功能,以及额外的流处理功能,如单条消息转换功能、聚合、多路复用、丰富化和对WebAssembly(WASM)的原生支持功能。

管道在您的VPC和VM中运行,数据在您的存储桶里被处理。WarpStream对这些数据没有任何访问权限。WarpStream提供了一个方便的用户界面来创建和编辑管道,支持动态暂停和恢复管道操作,并且具有版本控制功能。

很多新指标!

我们几乎每个版本都会新增一些指标,并淘汰一些不再需要的指标。以下是一些新添加的重要指标。你可以查看我们官方的变更日志以了解完整的指标列表。

  • warpstream_consumer_group_generation_id = 此指标表示消费者组的生成号,每次重新平衡处理时加一,用于有效检测重新平衡事件。
  • warpstream_agent_kafka_fetch_uncompressed_bytes = 记录获取的总未压缩字节数,取代了 warpstream_agent_kafka_fetch_bytes_sent 指标。
  • warpstream_consumer_group_generation_id = 此指标表示消费者组的生成号,每次重新平衡处理时加一,用于有效检测重新平衡事件。
即将来临:Kafka 交易

我们之前在通讯中提到的,团队正在支持Kafka事务,并希望很快完成这项工作。如果您需要事务支持的工作负载,请联系我们! 我们非常愿意与您聊聊。

试用 WarpStream,免费获得 400 美元的信用额度

WarpStream 免费试用,注册账户后,您将获得 400 美元的免费信用,您可以轻松设置和使用 WarpStream。

免费试用

0人推荐
随时随地看视频
慕课网APP