- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云中间件专家服务
CKafka实践之Flume接入Ckafka
四、 Flume 接入 CKafka 1. 创建Ckafka和创建topic a. 创建ckafka实例 image.png 因为CVM主机跟Ckafka所分配的内网IP不是在一个VPC网络内，所以要添加路由策略的方式来访问Ckafka。 b. 编写配置文件 此处重点介绍 Flume 与 CKafka 作为 Sink 结合，Source 和 Channel 使用默认配置。 [root@VM_1_250_centos apache-flume-1.7.0-bin]# cat conf/flume-ckafka-sink.properties #ckafka作为sink的demo 写入消息到flume-test文件中，此时消息将由flume写入到Ckafka image.png d. 启动kafka的客户端进行消费 image.png
96730发布于 2020-11-27 - 来自专栏发哥说消息队列
CKafka系列学习文章 - Logstash接入CKafka (八)
导语：前面一章讲了Filebeat对接Ckafka，通常的场景是各种beats将数据存到CKafka，然后Logstash将从Ckafka中消息消息进行过滤，再经过Ckafka存入到Elasticsearch 四、 CKafka 接入 1 、准备工作 · Java 版本：java 8 · Logstash 版本：5.5.2 ： · Logstash Ckafka 实例，并且创建相应 topic Logstash /config/output.conf 用logstash生产消息到Ckafka: image.png 用kafka的客户端从Ckafka中消费消息： image.png 3、将logstash的input group_id => "console-consumer-92728" # ckafka groupid 名称 topics => ["topic_test1"] # ckafka topic { stdout{codec=>rubydebug} } 用kafka的客户端生产消息到CKafka中： image.png 用logstash的input作为Ckafka的消费者： image.png
96451发布于 2019-09-02 - 来自专栏发哥说消息队列
CKafka系列学习文章 - Filebeat对接CKafka（七）
导语：用CKafka作一个消息缓冲，用Filebeat收集日志，然后将日志传到Ckafka中。 一、Filebeat的介绍 Beats 平台 集合了多种单一用途数据采集器。 setup.template.settings: index.number_of_shards: 3 output.kafka: version:0.10.2 ### 根据不同 CKafka
1.5K102发布于 2019-08-30 - 来自专栏发哥说消息队列
CKafka系列学习文章 - CKafka场景案例（五）
一、CKafka的特性 CKafka 适用于对吞吐率要求更高、对可靠性要求相对较低的场景（如日志聚合等业务）。此外，CKafka 完美兼容 Kafka 的老用户，可以做到零迁移成本，实例完全独占。 CKafka 面向的使用场景主要是需要高吞吐、高性能的大数据处理场景，对数据可靠性要求不十分苛刻，极端场景下可能会有少量的消息丢失；若需保障完全不丢失消息，且对性能要求不是非常高的场景，推荐使用 CMQ image.png 二、CKafka的适用场景 image.png 三、经典案例参考 image.png image.png image.png image.png image.png image.png 四、CKafka对开源生态的支持 image.png image.png image.png 结语：找到适合自己公司业务需求的使用场景，使业务系统更稳定，给客户最好用户的体验，是一个公司的核心竞争力。
79673发布于 2019-08-27 - 来自专栏发哥说消息队列
CKafka系列学习文章 - Flume接入Ckafka（九）
四、 Flume 接入 CKafka 1. 创建Ckafka和创建topic a. 创建ckafka实例 image.png 因为CVM主机跟Ckafka所分配的内网IP不是在一个VPC网络内，所以要添加路由策略的方式来访问Ckafka。 b. 编写配置文件 此处重点介绍 Flume 与 CKafka 作为 Sink 结合，Source 和 Channel 使用默认配置。 [root@VM_1_250_centos apache-flume-1.7.0-bin]# cat conf/flume-ckafka-sink.properties #ckafka作为sink的demo 使用Ckafka作为Source a. 编写配置文件。 此处重点介绍Flume与CKafka作为Source结合,Sink和Channel使用默认配置。
95662发布于 2019-09-05 - 来自专栏发哥说消息队列
CKafka系列学习文章 - CKafka界面管理（四）
接入方式 连接CKafka的实例要用接入方式中的IP和端口，先要添加路由策略： 路由类型有：基础网络、VPC网络、公网域名接入，两种接入方式：PLAINTEXT和SASL_PLAINTEXT 1) 基础网络 二、Topic管理 对bowenqiu_topic2进行参数编辑： image.png image.png a) 分区数和副本数 这里需要规划好，因为我们购买的CKafka实例的topic上限是25个和分区数的上限是 所以需要同时在配合 min.isync.replicas 参数（此参数可以在消息队列 CKafka 控制台 Topic 配置开启高级配置中进行配置），min.insync.replicas 表示在 ISR image.png 六、用户管理 image.png 七、升配 image.png 八、配置告警 image.png image.png image.png image.png 下一章将来了解下： CKafka
1.3K63发布于 2019-08-26 - 来自专栏发哥说消息队列
CKafka系列学习文章 - Java工程调用Ckafka (六)
导语：我们来搭建一套java开发环境，用java实现一个生产者客户端和消费者客户端。
1.6K62发布于 2019-08-28 - 来自专栏发哥说消息队列
CKafka系列学习文章 - 创建一个CKafka实例（三）
导语：前面我们介绍了消息队列也比较了各种消息队列，接下来创建一个CKafka来测试一下。 image.png 第 1 步：登录控制台 登录腾讯云控制台。 第 2 步：创建 CKafka 实例 进入 消息队列 CKafka 界面，点击新建按钮，填写相关配置并选择实 例类型，创建实例。 server.properties image.png sasl.mechanism=PLAIN ###用户客户端连接的SASL机制 security.protocol=SASL_PLAINTEXT ###用于与CKafka /config/consumer.properties image.png 下一章将去看看消息队列CKafka管理界面的配置和参数设置
1.4K132发布于 2019-08-23 - 来自专栏发哥说消息队列
CKafka系列学习文章 - CKafka入门型配置压测报告（十五）
一、压测环境 CKafka实例： 规格：入门型、峰值带宽: 40 MB/s、磁盘容量: 300GB， Image_20190929131336686592.png topic：4分区 3副本 1_ /kafka-producer-perf-test.sh --topic ckafka-test1 --num-records 100000 --record-size 100000 --producer-props /kafka-producer-perf-test.sh —topic ckafka-test1 ### topic名称，本例为ckafka-test1 —num-records 100000 ### 每秒平均向ckafka发送了1364条消息，256.3条/s、24.45MB/s，每次写入的平均延迟为240.5毫秒，最大的延迟为4176.9毫秒 消费者压测 . 的配置信息，本例只指定了ckafka的链接信息 —num-fetch-threads 6 ###取消息的线程数，本例为6 —topic ckafka-test1 ### topic名称，本例为ckafka-test1
1.2K123发布于 2019-09-30 - 来自专栏发哥说消息队列
CKafka系列学习文章 - 用java调用Ckafka实例相关接口（十二）
image.png 一、获取实例列表 1、接口描述 接口请求域名：ckafka.api.qcloud.com 本接口（ListInstance）用于在用户账户下获取消息队列 CKafka 实例列表。 ","instanceName":"bowenqiu_ckafka","status":1,"ifCommunity":true},{"instanceId":"ckafka-qwkshhnx","instanceName 本接口（GetInstanceAttributes）用于在用户账户下获取消息队列 CKafka 实例属性。 本接口（SetInstanceAttributes）用于设置消息队列 CKafka 实例属性。 本接口（GetGroupOffsets）用于在用户账户下获取 CKafka 消息分组 offset。
1.4K112发布于 2019-09-11 - 来自专栏后端架构
腾讯Ckafka队列使用测评
from=18122&from=20878 前言 本文主要是测试Ckafka的性能如何，作为一款商用的消息中间件，从消息的接收和处理，以及监控维度查看消息中间件的使用方便程度，比起自己搭建一个kafka Consume partition:0 offset:592 Consume partition:0 offset:593 Consume partition:0 offset:594 消息监控 腾讯CKafka 腾讯CKafka作为一个高性能、高可靠性的消息队列服务，非常适合企业级应用和高并发场景的使用。使用CKafka需要注意其规范和限制，并进行相应的配置和初始化，保证CKafka的稳定性和可靠性。 可以根据业务需求选择适合的CKafka版本，如私有化部署版、云版等。在使用CKafka前，需要进行相关的配置和初始化。 引用 CKafka服务 开通外网ip 添加路由 数据上报 订阅消费
78120编辑于 2023-10-26 - 来自专栏发哥说消息队列
CKafka系列学习文章 - 你是否踩过Ckafka的这些坑（十六）
三、接入方式与ACL 如何对接使用ckafka，以及ckafka提供的用户管理和ACL权限管理，满足多种环境的访问方式和安全权限的需求。 Ckafka提供了以下接入方式： 1、内网接入方式：购买ckafka实例，即提供内网访问的：ip和port 2、VPC网络接入方式：不是一个VPC下资源访问ckafka，可开通路由接入方式，来创建路由类型为 四、避免数据丢失 由于生产端的原因导致数据丢失 生产者将数据发送到消息队列 CKafka 时，数据可能因为网络抖动而丢失，此时消息队列 CKafka 未收到该数据。 CKafka。 应该时刻注意生产者的生产消息数情况、平均消息大小等（消息队列 CKafka 监控中有丰富的监控指标）。
1.5K122发布于 2020-05-11 - 来自专栏腾讯云中间件的专栏
CKafka 跨洋数据同步性能优化
导语 本文主要介绍了 CKafka 在跨洋场景中遇到的一个地域间数据同步延时大的问题，跨地域延时问题比较典型，所以详细记录下来做个总结。 作者简介 谢雪辉 腾讯云 CKafka 高级研发工程师 CKafka 核心研发、CKafka 万亿消息规模集群稳定性负责人，精通 Kafka 内核，对消息队列在云上的商业化建设、技术架构设计、开源代码升级 Connect 集群从源实例拉取数据后，会启动 Producer 发送数据到目标 CKafka 实例。 在某个客户业务场景中，客户希望通过跨地域同步能力，把香港 CKafka 实例的数据同步到美东 CKafka 实例，在使用过程中引发了一个跨地域延时的诡异问题！ 戳原文，查看更多消息队列 CKafka 的信息！ 点个在看你最好看
88250编辑于 2023-08-03 - 来自专栏发哥说消息队列
CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、TDMQ-CMQ、kafka和Ckafka（二）
一、RabbitMQ、RocketMQ、和CMQ，CKafka和Apache Kafka的对比： 特性 CKafka Apache Kafka RabbitMQ RocketMQ TDMQ-CMQ 优点 峰值带宽40MBS/s、300G磁盘容量、25主题，60个分区：269元一个月 腾讯专家级团队运维CKafka集群，自已无需运维 扩容不影响业务 3， 以下还介绍了消息队列 CKafka 相比于自建开源 Ckafka和CMQ都作为消息中间件都支持集群部署、高吞吐量、强一致等特性，那这两款产品最主要的区别是什么，分别更适合哪些场景使用？ 1、CKafka CKafka（Cloud Kafka）是一个分布式的、高吞吐量、高可扩展性的消息系统，100% 兼容开源 Kafka API（0.9版本）。 Ckafka 基于发布/订阅模式，通过消息解耦，使生产者和消费者异步交互，无需彼此等待。 Ckafka 具有数据压缩、同时支持离线和实时数据处理等优点，适用于日志压缩收集、监控数据聚合等场景。
5.9K74编辑于 2022-04-22 - 来自专栏云服务器购买
消息队列-腾讯云消息队列 CKafka
腾讯云消息队列 CKafka，分布式、高吞吐量、高可扩展性的消息服务，100%兼容开源 Apache Kafka 0.9 0.10 腾讯云消息队列 CKafka点击查看详情 消息队列 CKafka 简介 CKafka 基于发布/订阅模式，通过消息解耦，使生产者和消费者异步交互，无需彼此等待。CKafka 具有数据压缩、同时支持离线和实时数据处理等优点，适用于日志压缩收集、监控数据聚合等场景。 腾讯云消息队列 CKafka 的特性 兼容开源 100% 兼容 Apache Kafka 0.9 0.10版本，迁移上云0成本。 高可靠 消息队列 CKafka 集群性能强劲，生产性超越开源方案；此外，消息队列 CKafka 分布式的部署，集群稳定性也有很好的保障。 应用场景 日志分析系统 消息队列 CKafka 结合大数据套件 EMR，构建完整的日志分析系统。
7.8K60发布于 2019-08-06 - 来自专栏腾讯云可观测专栏
腾讯云消息队列（Ckafka）监控最佳指南
作者：朱丹阳，腾讯云监控开发工程师 腾讯云消息队列 CKafka 简介 消息队列 CKafka（Cloud Kafka）是基于开源 Apache Kafka 消息队列引擎，提供高吞吐性能、高可扩展性的消息队列服务 顺序读写：消息队列 CKafka 能够保证一个 Partition 内消息的有序性。和大部分的消息队列一致，消息队列 CKafka 可以保证数据按照顺序进行处理，极大提升磁盘效率。 CKafka 架构 & 监控指标 01 架构图 & 监控指标 ? 设置 CKafka 的 Dashboard： 1. 选择 CKafka 实例 2. 选择 CKafka-Topic 3. 选择 CKafka-ConsumerGroup-Topic 4. 选择 CKafka-ConsumerGroup-Partition 选择完 CKafka 实例，CKafka-Topic，CKafka-ConsumerGroup-Topic，CKafka-ConsumerGroup-Partition
4.6K20发布于 2020-12-18 - 来自专栏腾讯云中间件专家服务
ckafka消费慢的通用排查方法
背景 ckafka消费慢是用户经常遇到的问题，消费慢直接体现为消息堆积数上升，消息堆积数上升意味这消费者没有及时消费到消息，依赖消费者的下游应用就可能堵塞。 因此，在观测到ckafka消费慢后及时进行有效排查、定位问题，用于降低消费慢对业务的影响，是很有必要的。 与自建kafka不同的是，客户无法看到ckafka的服务端数据比如broker的日志。 ckafka的消息链路如下： 生产客户端 --> Ckafka --> 消费客户端 --> 应用A --> 应用B... ... 通用排查方法的核心思想就是从上游往下游，从使用者角度一个个排查。 在这里给出一个简单的方法用于确认是否服务端出了问题，即新建测试topic使用kafka命令行工具测试实例消费带宽能否跑满，工具可以从官网下载，操作方法可以参考CKafka系列学习文章 - CKafka入门型配置压测报告 ckafka中主题的分区越多，消费能力越强，可以把主题看成是一个装满水（水看成是消息）的杯子，分区就是一根根插进杯子的吸管。
2.1K20发布于 2020-11-15 - 来自专栏腾讯云中间件专家服务
巡检项：开启Ckafka跨可用区部署
一、CKafka跨可用区部署原理 CKafka 专业版支持跨可用区部署，在拥有3个或3个以上可用区的地域购买 CKafka 实例时，可以任选其中两个可用区购买跨可用区实例。 三、操作步骤 购买实例选择两个可用区 登录 CKafka 控制台 。 在左侧导航栏单击实例列表，单击新建进入实例购买页。 在实例购买页，根据自身业务需求选择购买信息。 Kafka 版本：根据您的业务需求选择 Kafka 版本，可参见 CKafka 版本选择建议。 地域：选择和部署客户端的资源相近的地域。 可用区：根据实际需要选择可用区。
1.1K41编辑于 2022-03-24 - 来自专栏Andy的技术专栏
ckafka必知必会的10个问题
ckafka提供了哪些配置值得关注？ ckafka提供了哪些监控告警值得关注？ 1. 使用kafka能帮助我们解决什么问题？ message.max.bytes：消息体最大字节数 cleanup.policy：消息日志清理机制 segment.ms：消息日志分片时长 retention.ms：消息日志保留时间 [几个值得关注的ckafka 配置] ckafka提供了哪些监控告警值得关注？ 监控] [几个值得关注的ckafka.Consumer监控] 参考资料 Apache Kafka官网 http://kafka.apache.org/ 腾讯云消息队列CKafka https://cloud.tencent.com /product/ckafka 关于ActiveMQ、RocketMQ、RabbitMQ、Kafka一些总结和区别 https://www.cnblogs.com/xiapu5150/p/9927323
2.2K71发布于 2019-06-23 - 来自专栏腾讯云中间件专家服务
腾讯云消息队列Ckafka和TDMQ选型问题
同时Ckafka在性能和高可用性方面更具有优势： 1、Ckafka在I/O线程拉取请求任务时不用加锁，提高性能。 2、Ckafka实现了多可用区部署，数据节点自动感知区域，故障节点自动检测，对用户无感知。 3、同时Ckafka采用安全加固技术，全方位多角度保护云上数据安全。 Ckafka应用场景 消息队列 CKafka 广泛应用于大数据领域，如网页追踪行为分析、日志聚合、监控、流式数据处理、在线和离线分析等。 消息队列 CKafka 的特性决定它非常适合作为“日志收集中心”；多台主机/应用可以将操作日志“批量”“异步”地发送到消息队列 CKafka 集群，而无需保存在本地或者 DB 中；消息队列 CKafka 在大数据，流式计算场景中我们一般选择Ckafka，因为Ckafka在搞并发情况下的吞吐量、响应度都是非常高的。
9.5K138发布于 2020-10-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号