clickhouse导入kafka数据流的延时很长,求教解决方法
发布于 3 个月前 作者 clh01 578 次浏览 来自 问答

业务系统需要从kafka读取数据,按照官方文档建好表后,也能看到数据,但是延时很高。基本要延时15分钟左右。kafka的数据大约每秒50条左右。基本规律是累计到65535行以后(最小的块大小)才会在表中显示数据。 尝试更改stream_flush_interval_ms 没有作用,但是有不想改max_block_size,因为修改以后影响到全局所有表,并且影响搜索效率。希望能每N秒保证不管block有没有写满都flush一次。

有没有好的解决方法,谢谢

2 回复

我也遇到这个问题了,感觉kafka引擎不好用,就用golang写了个中间件

@wangsong 是的,最后我也自己写了一个导入脚本

回到顶部