准备将Trace百亿级数据量从ES迁移至ClickHouse,可行么?
发布于 1 个月前 作者 linhao007 643 次浏览 来自 问答

公司的trace日志量剧增,比较穷,机器比较少,ES的写入效率比较低,导致kafka堆积比较严重,想将Trace日志迁入至clickhouse,但是在做单元测试的时候,很容易导致Too many parts (300). Merges are processing significantly slower than inserts., e.what() = DB::Exception。这个和索引粒度有关么?merge的时候什么时候触发呀,想让其在半夜的时候进行merge?

1 回复

顶一下,等高手回答。在同步数据的时候,大并发写数据,极容易出现Too many parts (300). Merges are processing significantly slower than inserts., e.what() = DB::Exception这个错误。严重影响同步数据的效率。我通过增加<parts_to_throw_insert>参数修改到600,这个错误不出现,但是客户端出现timeout错误。

回到顶部