druid Transaction failure publishing segments, aborting


声明:本文转载自https://my.oschina.net/u/3247419/blog/1624106,转载目的在于传递更多信息,仅供学习交流之用。如有侵权行为,请联系我,我会及时删除。

插播一条广告→2021 ByteDance字节跳动内推←各城市、各方向的岗位都有,大量招人!


1、任务日志:

WARN  IndexerSQLMetadataStorageCoordinator:97 - Cannot allocate new segment for dataSource[useractive],  				interval[2018-02-19T00:00:00.000Z/2018-02-26T00:00:00.000Z], maxVersion[2018-02-24T08:59:16.832Z]:  				conflicting segment[useractive_2018-02-19T00:00:00.000Z_2018-02-20T00:00:00.000Z_2018-02-24T06:30:53.746Z_11]. 

2、任务日志:

2018-02-26 17:17:17 3474 [task-runner-0-priority-0] ERROR ThreadPoolTaskRunner:121 - Exception while running task[KafkaIndexTask{id=index_kafka_useractive_480e1352143ca85_fajmniii, type=index_kafka, dataSource=useractive}] io.druid.java.util.common.ISE: Transaction failure publishing segments, aborting         at io.druid.indexing.kafka.KafkaIndexTask.run(KafkaIndexTask.java:589) ~[?:?]         at io.druid.indexing.overlord.ThreadPoolTaskRunner$ThreadPoolTaskRunnerCallable.call(ThreadPoolTaskRunner.java:436) [druid-indexing-service-0.11.0.jar:0.11.0]         at io.druid.indexing.overlord.ThreadPoolTaskRunner$ThreadPoolTaskRunnerCallable.call(ThreadPoolTaskRunner.java:408) [druid-indexing-service-0.11.0.jar:0.11.0]         at java.util.concurrent.FutureTask.run(FutureTask.java:266) [?:1.8.0_71]         at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) [?:1.8.0_71]         at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) [?:1.8.0_71]         at java.lang.Thread.run(Thread.java:745) [?:1.8.0_71] 2018-02-26 17:17:17 3474 [task-runner-0-priority-0] INFO  TaskRunnerUtils:69 - Task [index_kafka_useractive_480e1352143ca85_fajmniii] status changed to [FAILED]. 2018-02-26 17:17:17 3474 [task-runner-0-priority-0] INFO  ExecutorLifecycle:69 - Task completed with status: {   "id" : "index_kafka_useractive_480e1352143ca85_fajmniii",   "status" : "FAILED",   "duration" : 597848  

解析

  • 1、druid_pendingSegments 中对应的时间段存在冲突
  • 2、查看overlord日志,标识 中存在 Not updating metadata, existing state is not the expected start state ,这是由于修改topic 导致校验异常,删除druid_dataSource 对应的 数据即可

异常会导致,segment hand off 失败,无法保留数据 原因:druid_pendingSegments 中对应的时间段存在冲突 解决方案:清理 druid_pendingSegments 对应的时间段

本文发表于2018年02月26日 18:39
(c)注:本文转载自https://my.oschina.net/u/3247419/blog/1624106,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如有侵权行为,请联系我们,我们会及时删除.

阅读 1615 讨论 0 喜欢 0

抢先体验

扫码体验
趣味小程序
文字表情生成器

闪念胶囊

你要过得好哇,这样我才能恨你啊,你要是过得不好,我都不知道该恨你还是拥抱你啊。

直抵黄龙府,与诸君痛饮尔。

那时陪伴我的人啊,你们如今在何方。

不出意外的话,我们再也不会见了,祝你前程似锦。

这世界真好,吃野东西也要留出这条命来看看

快捷链接
网站地图
提交友链
Copyright © 2016 - 2021 Cion.
All Rights Reserved.
京ICP备2021004668号-1