apache druid 迁移过程(hdfs)insert-segment-to-db


背景

由于公司内部调整,apahce druid 集群需迁移。深度存储的路径也需要调整。

迁移hdfs中的文件

这个我们有专门的人员迁移的,具体操作不详。应该就是借助工具,在hdfs中进行 segements的迁移。

使用工具insert-segment-to-db

这个在使用时,注意版本。后期druid 升级后,包名进行过调整,导致使用的命令有差异。 官网给出的导入命令

java 
-Ddruid.metadata.storage.type=mysql 
-Ddruid.metadata.storage.connector.connectURI=jdbc\:mysql\://localhost\:3306/druid 
-Ddruid.metadata.storage.connector.user=druid 
-Ddruid.metadata.storage.connector.password=diurd 
-Ddruid.extensions.loadList=[\"mysql-metadata-storage\",\"druid-hdfs-storage\"] 
-Ddruid.storage.type=hdfs
-Ddruid.storage.type=hdfs
-cp $DRUID_CLASSPATH 
org.apache.druid.cli.Main tools insert-segment-to-db --workingDir hdfs://host:port//druid/storage/wikipedia --updateDescriptor true

在实际导入的过程中,设置DRUID_CLASSPATH 过程中出现问题,导致无法读取到hdfs中的文件。此处需设置,druid 的lib 于hadoop 的配置 以下命令是个人导入的命令。

java  
-Ddruid.metadata.storage.type=mysql 
-Ddruid.metadata.storage.connector.connectURI=jdbc:mysql://ip:3306/druid 
-Ddruid.metadata.storage.connector.user=druid 
-Ddruid.metadata.storage.connector.password= 
-Ddruid.extensions.loadList=[\"mysql-metadata-storage\",\"druid-hdfs-storage\"] 
-Ddruid.storage.type=hdfs  
-cp "conf/druid/_common:/home/ant/druid/apache-druid-0.13.0-incubating/lib/*"  
org.apache.druid.cli.Main tools insert-segment-to-db --workingDir hdfs://hodoop//druid/segments/wikipedia1 --updateDescriptor true

注意

导入数据时,尽量保持环境属于安全模式,也就是没有数据写入。

官网文档地址

http://druid.io/docs/0.13.0-incubating/operations/insert-segment-to-db.html

本文发表于2019年04月26日 11:00
(c)注:本文转载自https://my.oschina.net/u/3247419/blog/3042658,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如有侵权行为,请联系我们,我们会及时删除.

阅读 30 讨论 0 喜欢 0

讨论

周娱

君子和而不同
按照自己的方式,去度过人生

6174 1959650
抢先体验

扫码体验
趣味小程序
文字表情生成器

加入组织

扫码添加周娱微信
备注“加入组织”
邀请进开发群

闪念胶囊

天空不是人类休息的地方,人类应该去亲近海洋。

一个人的正直程度,取决于他肯为原则付出的牺牲。

每个人都有一个最有创造力的年龄窗口,它大概只有十来年的样子,哪怕你是那种拥有元力的人。你能取得多大成就,取决于你在这个时间窗口,离你最近的是什么行业,它直接决定了你的人生轨迹。这个行业上升还是衰落,甚至你在这个行业中处于什么生态位,都和你的奋斗无关。

人的脑子就像在半山腰,不进则退,没有任何约束就滚下去了,因此需要自律。

大多数人程序员都高估了他们一天能完成的开发量,但低估了他们一年能学习到的东西。 ​​​

“决定我们成为什么样的人,不是我们的能力,而是我们的选择。”

让一个团队走向平庸的最佳方式,是让成员们持续地干那些不让他们感到自豪的事情。

最近1 2年发现成长的最好方式是研究开源的项目,自己实践。成长速度非常的快,一个好的项目需要考虑的细节很多。

不积跬步无以至千里,越焦虑越要扎实干。

Copyright © 2016 - 2018 Cion.
All Rights Reserved.
备案:鲁ICP备16007319号.