apache druid 迁移过程(hdfs)insert-segment-to-db


声明:本文转载自https://my.oschina.net/u/3247419/blog/3042658,转载目的在于传递更多信息,仅供学习交流之用。如有侵权行为,请联系我,我会及时删除。

背景

由于公司内部调整,apahce druid 集群需迁移。深度存储的路径也需要调整。

迁移hdfs中的文件

这个我们有专门的人员迁移的,具体操作不详。应该就是借助工具,在hdfs中进行 segements的迁移。

使用工具insert-segment-to-db

这个在使用时,注意版本。后期druid 升级后,包名进行过调整,导致使用的命令有差异。 官网给出的导入命令

java 
-Ddruid.metadata.storage.type=mysql 
-Ddruid.metadata.storage.connector.connectURI=jdbc\:mysql\://localhost\:3306/druid 
-Ddruid.metadata.storage.connector.user=druid 
-Ddruid.metadata.storage.connector.password=diurd 
-Ddruid.extensions.loadList=[\"mysql-metadata-storage\",\"druid-hdfs-storage\"] 
-Ddruid.storage.type=hdfs
-Ddruid.storage.type=hdfs
-cp $DRUID_CLASSPATH 
org.apache.druid.cli.Main tools insert-segment-to-db --workingDir hdfs://host:port//druid/storage/wikipedia --updateDescriptor true

在实际导入的过程中,设置DRUID_CLASSPATH 过程中出现问题,导致无法读取到hdfs中的文件。此处需设置,druid 的lib 于hadoop 的配置 以下命令是个人导入的命令。

java  
-Ddruid.metadata.storage.type=mysql 
-Ddruid.metadata.storage.connector.connectURI=jdbc:mysql://ip:3306/druid 
-Ddruid.metadata.storage.connector.user=druid 
-Ddruid.metadata.storage.connector.password= 
-Ddruid.extensions.loadList=[\"mysql-metadata-storage\",\"druid-hdfs-storage\"] 
-Ddruid.storage.type=hdfs  
-cp "conf/druid/_common:/home/ant/druid/apache-druid-0.13.0-incubating/lib/*"  
org.apache.druid.cli.Main tools insert-segment-to-db --workingDir hdfs://hodoop//druid/segments/wikipedia1 --updateDescriptor true

注意

导入数据时,尽量保持环境属于安全模式,也就是没有数据写入。

官网文档地址

http://druid.io/docs/0.13.0-incubating/operations/insert-segment-to-db.html

本文发表于2019年04月26日 11:00
(c)注:本文转载自https://my.oschina.net/u/3247419/blog/3042658,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如有侵权行为,请联系我们,我们会及时删除.

阅读 2110 讨论 0 喜欢 0

抢先体验

扫码体验
趣味小程序
文字表情生成器

闪念胶囊

你要过得好哇,这样我才能恨你啊,你要是过得不好,我都不知道该恨你还是拥抱你啊。

直抵黄龙府,与诸君痛饮尔。

那时陪伴我的人啊,你们如今在何方。

不出意外的话,我们再也不会见了,祝你前程似锦。

这世界真好,吃野东西也要留出这条命来看看

快捷链接
网站地图
提交友链
Copyright © 2016 - 2021 Cion.
All Rights Reserved.
京ICP备2021004668号-1