金沙国际app-金沙国际手机app下载

金沙国际app包括教育和科研机构建设、学科共建等,欢迎来到金沙国际手机app下载这里有多种线上娱乐游戏,金沙国际app获颁“创意中国榜”中国文化创意产业领军企业,是一家专业从事网络休闲平台游戏开发、运营的服务性企业。

当前位置:金沙国际app > 网络世界 > Hadoop Incompatible namespaceIDs

Hadoop Incompatible namespaceIDs

文章作者:网络世界 上传时间:2019-11-05

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

根据参考文档的解决方案,原因是多次格式化hadoop导致版本信息不一致,修改为一致状态即可解决问题
解决的办法很简单,两个方案

2. 登上datanode,把位于{dfs.data.dir}/current/VERSION中的namespaceID改为最新的版本即可

图片 1

当报这个错的时候,也没有认真去想,就直接google了,其实简单的想一下应该可以考虑到这个原因的。

Incompatible namespaceIDs
 java.io.IOException: Incompatible namespaceIDs in /hadoop/logdata: namenode namespaceID = 13513664; datanode namespaceID = 525507667

当我们format namenode的时候,会在namenode数据文件夹中保存一个VERSION文件,其中包含着一个namespaceID,标识了所格式化的namenode的版本,如果我们频繁的格式化namenode(像我这样的),那么datanode中保存的VERSION文件只是你第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。

2012-12-18 13:47:24,673 WARN hdfs.BucketWriter: Caught IOException writing to HDFSWriter (java.io.IOException: File /logdata/20121218/bj4aweb04/8001_4A_ACA/8001_4A_ACA.1355799411582.tmp could only be replicated to 0 nodes, instead of 1
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)

  1. 所有的datanode删掉,重新建(很麻烦,但看你了)

1,现象:flume再往Hadoop HDFS写文件时flume.log报错 be replicated to 0 nodes, instead of 1

Hadoop Incompatible namespaceIDs

5,重新启动hadoop,datanode已经成功启动
[hadoop@dtydb6 current]$ jps
8770 JobTracker
8436 DataNode
8266 NameNode
8614 SecondaryNameNode
9107 Jps

本文由金沙国际app发布于网络世界,转载请注明出处:Hadoop Incompatible namespaceIDs

关键词: