<?xml version="1.0" encoding="utf-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<atom:link href="http://itecfun.com/extern.php?action=feed&amp;tid=3366&amp;type=rss" rel="self" type="application/rss+xml" />
		<title><![CDATA[个人知识管理站 / 重启hadoop后，datanode启动不起来的各种原因]]></title>
		<link>http://www.itecfun.com/viewtopic.php?id=3366</link>
		<description><![CDATA[重启hadoop后，datanode启动不起来的各种原因 最近发表的帖子。]]></description>
		<lastBuildDate>Tue, 16 Oct 2018 05:49:11 +0000</lastBuildDate>
		<generator>FluxBB</generator>
		<item>
			<title><![CDATA[重启hadoop后，datanode启动不起来的各种原因]]></title>
			<link>http://www.itecfun.com/viewtopic.php?pid=3632#p3632</link>
			<description><![CDATA[<p>datanode启动不起来的各种原因<br />一般在数据节点的log日志信息里能找到导致启动不起来的原因。</p><p>1.Namenode和Datanode的NamenodeID不一致<br />&#160; &#160; 描述：一般在集群多次重新格式化HDFS之后，或者刚安装时会碰到。日志信息如下：</p><p>&#160; java.io.IOException: Incompatible namespaceIDs in /root/tmp/dfs/data:</p><p>&#160; NameNode namespaceID = 1307672299; DataNode namespaceID = 389959598</p><p>解决办法：最直接有效的办法就是修改Datanode上的namenodeID(位于/dfs/data/current/VERSION文件中）或修改NameNode的namespaceID（位于/dfs/name/current/VERSION文件中），使其一致。</p><p>2.Datanode突然不堪重负宕掉<br />&#160; 只需重启坏掉的Datanode或者JobTracker。当集群中的某单个节点出现问题，不必重新重启整个系统，只需重启这个节点，然后会自动连接到整个集群里。</p><p>&#160; 在坏死的节点上输入以下命令：</p><p>&#160; &#160; bin/Hadoop-daemon.sh start DataNode</p><p>&#160; &#160; bin/Hadoop-daemon.sh start jobtracker</p><p>以上方法也可以用于动态加入datanode，允许用户动态将某个节点加入集群中。</p><p>&#160; &#160; 在hadoop集群中，HDFS分布式文件系统和mapreduce计算框架是可以独立部署安装的，在hadoop2中体现很明显，如果只需要使用部分节点进行计算,只需要单独启动resourcemanager和需要使用的结点上的nodemanager即可，查找命令可以参考/hadoop2/sbin/start-yarn.sh中是如何写的就可以找到答案了！ 在hadoop2/sbin/start-yarn.sh脚本中，写了启动resourcemanager和所有节点上的nodemanager，所以只需要参考该脚本文件，就能得到启动单个节点上的nodemanager的方法：</p><p>&#160; &#160; hadoop2/sbin/hadoop-daemon.sh startdatanode</p><p>&#160; &#160; hadoop2/sbin/yarn-daemon.sh nodemanager</p><p>然后执行下集群HDFS的负载均衡即可完成动态添加节点了！</p><p>&#160; 在hadoop1中</p><p>&#160; &#160; bin/Hadoop-daemon.sh --config ./conf start DataNode</p><p>&#160; &#160; bin/Hadoop-daemon.sh --config ./conf start tasktracker</p>]]></description>
			<author><![CDATA[dummy@example.com (xuyg)]]></author>
			<pubDate>Tue, 16 Oct 2018 05:49:11 +0000</pubDate>
			<guid>http://www.itecfun.com/viewtopic.php?pid=3632#p3632</guid>
		</item>
	</channel>
</rss>
