Hadoop常见错误和处理方式_光环大数据Hadoop培训mysql版本，必须是MYSQL5.1。
查询办法mysqladminversion在建立hive数据库的时候，最好是:createdatabasehive;oozie的数据库，同样：createdatabaseoozie;hadoop采集的字符集问题。
修改/etc/sysconfig/i18n更改字符集为en_US.UTF-8重启机器生效。
重启机器的指令为：在root下敲入如下指令：sync;sync;init6修改mapreduce。
在gateway/性能下修改：MapReduce子Java基础选项、Map任务Java选项库、Reduce 任务Java选项库全部配置成-Xmx4294967296在TASKTRACKER/性能下修改:MapReduce子Java基础选项、Map任务Java选项库、Reduce 任务Java选项库全部配置成-Xmx4294967296必须关注各个任务的详细情况当出现如下的错误的时候，请及时的将下载的进程数调小。
vi/home/boco/oozie_wy/config/lte/mro/ftp/807101.xml将max_thread由原来的6个调整为3个,或者协调厂家加大FTP的最大线程数。
stderrlogs：.ftp.FTPConnectionClosedException:FTPresponse421received.Serv erclosedconnection..ftp.FTP.__getReply(FTP.java:363).ftp.FTP.__getReply(FTP.java:290).ftp.FTP.connectAction(FTP.java:396).ftp.FTPClient.connectAction(FTPClient.java:796).SocketClient.connect(SocketClient.java:172).SocketClient.connect(SocketClient.java:192).SocketClient.connect(SocketClient.java:285)atcom.boco.wangyou.utils.Ftp.connectServer(Ftp.java:550)atcom.boco.wangyou.lte.mro.ftp.tools.FindFileThread.run(FindFileThread.java:67)登录ftp服务器【10.140.177.149】失败，FTP服务器无法打开！.ftp.FTPConnectionClosedException:FTPresponse421received.Serv erclosedconnection..ftp.FTP.__getReply(FTP.java:363).ftp.FTP.__getReply(FTP.java:290).ftp.FTP.connectAction(FTP.java:396).ftp.FTPClient.connectAction(FTPClient.java:796).SocketClient.connect(SocketClient.java:172).SocketClient.connect(SocketClient.java:192).SocketClient.connect(SocketClient.java:285)atcom.boco.wangyou.utils.Ftp.connectServer(Ftp.java:550)atcom.boco.wangyou.lte.mro.ftp.tools.FindFileThread.run(FindFileThread.java:67)登录ftp服务器【10.140.177.149】失败，FTP服务器无法打开！.ftp.FTPConnectionClosedException:FTPresponse421received.Serv erclosedconnection..ftp.FTP.__getReply(FTP.java:363).ftp.FTP.__getReply(FTP.java:290).ftp.FTP.connectAction(FTP.java:396).ftp.FTPClient.connectAction(FTPClient.java:796).SocketClient.connect(SocketClient.java:172).SocketClient.connect(SocketClient.java:192)TASKTRACKER和HDFS组的问题发现部分地方在安装的时候，将所有的机器分组的问题。
如果分组，需要将每个组的参数都要修改。
目前发现很多的地方，TASKTRACKER和HDFS都分了组，但是只修改一组的参数，造成系统大量出问题。
javaheapsize以及tasktracker被拉黑名单的问题。
namenode和datanode的内存配置问题。
建议将使用的内存修改为4G左右。
建议将HIVE2服务放到一个辅节点上。
hive2放到辅节点上，经常出现add_partation挂起报错。
解决HIVE经常挂死的问题修改zookeeper的最大客户端连接数，maxClientCnxns修改为3600或者修改成0不限制自动清空时间间隔，autopurge.purgeInterval修改为1小时厂家XML配置的问题。
如果厂家是这样的：/data/dataservice/mr/ltemro/huawei/20140815/01/362323/TD-LTE_MRO_HUAWEI_010133150 144_362323_20140815011500.xml.gz建议配置成这样的：路径：/data/dataservice/mr/ltemro/huawei/$TIME$/$ENODEB$时间格式：yymmdd/hh在/home/boco/oozie_wy/config/lte/mro/ftp下禁止存放.bak文件有一个省份的mapper数超多，导致解析很长时间没有完成。
进一步发现FTP在合并文件的时候报错，再进一步发现同一个IP地址，同一个OMC启动了三个mapper进程去下载数据导致文件合并失败。
发现是修改了ftp.xml文件，没有删除原来的文件，而是以一个bak文件存放。
删除这些bak文件，mapper数量正常。
原mapper数1731个，删除之后mapper数41个,采集正常。
打开50030看FTP的日志，存在如下的报错：java.io.FileNotFoundException:Filedoesnotexist:/user/boco/cache/wy/ltemro/14110322933 48/xml/155/2014-09-18_11/TD-LTE_MRO_ERICSSON_OMC1_303024_20140918111500.xml.zip node.INodeFile.valueOf(INodeFile.java:39)node.FSNamesystem.getBlockLocationsUpdateTimes (FSNamesystem.java:1341)node.FSNamesystem.getBlockLocationsInt(FSNamesy stem.java:1293)node.FSNamesystem.getBlockLocations(FSNamesyst em.java:1269)node.FSNamesystem.getBlockLocations(FSNamesyst em.java:1242)NodeRpcServer.getBlockLocations(Name NodeRpcServer.java:392)atorg.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getB lockLocations(ClientNamenodeProtocolServerSideTranslatorPB.java:172)atorg.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenode Protocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44938)atorg.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcE ngine.java:453)atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1701)atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1697)atjava.security.AccessController.doPrivileged(NativeMethod)或者：org.apache.hadoop.ipc.RemoteException(node.LeaseE xpiredException):Leasemismatchon/user/boco/cache/wy/ltemro/1411032293348/xml/155/2014-09-18_11/T D-LTE_MRO_ERICSSON_OMC1_3030_20140918.xmlownedbyDFSClient_NONMAPREDUCE_ -1274827212_1butisaccessedbyDFSClient_NONMAPREDUCE_-216613905_1node.FSNamesystem.checkLease(FSNamesystem.java :2459)node.FSNamesystem.checkLease(FSNamesystem.java :2437)pleteFileInternal(FSNamesy stem.java:2503)pleteFile(FSNamesystem.ja va:2480)plete(NameNodeRpc Server.java:535) plete(ClientNamenodeProtocolServerSideTranslatorPB.java:337)atorg.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenode Protocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44958)atorg.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcE ngine.java:453)atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)REDIS故障解析时候报错，错误如下：redis.clients.jedis.exceptions.JedisConnectionException:Couldnotgetaresourcefromthepool atredis.clients.util.Pool.getResource(Pool.java:22)atcom.boco.wangyou.utils.JedisUtils.getJedis(JedisUtils.java:47)atcom.boco.wangyou.utils.JedisUtils.getTableValues(JedisUtils.java:119)atcom.boco.wangyou.lte.mro.tdl.tools.LteMroXMLParser.此问题一般是因为REDIS没有启动导致。