二维码

Hadoop运维12问--应急手册(中国程序员) - 电子书下载（高清版PDF格式+EPUB格式） - 数据结构 - 机器学习

1247 人阅读 | 时间：2021年01月15日 01:20
Hadoop运维12问--应急手册(中国程序员) - 电子书下载（高清版PDF格式+EPUB格式） - 数据结构 - 机器学习 #daohang ul li t,.reed .riqi,a.shangg,a.xiatt,a.shangg:hover,a.xiatt:hover,a.shang,a.xiat,a.shang:hover,a.xiat:hover,.reed-pinglun-anniu,span.now-page,#daohangs-around,#caidan-tubiao,#daohangs,#daohangs li,#btnPost{background-color:#D10B04;} .dinglanyou1 h3{border-bottom:3px solid #D10B04;} #dibuer{border-top:2px solid #D10B04;}.cebianlan .rongqi h3{border-bottom:1px solid #D10B04;} #edtSearch{border:1px solid #D10B04;} #daohang .zuo ul li{border-right:1px solid #;} #daohang ul li t a{border-top:1px solid #;border-right:1px solid #D10B04;} #daohang ul li t a:hover{border-right:1px solid #;} #daohang .you ul li a:hover,#daohang .zuo ul li a:hover,.reed-pinglun-anniu:hover{background-color:#;} a:hover,.reed h6 a:hover,#dibuer a:hover,.reed .riqiding,.cebianlan .rongqi li a:hover,#pinglun-liebiao ul.fubens li.depth-1 dl dd span.shu a,#pinglun-liebiao ul.fubens li.depth-1 dl dd span.huifuliuyan a:hover,.reed-biaoti h6 span{color:#D10B04;} .reed .kan a{color:#0A0AF5;}.reed .kan a:hover{color:#D10101;} @media screen and (max-width:1492px){a.shang,a.xiat{background:none;} a.xiat:hover,a.shang:hover{background-color:#f9f9f9;background-image:none;text-decoration:none;}} var _hmt = _hmt || [];(function() { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?b19db5ba3b437a9e8698d2bc8fc64334"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s);})(); var _hmt = _hmt || []; (function() { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?b19db5ba3b437a9e8698d2bc8fc64334"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s); })(); var _hmt = _hmt || []; (function() { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?2d748c9763cfc72fb7d1ccab29f0770d"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s); })(); var _hmt = _hmt || []; (function() { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?f6d451f3f1be23f3abf240c64c469c1b"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s); })();

当前位置：首页 » 大数据电子书 » 正文

(function() { var s = "_" + Math.random().toString(36).slice(2); document.write('
'); (window.slotbydup = window.slotbydup || []).push({ id: "u3646201", container: s }); })();
(function() { var s = "_" + Math.random().toString(36).slice(2); document.write('
'); (window.slotbydup = window.slotbydup || []).push({ id: "u3646162", container: s }); })();

Hadoop运维12问--应急手册(中国程序员) - 电子书下载（高清版PDF格式+EPUB格式）

2203 人参与  2018年12月31日 00:37  分类 : 大数据电子书  评论

Hadoop运维12问--应急手册(中国程序员)-向磊

            在线阅读                   百度网盘下载(d4no)

Hadoop运维12问--应急手册(中国程序员) - 电子书下载（高清版PDF格式+EPUB格式） - 数据结构 - 机器学习

书名:Hadoop运维12问--应急手册(中国程序员)

作者:向磊

格式:EPUB, HTMLZ, PDF

路径:点击打开

排序作者:向磊

排序书名:Hadoop运维12问--应急手册(中国程序员)

日期:08 12月 2018

uuid:f110e895-5b51-44f6-85b3-ade759420f46

id:502

出版日期:8月 2014

修改日期:08 12月 2018

大小:0.68MB

语言:中文

Hadoop集群的机房停电了，然后集群就启动不了了，几个人从下午4点多折腾到8点多还没搞定，有几台服务器找不到硬盘，还有内网ping不通的。有10来台服务器起不来datanode和tasktracker了。

由于这几台服务器挂机，namenode没有达到有效数据块的阀值所以一直处于safemode。

逐个解决，反馈比较多的情况是硬盘设备在/dev找不到，看了一下，/dev下设备存在，但是没有分区，没有fdisk就直接mkfs.ext3了。所以/dev下的设备都是sdb,sdc...而正确的应该是sdb1,sdc1这样的。发现这个问题以后，直接把/dev/sdb挂载到/data1,/data2...。该故障恢复。

还有一类故障是硬盘挂上了，但是datanode无法启动，启动后报错Cannot lock storage /data3/... The directory is already locked。看了一下，路径权限没问题，也没有进程占用该路径。首先怀疑是硬盘出错。mount看了一下，硬盘处于rw状态，应该是没什么问题，但是还是启动不了，于是将该硬盘umount掉，然后重新mount，还是不行，于是做了个测试，直接把该硬盘mkfs.ext3。再重新挂载，然后创建相应的文件夹，赋予权限。再启动datanode，这时候理论上应该是正常并负载均衡数据块，但datanode还是挂了，报了一个DiskChecker volsFailed故障，于是判断该硬盘有物理损坏。直接从hadoop配置文件里摘除，重启datanode正常。

最后一个故障是某一台服务器，内网网卡无法ping通同网段内的服务器。外网可以连接，看了一下ifconfig，IP信息，MAC信息都正确无误，怀疑是路由或者网卡问题，但一般来说，网卡不太会出问题，所以先从路由看起，结果发现果然是路由的问题。ip route命令看了一下linux的路由表。发现里面的内网地址192.168网段被转发到了一个错误的10.8的VPN tunnel上面。将该路由记录从路由表删除后，立刻就通了。

总结了如下几点：

一、大公司应该尽量选择好的机房，发生大规模宕机终归不是什么好事，带来的后续问题太多。

二、大规模分布式集群运维的人才问题将成为瓶颈，鉴于分布式系统的复杂程度，要求运维人员的水平相对比网站运维要高得多。随着技术的发展，用工具把hadoop搭起来不是问题，但是在大规模集群下的维护将成为大问题，要面对各种各样可能发生的奇怪的故障，综合知识要求非常高。不光要精通linux，还要精通网络，还要精通自动化运维方式，还要精通编程，让传统运维去维护hadoop是mission impossible的事。map/reduce开发其实很简单，只要掌握了开发的思想，一天时间就可以基本掌握。运维很可能是最终阻碍hadoop落地的障碍，分布式系统太复杂了，需要比较长时间的积累，然后需要知识面很广，思路很活跃才行。

来源：我是码农，转载请保留出处和链接！

本文链接：http://www.54manong.com/?id=1131

(function() { var s = "_" + Math.random().toString(36).slice(2); document.write('
'); (window.slotbydup = window.slotbydup || []).push({ id: "u3646208", container: s }); })();
(function() { var s = "_" + Math.random().toString(36).slice(2); document.write('
'); (window.slotbydup = window.slotbydup || []).push({ id: "u3646147", container: s }); })();
window._bd_share_config={"common":{"bdSnsKey":{},"bdText":"","bdMini":"2","bdPic":"","bdStyle":"0","bdSize":"16"},"share":{},"image":{"viewList":["qzone","tsina","tqq","renren","weixin"],"viewText":"分享到：","viewSize":"16"},"selectShare":{"bdContainerClass":null,"bdSelectMiniList":["qzone","tsina","tqq","renren","weixin"]}};with(document)0[(getElementsByTagName('head')[0]||body).appendChild(createElement('script')).src='http://bdimg.share.baidu.com/static/api/js/share.js?v=89860593.js?cdnversion='+~(-new Date()/36e5)];
大数据电子书  

微信号：qq444848023    QQ号：444848023

加入【我是码农】QQ群：864689844（加群验证：我是码农）

<< 上一篇 下一篇 >>
(function() { var s = "_" + Math.random().toString(36).slice(2); document.write('
'); (window.slotbydup = window.slotbydup || []).push({ id: "u3646186", container: s }); })();
(function() { var s = "_" + Math.random().toString(36).slice(2); document.write('
'); (window.slotbydup = window.slotbydup || []).push({ id: "u3646175", container: s }); })();
搜索

网站分类

标签列表

最近发表

    (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https'){ bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else{ bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();

全站首页 | 数据结构 | 区块链| 大数据 | 机器学习 | 物联网和云计算 | 面试笔试

var cnzz_protocol = (("https:" == document.location.protocol) ? "https://" : "http://");document.write(unescape("%3Cspan id='cnzz_stat_icon_1276413723'%3E%3C/span%3E%3Cscript src='" + cnzz_protocol + "s23.cnzz.com/z_stat.php%3Fid%3D1276413723%26show%3Dpic1' type='text/javascript'%3E%3C/script%3E"));本站资源大部分来自互联网，版权归原作者所有！

jQuery(document).ready(function($){ /* prepend menu icon */ $('#daohangs-around').prepend('
'); /* toggle nav */ $("#caidan-tubiao").on("click", function(){ $("#daohangs").slideToggle(); $(this).toggleClass("active"); }); });

©著作权归作者所有：来自ZhiKuGroup博客作者没文化的原创作品，如需转载，请注明出处，否则将追究法律责任 来源：ZhiKuGroup博客，欢迎分享。

评论专区
  • 昵 称必填
  • 邮 箱选填
  • 网 址选填
◎已有 0 人评论
相关文章
搜索
作者介绍
superadmin

superadmin

30天热门
热评文章
最近发表
标签列表

©2012-2022 Think tank 鄂ICP备19030179号-1| 使用Chrome浏览本站最佳 | 声明：本站的文章和资源来自互联网或者站长的原创，按照 CC BY -NC -SA 3.0 CN协议发布和共享，转载或引用本站文章<应遵循相同协议。如果有侵犯版权的资源请尽快联系站长，我们会在24h内删除有争议的资源；本站所有收费以及免费的信息和数据仅供参考，不构成投资建议，本网站不承担由此导致的任何责任。 登陆

Powered By Z-BlogPHP

×
×
本站会员尊享VIP特权，现在就加入我们吧！登录注册×
»
会员登录
新用户注册
×
会员注册
已有账号登录
×