feitiandamo

摘要：主机连接拒绝通常有以下几种情况：1. 主机名称的问题，机器因为某种原因，hostname发生了变更。2. 免密通信失效由master ssh到其他主机监测是否能够连接3. 确认目标ip是否有效，该机器配置了真实的地址4. ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(436) 评论(0) 推荐(0)

摘要：声明:允许转载，转载请注明链接，谢谢合作! 1 字符串判断 str1 = str2 当两个串有相同内容、长度时为真 str1 != str2 当串str1和str2不等时为真 -n str1 当串的长度大于0时为真(... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(1644) 评论(0) 推荐(0)

摘要： ps -ef和ps aux有什么区别。答： ps aux 是用BSD的格式来显示 java这个进程可以看到状态显示的内容有：USER , PID , %CPU , %MEM , VSZ , RSS ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(337) 评论(0) 推荐(0)

摘要：优化时，把hive sql 当做map reduce 程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。长期观察hadoop处理数据的过程，... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(58) 评论(0) 推荐(0)

摘要：读车品觉的 1.大数据时代的核心特质是'用数据找机会' 2.很多时候，我们欠缺的不是解决问题的方式，而是定位问题的能力 3.在万物皆数据的时代，要以“假设数据都能获取”为前提去思考问题 4.端菜才是大数据所面临的最严重的问题。收集数据的人并不... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(42) 评论(0) 推荐(0)

摘要：声明:允许转载，转载请注明链接，谢谢合作! --------------------------------------------------我是分割线---------------------------------------------------... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(340) 评论(0) 推荐(0)

摘要： flume配置文件example #agent1表示代理名称 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #Sp... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(97) 评论(0) 推荐(0)

摘要： cdh版本的hadoop在对数据安全上的处理采用了Kerberos+Sentry的结构。 kerberos主要负责平台用户的权限管理，sentry则负责数据的权限管理。下面我们来依次了解一下： ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(171) 评论(0) 推荐(0)

摘要： QJM的基本原理就是用2N+1台JournalNode存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉，这个算法就失效了。第一部分 ... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(173) 评论(0) 推荐(0)

摘要： Paxos 算法，这个算法主要解决的问题是一个分布式系统如何就某个值（决议）达成一致。这是一种基于消息传递模型的一致性算法。凡是多个过程需要达成某种一致性的都可以用到Paxos 算法。这个算法有以下几个典型的应用场... 阅读全文

posted @ 2022-07-27 21:10 feitiandamo 阅读(51) 评论(0) 推荐(0)