随笔分类 -  经验

上一页 1 2 3 4 5 6
大叔经验分享（12）如何程序化kill提交到spark thrift上的sql
摘要：spark 2.1.1 hive正在执行中的sql可以很容易的中止，因为可以从console输出中拿到当前在yarn上的application id，然后就可以kill任务， WARNING: Hive-on-MR is deprecated in Hive 2 and may not be ava 阅读全文
posted @ 2018-12-18 17:18 匠人先生 阅读(1380) 评论(0) 推荐(0)
大叔经验分享（11）python引入模块报错ImportError: No module named pandas numpy
摘要：python应用通常需要一些库，比如numpy、pandas等，安装也很简单，直接通过pip # pip install numpyRequirement already satisfied: numpy in /export/App/anaconda2/lib/python2.7/site-pac 阅读全文
posted @ 2018-12-18 11:09 匠人先生 阅读(31769) 评论(0) 推荐(1)
大叔经验分享（9）yarn重要配置yarn.nodemanager.local-dirs
摘要：yarn中有一个比较重要的配置yarn.nodemanager.local-dirs，如果配置的不好，在饱和状态运行下集群会出现很多问题：1 默认配置${hadoop.tmp.dir}/nm-local-dir，系统盘通常只有几百G，配置在这里会经常报磁盘空间不足的错误；2 配置到其中1个数据盘，比 阅读全文
posted @ 2018-12-13 16:24 匠人先生 阅读(8686) 评论(1) 推荐(0)
大叔经验分享（8）创建hive表时用内部表还是外部表
摘要：内部表和外部表最主要的一个差别就是删除表或者删除分区时，底层的文件是否自动删除，内部表会自动删除，外部表不会自动删除，所以基础数据表一定要用外部表，即使误删表或分区之后，还可以很容易的恢复回来。 虽然外部表可以恢复，但是逐个分区恢复也很累，如果你的分区很多，或者有多级分区的时候 alter tabl 阅读全文
posted @ 2018-12-12 17:19 匠人先生 阅读(900) 评论(0) 推荐(1)
大叔经验分享（7）创建hive表时格式如何选择
摘要：常用格式 textfile 需要定义分隔符，占用空间大，读写效率最低，非常容易发生冲突（分隔符）的一种格式，基本上只有需要导入数据的时候才会使用，比如导入csv文件； ROW FORMAT DELIMITED FIELDS TERMINATED BY '\u0001' LINES TERMINATE 阅读全文
posted @ 2018-12-12 17:18 匠人先生 阅读(2569) 评论(0) 推荐(0)
大叔经验分享（6）Oozie如何查看提交到Yarn上的任务日志
摘要：通过oozie job id可以查看流程详细信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程详细信息如下： Job ID : 0012077-180830142722522-oozie-hado-W Workflow N 阅读全文
posted @ 2018-12-12 17:15 匠人先生 阅读(2758) 评论(0) 推荐(0)
大叔经验分享（5）oozie提交spark任务如何添加依赖
摘要：spark任务添加依赖的方式： 1 如果是local方式运行，可以通过--jars来添加依赖； 2 如果是yarn方式运行，可以通过spark.yarn.jars来添加依赖； 这两种方式在oozie上都行不通，首先oozie上没办法也不应该通过local运行，其次通过spark.yarn.jars方 阅读全文
posted @ 2018-12-12 16:57 匠人先生 阅读(1651) 评论(0) 推荐(1)
大叔经验分享（4）Yarn ResourceManager页面如何实现主被自动切换
摘要：hdfs、yarn、hbase这些组件的master支持多个，实现自动主备切换，其中hdfs、hbase无论访问主master或者备master都可以正常访问页面，但是yarn比较特别，只有主master的页面可以访问，备master会返回Refresh，3s后重定向； 一种方式是提供两个域名，分别 阅读全文
posted @ 2018-12-12 16:54 匠人先生 阅读(1749) 评论(0) 推荐(0)
大叔经验分享（3）hbase client 如何选择
摘要：java中访问hbase有两种方式，一种是hbase自带的client，一种是通过hbase thrift 1 hbase client示例 Configuration conf = HBaseConfiguration.create(); conf.set(HConstants.ZOOKEEPER 阅读全文
posted @ 2018-12-12 16:47 匠人先生 阅读(794) 评论(0) 推荐(0)
大叔经验分享（2）为什么hive在大表上加条件后执行limit很慢
摘要：问题重现 select id from big_table where name = 'sdlkfjalksdjfla' limit 100; 首先看执行计划： hive> explain select * from big_table where name = 'sdlkfjalksdjfla' 阅读全文
posted @ 2018-12-12 16:41 匠人先生 阅读(2785) 评论(0) 推荐(0)
大数据基础之Oozie vs Azkaban
摘要：概括 Azkaban是一个非常轻量的开源调度框架，适合二次开发，但是无法直接用于生产环境，存在致命缺陷（比如AzkabanWebServer是单点，1年多时间没有修复），在一些情景下的行为简单粗暴（比如重启AzkabanExecutorServer会导致该server上正在运行的所有流程fail）， 阅读全文
posted @ 2018-11-02 11:12 匠人先生 阅读(1303) 评论(0) 推荐(2)
大数据基础之Zookeeper（4）应用场景
摘要：1 集群配置管理 应用服务器的配置通常会放到properties文件中，格式为： system1.module2.prop3=value4 然后启动的时候加载，这样带来的问题是启动后无法修改，想修改必须要重启应用服务器； 一个简单的替代方式是存放到数据库中，应用服务器每次从数据库中加载配置，这样带来 阅读全文
posted @ 2018-11-02 10:56 匠人先生 阅读(305) 评论(0) 推荐(1)

上一页 1 2 3 4 5 6