摘要：
DSL(Domain Spercific Language) 阅读全文
posted @ 2018-09-06 17:58 打杂滴 阅读(149) 评论(0) 推荐(0)
摘要：
永久环境变量配置： /etc/profile 对所有用户生效(永久的) /etc/bashrc 用户环境变量： ~/.bashrc 阅读全文
posted @ 2018-09-06 17:22 打杂滴 阅读(122) 评论(0) 推荐(0)
2018年9月6日
摘要：
HiveServer2是一个能使客户端针对hive执行查询的一种服务，与HiverServer1比较，它能够支持多个客户端的并发请求和授权的；HiveCLI 和 hive –e的方式比较单一，HS2允许远程客户端使用多种语言诸如Java,Python等向Hive提交请求，然后取回结果. $HIVE_ 阅读全文
posted @ 2018-09-06 16:20 打杂滴 阅读(3522) 评论(0) 推荐(0)
2018年8月31日
摘要：
数据量较少的情况下： scala> numrdd.sortBy(x=>x,false).take(3) res17: Array[Int] = Array(100, 99, 98) scala> numrdd.sortBy(x=>x,true).take(3) res18: Array[Int] = 阅读全文
posted @ 2018-08-31 17:53 打杂滴 阅读(813) 评论(0) 推荐(0)
2018年8月30日
摘要：
hive> select * from account limit 10;OKaccount.accountname account.accid account.platid account.dateid account.createtime1004210 1004210 6 20180116 20 阅读全文
posted @ 2018-08-30 15:49 打杂滴 阅读(2558) 评论(0) 推荐(0)
2018年8月23日
摘要：
CPU利用率 [root@host ~]# cat /proc/cpuinfo |grep "processor"|wc -l4 查看本机的核心数 最常用CPU监测工具是TOP，当然TOP输出是一个瞬间值，如果想获取精确的数据，需要持续关注一段时间。 [root@host ~]# top top - 阅读全文
posted @ 2018-08-23 15:00 打杂滴 阅读(196) 评论(0) 推荐(0)
2018年8月22日
摘要：
Spark sql 对SQL语句的处理，先将SQL语句进行解析（parse）形成一个tree,然后使用Rule对Tree进行绑定,优化等处理过程，通过模式匹配对不同类型的节点采用不同操作。查询优化器是Catalyst,它负责处理查询语句的解析，绑定，优化和生成物理计划等过程，Catalyst是Spa 阅读全文
posted @ 2018-08-22 10:09 打杂滴 阅读(561) 评论(0) 推荐(0)
摘要：
dataframe以RDD为基础的分布式数据集，与RDD的区别是，带有Schema元数据，即DF所表示的二维表数据集的每一列带有名称和类型，好处：精简代码；提升执行效率；减少数据读取; 如果不配置spark.deploy.recoveryMode选项为ZOOKEEPER，那么集群的所有运行数据在Ma 阅读全文
posted @ 2018-08-22 09:53 打杂滴 阅读(364) 评论(0) 推荐(0)
2018年8月17日
摘要：
数据本地性 数据计算尽可能在数据所在的节点上运行，这样可以减少数据在网络上的传输，毕竟移动计算比移动数据代价小很多。进一步看，数据如果在运行节点的内存中，就能够进一步减少磁盘的I/O的传输。在spark中，数据本地性优先级从高到低为PROCESS_LOCAL>NODE_LOCAL>NO_PREF>R 阅读全文
posted @ 2018-08-17 13:26 打杂滴 阅读(4516) 评论(0) 推荐(0)
2018年8月16日
摘要：
spark 运行架构基本由三部分组成，包括SparkContext(驱动程序)，ClusterManager(集群资源管理器)和Executor(任务执行过程)组成。 其中SparkContext负责与ClusterManager通信，进行资源的申请.任务的分配.监控等，负责作业执行的声明周期管理。 阅读全文
posted @ 2018-08-16 10:51 打杂滴 阅读(846) 评论(0) 推荐(0)
浙公网安备 33010602011771号