会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
zhangqi
be a coder
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
52
53
54
55
56
57
58
下一页
2017年2月26日
数据结构与算法基本概念
摘要: 数据结构与算法(Python) Why? 我们举一个可能不太恰当的例子: 如果将最终写好运行的程序比作战场,我们码农便是指挥作战的将军,而我们所写的代码便是士兵和武器。 那么数据结构和算法是什么?答曰:兵法! 我们可以不看兵法在战场上肉搏,如此,可能会胜利,可能会失败。即使胜利,可能也会付出巨大的代
阅读全文
posted @ 2017-02-26 20:44 zhangqi0828
阅读(300)
评论(0)
推荐(0)
2017年2月24日
关于yarn集群发展史和详细资料
摘要: https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/
阅读全文
posted @ 2017-02-24 09:42 zhangqi0828
阅读(148)
评论(0)
推荐(0)
2017年2月20日
SpringBoot_Redis配置
摘要: Spring Boot – redis 1、添加依赖 2、编写配置application.yml 3、启动redis服务器,编写测试类
阅读全文
posted @ 2017-02-20 11:19 zhangqi0828
阅读(197)
评论(0)
推荐(0)
2017年2月17日
1.2_计算机原理概述
摘要: 1.2 计算机介绍 1.2.1 计算机结构组成 1.2.2 计算机系统组成 1.2.3 程序和指令 指令是对计算机进行程序控制的最小单位。 所有的指令的集合称为计算机的指令系统。 程序是为完成一项特定任务而用某种语言编写的一组指令序列。
阅读全文
posted @ 2017-02-17 14:55 zhangqi0828
阅读(200)
评论(1)
推荐(0)
spark在不同环境下的搭建|安装|local|standalone|yarn|HA|
摘要: spark的集群环境安装搭建 1、spark local模式运行环境搭建 常用于本地开发测试,本地还分为local单线程和local-cluster多线程; 该模式被称为Local[N]模式,是用单机的多个线程来模拟Spark分布式计算,直接运行在本地,便于调试,通常用来验证开发出来的应用程序逻辑上
阅读全文
posted @ 2017-02-17 00:42 zhangqi0828
阅读(232)
评论(0)
推荐(0)
2016年12月29日
hive的行列互转
摘要: 行转列 多行转多列 数据表 row2col col1 col2 col3 a c 1 a d 2 a e 3 b c 4 b d 5 b e 6 现在要将其转化为: col1 c d e a 1 2 3 b 4 5 6 此时需要使用到max(case … when … then … else 0 e
阅读全文
posted @ 2016-12-29 17:10 zhangqi0828
阅读(251)
评论(0)
推荐(0)
2016年12月27日
hive中的lateral view 与 explode函数的使用
摘要: hive中的lateral view 与 explode函数的使用 背景介绍: explode与lateral view在关系型数据库中本身是不该出现的。 因为他的出现本身就是在操作不满足第一范式的数据(每个属性都不可再分)。本身已经违背了数据库的设计原理(不论是业务系统还是数据仓库系统),在面向分
阅读全文
posted @ 2016-12-27 13:01 zhangqi0828
阅读(1535)
评论(0)
推荐(1)
2016年12月25日
hadoop的基准测试
摘要: hadoop的基准测试 实际生产环境当中,hadoop的环境搭建完成之后,第一件事情就是进行压力测试,测试我们的集群的读取和写入速度,测试我们的网络带宽是否足够等一些基准测试 测试写入速度 向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存放到 完成之后查看写入速度结果 测试读取速度
阅读全文
posted @ 2016-12-25 01:38 zhangqi0828
阅读(158)
评论(0)
推荐(0)
2016年12月23日
hive的复合数据类型
摘要: hive中的复合数据类型 Array array中的数据为相同类型,例如,假如array A中元素['a','b','c'],则A[1]的值为'b' Map 可以通过["指定key名称"]访问 Struct 集合元素可以类型不一样 例如c的类型为STRUCT{a INT; b INT},我们可以通过
阅读全文
posted @ 2016-12-23 16:48 zhangqi0828
阅读(463)
评论(0)
推荐(0)
2016年12月21日
hive常见的存储格式
摘要: Hive常见文件存储格式 背景:列式存储和行式存储 首先来看一下一张表的存储格式: 字段A字段B字段C A1 B1 C1 A2 B2 C2 A3 B3 C3 A4 B4 C4 A5 B5 C5 背景:列式存储和行式存储 首先来看一下一张表的存储格式: 行式存储 A1B1C1 A2B2C2 A3B3C
阅读全文
posted @ 2016-12-21 16:54 zhangqi0828
阅读(280)
评论(0)
推荐(0)
上一页
1
···
52
53
54
55
56
57
58
下一页
公告