2019年7月2日

Storm的 hello 输出流

摘要: Spout (随机生成随机数) 》Ecclamation(加感叹号) > print(加问候语) printBolt 阅读全文

posted @ 2019-07-02 23:37 床上小老虎 阅读(245) 评论(0) 推荐(0)

2019年6月17日

yarn流程图

摘要: 构建job之前的检查 JobTracker会检查输入路径是否存在 会检查输出路径是否不存在,如果存在则报错创建job->放入内部队列->调度器初始化job (创建一个运行的job任务,封装了任务和记录信息) 阅读全文

posted @ 2019-06-17 11:16 床上小老虎 阅读(314) 评论(0) 推荐(0)

mapreduce流程

摘要: 优化方法 数据输入 1. 合并小文件 ,减少map任务数量 2.采用 combine inputformat作为输入,减少map端小文件数量 3.减少 spill次数 ,增大内存触发条件 4.减少merge次数 5.combine处理 6.合理处理 map和 reduce的次数 7.设置map和re 阅读全文

posted @ 2019-06-17 11:03 床上小老虎 阅读(115) 评论(0) 推荐(0)

2019年6月16日

mapduce 分区操作,根据特定值将数据分开

摘要: import org.apache.commons.lang.ObjectUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.h 阅读全文

posted @ 2019-06-16 23:08 床上小老虎 阅读(239) 评论(0) 推荐(0)

2019年6月15日

mapduce 入门操作

摘要: 首先准备程序代码 import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Ma 阅读全文

posted @ 2019-06-15 22:40 床上小老虎 阅读(397) 评论(0) 推荐(0)

shell常用基础

摘要: grep 查找命令 ps -ef 查看进程 ps -ef | grep java ps -ef | grep sshd | grep -v grep 排除命令本身 在文本里面查看特定行 cat hello.txt | grep ^h 查看以h开头的行 find find 路径 类型 名称 find 阅读全文

posted @ 2019-06-15 12:11 床上小老虎 阅读(135) 评论(0) 推荐(0)

2019年6月13日

MYSQL存储过程

摘要: 1‘为了保证数据的完整性和一致性,以及提高应用性能 2.易于维护 3.降低网络拥堵,内部数据比网上传输数据要快得多 4.改善移植性 1,简单示例 mysql> create table fruits ( -> id int, -> name varchar(10) -> ); Query OK, 0 阅读全文

posted @ 2019-06-13 16:13 床上小老虎 阅读(120) 评论(0) 推荐(0)

2019年6月11日

mysql索引

摘要: 索引是对数据表中一列或者多列的值进行排序的一种数据结构(B+ 树),提高数据库中特定数据的查询速度(指针) MyISAM InnoDB 只支持BTREE索引 Memory/heap 可以支持HASH和BTree索引 普通索引 普通索引是mysql的基本索引类型,允许在定义索引的列中插入重复值和空值 阅读全文

posted @ 2019-06-11 11:34 床上小老虎 阅读(166) 评论(0) 推荐(0)

修改数据表

摘要: 1.修改表名 mysql> show tables; + + | Tables_in_test | + + | cf | | dept01 | | tb_dept2 | | tb_emp | | tb_emp3 | | tb_emp6 | | tb_emp7 | | tb_emp8 | | test 阅读全文

posted @ 2019-06-11 11:07 床上小老虎 阅读(265) 评论(0) 推荐(0)

查看表结构的两种方式

摘要: desc模式和show create table 具体模式 阅读全文

posted @ 2019-06-11 10:05 床上小老虎 阅读(556) 评论(0) 推荐(0)

导航