07 2018 档案

分布式处理框架MapReduce的深入简出
摘要：1).MapReduce的概述 2).MapReduce 编程模型 3).MapReduce架构 4).MapReduce编程 Google MapReduce论文,论文发表于2004年 Hadoop MapReduce是Google MapReduce的克隆版 MapReduce优点:海量数据离线 阅读全文

posted @ 2018-07-22 21:01 JETIME庚 阅读(157) 评论(0) 推荐(0)

YARN 的深入简出
摘要：1.YARN的产生背景 2.YARN的执行流程 3.YARN的概述 4.YARN的环境搭建 5.YARN的架构 6.如何提交作业到YaRN上执行 YARN的产生MapReduce1.x存在多种问题单节点故障&节点压力大&不支持除了MapReduce之外的计算框架 MapReduce:Master/S 阅读全文

posted @ 2018-07-22 10:34 JETIME庚 阅读(186) 评论(0) 推荐(0)

HDFS 总结
摘要：HDFS是一个分布式文件存储系统 Client 提交读写请求(拆分blocksize) NameNode 全局把控(知道blocksize的地址) dataNode 存储数据(将数据存储进去,且以Pipeline的方式把数据写完) 1.如果你要把数据写到HDFS上去,的流程是 发起请求-client 阅读全文

posted @ 2018-07-21 22:14 JETIME庚 阅读(171) 评论(0) 推荐(0)

IDEA 创建HDFS项目 JAVA api
摘要：1.创建quickMaven 1.在properties中写hadoop 的版本号并且通过EL表达式的方式映射到dependency中 2.写一个repostory将依赖加载到本地仓库中 这是加载完成的页面 这是开发代码 阅读全文

posted @ 2018-07-21 21:29 JETIME庚 阅读(2506) 评论(0) 推荐(0)

解决 HDFS 开发 java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop000
摘要：出现这种问题多半是windows找不到linux主机所以在 这个路径下的hosts加上linux ip地址,主机名就可以了 阅读全文

posted @ 2018-07-21 16:50 JETIME庚 阅读(7640) 评论(0) 推荐(2)

hadoop深入简出(二)
摘要：1.上传文件 Hadoop fs -put hello.txt / 2.查看上传的文件 hadoop fs -ls / hadoop fs -text /hello.txt 两个命令都可以 3.创建文件夹 hadoop fs -mkdir /test 4.递归展示文件夹 hadoop fs -lsr 阅读全文

posted @ 2018-07-21 15:30 JETIME庚 阅读(134) 评论(0) 推荐(0)

大数据hadoop的伪分布式搭建
摘要：1.配置环境变量JDK配置 1.JDK安装 个人喜欢在 vi ~/.bash profile 下配置 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91export PATH=$JAVA_HOME/bin:$PATH 当然要让环境变量生效source ~/.b 阅读全文

posted @ 2018-07-19 21:28 JETIME庚 阅读(256) 评论(1) 推荐(0)

anaconda的安装tensorflow
摘要：在anaconda prompt中我们输入 anaconda search -t conda tensorflow 查看能在哪里安装tensorflow anaconda show dhirschfeld/tensorflow conda install --channel https://cond 阅读全文

posted @ 2018-07-17 13:11 JETIME庚 阅读(119) 评论(0) 推荐(0)

switch只跟在这些之后
摘要：switch case 可以用在他们之后 阅读全文

posted @ 2018-07-17 10:23 JETIME庚 阅读(80) 评论(0) 推荐(0)

jsp页面之初体验
摘要：最近在学jsp 在web.xml页面中学到了如何让一个页面第一个启动 阅读全文

posted @ 2018-07-16 19:29 JETIME庚 阅读(76) 评论(0) 推荐(0)

numpy 之矩阵的认知
摘要：di numpy 矩阵的创建与应用 可以用np.mat(a) 将a转变成矩阵 矩阵的加减法和 array相同 矩阵的乘法，如果矩阵要相乘的话就要A矩阵的行数，和B矩阵的列数相同才可以 这是查看数组不重复数字 这是合计数组一列的值 看最大值 a的第零行最大值 阅读全文

posted @ 2018-07-15 23:52 JETIME庚 阅读(154) 评论(0) 推荐(0)

numpy的使用数组的创建2
摘要：随机创建了长度为十的数组 获得十以类的随机整数 快速获取数组2乘3维的数组 生成20个1到10之间的数组 通过reshape 将这些数变成二位数组 shape这个方法可以查看数组中的元素是几行几列的 阅读全文

posted @ 2018-07-15 22:45 JETIME庚 阅读(141) 评论(0) 推荐(0)

numpy学习之矩阵之旅
摘要：一:特殊的矩阵 1.全0全1的矩阵 2.单位矩阵 单位矩阵:整个矩阵是n*n的，并且斜对角全是1 矩阵的加减法 1.矩阵相加，相减必须要有相同的行和列 二:数组的乘法(点成) 数组的乘法 list_1 = [1,2,3,4] array_1 = np.array(list_1) 可以将list转换成 阅读全文

posted @ 2018-07-15 22:27 JETIME庚 阅读(242) 评论(0) 推荐(0)

HDFS之深入简出(一)
摘要：分布式文件系统HDFS 一:概述 1.HDFS设计目标 2.HDFS核心组件 3.HDFS副本机制 4.HDFS环境搭建 5.HDFS shell命令 java api 6.HDFS读写流程 7.HDFS优缺点 二: 思考:如何创建一个分布式文件系统 重点:文件以多副本的方式进行存储 缺点:文件不管 阅读全文

posted @ 2018-07-15 17:52 JETIME庚 阅读(336) 评论(0) 推荐(0)

Hadoop特点
摘要：一:HDFS 1.HDFS上传数据，会将文件切分成指定大小的数据块,并以多副本的数据块存储在机器上. 2. part0是指 副本有2个而且1,2有两个副本 二.YARN 1.负责整个集群的管理和调度 YARN的特点 扩展性，容错性，多框架资源统一调度，支持多种不同的框架同时运行 三.mapReduc 阅读全文

posted @ 2018-07-15 15:44 JETIME庚 阅读(2602) 评论(0) 推荐(0)

ThreadLocal的理解
摘要：在学习mybatis 的路上遇到了这个问题,看了几篇博客才稍微理解了一点,我觉得 在ThreadLocal中先执行getSession()方法,在getsession中先判断session是否放了进去如果没有的话 将执行sessionFactory.openSession()来创建一个session 阅读全文

posted @ 2018-07-08 13:09 JETIME庚 阅读(106) 评论(0) 推荐(0)

导航