摘要: kafka阅读全文
posted @ 2018-11-13 19:12 马小纪 阅读(28) 评论(0) 编辑
摘要: 第一步 在虚拟机上面 扩容(扩展VMWare硬盘空间) 2. 对新增加的硬盘进行分区、格式化 [root@localhost]# fdisk /dev/sda p 查看已分区数量(我看到有两个 /dev/sda1 /dev/sda2) n 新增加一个分区 p 分区类型我们选择为主分区 分区号选3(因阅读全文
posted @ 2018-11-13 18:56 马小纪 阅读(28) 评论(0) 编辑
摘要: map是对每个元素操作, mapPartitions是对其中的每个partition操作 mapPartitionsWithIndex : 把每个partition中的分区号和对应的值拿出来, 看源码 val func = (index: Int, iter: Iterator[(Int)]) =>阅读全文
posted @ 2018-11-09 11:42 马小纪 阅读(7) 评论(0) 编辑
摘要: Spark笔记 1. flatMap和map的区别 map函数会对每一条输入进行指定的操作,然后每一条输入返回一个对象; flatMap函数则是两个操作的集合,即先映射再扁平化: i.同map函数一样,对每一条输入进行指定的操作,然后为每一条输入返回一个对象; ii.然后将所有对象合并成一个对象。 阅读全文
posted @ 2018-11-09 10:13 马小纪 阅读(168) 评论(2) 编辑
摘要: Windows 虚拟机网络网络编辑 centos DEVICE=eth0TYPE=EthernetONBOOT=yesNM_CONTROLLED=yesNETMASK=255.255.255.0IPADDR=192.168.33.110DNS1=192.168.33.1GATEWAY=192.168阅读全文
posted @ 2018-11-06 10:46 马小纪 阅读(5) 评论(0) 编辑
摘要: 第一步:修改IP vi /etc/sysconfig/network-scripts/ifcfg-eth0 删除UUID 删除MAC地址 修改IP 第二步 删除网卡内容 rm -rf /etc/udev/rules.d/70-persistent-net.rules 第三步 :mac地址不要和之前虚阅读全文
posted @ 2018-08-14 10:25 马小纪 阅读(17) 评论(0) 编辑
摘要: 零:准备 JDK https://download.csdn.net/download/cand_yh/10375789 CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel http://archive.cloudera.com/cdh5/parcels/5.8.0/CDH-阅读全文
posted @ 2018-08-14 09:57 马小纪 阅读(56) 评论(0) 编辑
摘要: 当reduce执行完成后的输出,跟map端无reduce时的输出一样。直接输出。 Class < ?extendsShuffleConsumerPlugin > clazz = job.getClass(MRConfig.SHUFFLE_CONSUMER_PLUGIN, Shuffle.class,阅读全文
posted @ 2017-11-17 19:41 马小纪 阅读(142) 评论(0) 编辑