摘要：kafka 阅读全文

摘要：第一步 在虚拟机上面 扩容(扩展VMWare硬盘空间) 2. 对新增加的硬盘进行分区、格式化 [root@localhost]# fdisk /dev/sda p 查看已分区数量（我看到有两个 /dev/sda1 /dev/sda2） n 新增加一个分区 p 分区类型我们选择为主分区 分区号选3（因 阅读全文

摘要：map是对每个元素操作, mapPartitions是对其中的每个partition操作 mapPartitionsWithIndex : 把每个partition中的分区号和对应的值拿出来, 看源码 val func = (index: Int, iter: Iterator[(Int)]) => 阅读全文

摘要：Spark笔记 1. flatMap和map的区别 map函数会对每一条输入进行指定的操作，然后每一条输入返回一个对象； flatMap函数则是两个操作的集合，即先映射再扁平化： i.同map函数一样，对每一条输入进行指定的操作，然后为每一条输入返回一个对象； ii.然后将所有对象合并成一个对象。 阅读全文

摘要：Windows 确保开启了NAT网络 虚拟机网络网络编辑 centos DEVICE=eth0TYPE=EthernetONBOOT=yesNM_CONTROLLED=yesNETMASK=255.255.255.0IPADDR=192.168.33.110DNS1=192.168.33.1GATE 阅读全文