摘要： 什么是Shuffle 在RDD中，将每个相同key的value聚合起来。相同key的value可能在不同partition，也可能在不同节点。因此shuffle操作会影响多个节点。 常见的shuffle操作有：groupByKey(),reduceBykey()等。 Shuffle Write和Re 阅读全文

摘要： 代码引自 https://blog.csdn.net/jorocco/article/details/80142884 关于MapReduce的代码学习 共有三个部分： 传输的Value是自定义类型，需要自己实现序列化和反序列化，read()和write() 传输的Key是自定义类型，则需要自己实现 阅读全文

摘要： Maven依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>3.1.3</version> </dependency> < 阅读全文

摘要： 正则表达式简介 正则表达式定义了字符串的模式。 正则表达式可以用来搜索、编辑或处理文本。 正则表达式并不仅限于某一种语言，但是在每种语言中有细微的差别。 正则表达式实例 判断手机号，我们用正则表达式\d{11} boolean isValidMobileNumber(String s) { retu 阅读全文

摘要： 类学习 Configuration 设置HDFS的相关参数。 conf = new Configuration (); conf.set("fs.defaultFS","hdfs://bigdata:9000"); conf.set("dfs.client.use.datanode.hostname 阅读全文

摘要： 添加Maven依赖 一般来说只要有hbase-clientJAR包就好，毕竟我们是客户端远程访问HBase。 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client --> <depen 阅读全文

摘要： 原本是配置了阿里云ECS服务器，但是用终端vim修改调试代码，总是会不方便。 后面想到有两种解决办法： 用本地IDEA调试代码，然后直接连接服务器的HDFS等端口，直接调试 用本地IDEA调试代码，然后打包，发到服务器上进行运行 下面是IDEA访问服务器hadoop的一个测试，以及遇到的问题和解决方 阅读全文

摘要： 背景 原本自己都是使用笔记本的虚拟机来搭建大数据环境，调试代码，运行项目。但自己的笔记本是13寸的，屏幕很小，经常由于要打开多个终端，同时辅以网页，造成小小的屏幕里有很多窗口，体验极差。 有想过通过外接大显示屏来解决，但显示屏固定连接了自己的游戏本。等于宿舍里操作游戏本，实验室操作台式机，平时背着轻 阅读全文

摘要： 错误信息 [ERROR] Failed to construct terminal; falling back to unsupported java.lang.NumberFormatException: For input string: "0x100" at java.lang.NumberF 阅读全文

摘要： Scala的File操作就是Java的File操作。 需要导入Java的File包 import java.io.File 删除目录文件及子目录 //删除文件及子目录 def del(dir : File): Unit = { if(dir.isDirectory) { val files = di 阅读全文