逆水行舟，不进则退

摘要： 下载程序包并配置 1.http://archive.apache.org/dist/hadoop/core/hadoop 3.0.0/ 2.解压 3.新建系统变量HADOOP_HOME Path增加%HADOOP_HOME%\bin 5.下载 "winUtils" 对应版本的bin，加压并覆盖HAD 阅读全文

摘要： 前言 本来想参考这篇博文 "IDEA的terminal设置成Linux的终端一样" ,最终配置成功了。win10装成了ubuntu， 但是进去之后发现提示装jdk之类，我一想算了，这么烦，我还是配置成PowerShell吧，反正我也懂点shell和bat。 idea terminal配置PowerS 阅读全文

摘要： 连接失败问题 使用postgres数据库连接工具测试，遇到两次失败 第一个登录失败问题 这语句翻译下，用户名密码是正确的，但是tcp/ip的连接失败了。这个解决方法其实就是去建立tcp/ip连接过程。 原因是宿主机并没有监听其他的主机接口，因此没有建立连接。 解决方法 第二个登录失败问题 这个问题也 阅读全文

摘要： 查找100m大文件 查找文件 阅读全文

摘要： 安装mysql 安装postgres 阅读全文

摘要： 操作步骤 阅读全文

摘要： 创建用户组 创建用户 阅读全文

摘要： spark env.sh增加HADOOP_CONF_DIR使得spark读写的是hdfs文件 刚装了spark,运行wordcount程序，local方式，执行的spark submit，读和写的文件都是宿主机，而不是hdfs。测试命令修改了spark env.sh导致spark submit命令执 阅读全文

摘要： spark wordcount程序 IllegalAccessError错误 这个错误是权限错误，错误的引用方法，比如方法中调用private,protect方法。 当然大家知道wordcount业务很简单，都是调用依赖的方法，最后在一篇博客讲了错误: "spark 2.2 读取 Hadoop3.0 阅读全文

摘要： 创建表 创建内表 创建外表 载入数据 查看文本数据 查看数据库数据 区别 因为我hive也是刚开始了解，所以只讲一部分 1.内表主要放在hdfs中默认的hive目录。外表指定了location 2.删除内表，重新创建一个一样的内表，数据不会装载 删除外表，重新创建一个一样的外表，数据会自动的装载 删 阅读全文