摘要：在linux下安装hadoop后，通常会创建一个专门的hadoop用户以运行hadoop，具体步骤如下 1：创建huser用户sudo useradd -m huser 2：设置用户huser的登录密码 sudo passwd huser 3：给用户huser增加管理员权限 sudo adduser 阅读全文

摘要：Window 10 下的WSL子系统的安装可以参考之前的文章：window10 WSL子系统上设置redis开发环境 有时候，为了在window系统上进行hadoop开发和测试，可以在WSL上安装hadoop的伪分布式系统 因为子系统使用的是ubuntu 18.04，所以下面的安装以此为参考 下面是 阅读全文

摘要：很多情况下，我们在window平台下用spark shell来进行交互式开发和测试，当在使用sparksql时，比如如下命令： val myDF = spark.sql("select * from mytable") 可能会遇到下面的问题： 这是因为，spark在window平台读取hdfs时，需 阅读全文

摘要：spark数据处理完后，如果结果需要输出到sql database，可以使用spark sql dataframe并引入微软的数据库jdbc驱动输出数据，具体步骤如下： 1：引入微软的jdbc jar包 在项目的pom文件加入下面的依赖： <dependency> <groupId>com.micr 阅读全文

摘要：spark standalone集群配置好后，启动sbin/start-all.sh报错，其中一个worker没有正常启动起来，查看此worker上的spark\logs目录下的 log文件，有显示如下的错误 20/04/01 02:46:08 WARN Utils: Service 'sparkW 阅读全文