摘要：
原因是：spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。 解决办法是：修改bin目录下的hive文件。 阅读全文
摘要：
1、配置Maven环境变量 添加系统环境变量 MAVEN_HOME : C:\apache-maven-3.3.9 MAVEN_OPTS : -Xms256m -Xmx512m 在Path环境变量里最前面添加 %MAVEN_HOME%\bin； 2、创建Maven仓库 自定义文件夹作为本地Maven 阅读全文
摘要：
centos7安装spark(伪分布式) spark是由scala语言开发的，首先需要安装scala. Scala安装 下载scala-2.11.8,（与spark版本要对应） 命令：wget https://downloads.lightbend.com/scala/2.11.8/scala-2. 阅读全文
摘要：
Linux下中文乱码 修改mysql配置文件，centeros下 配置文件在 /etc/my.cnf vi /etc/my.cnf 在[mysqld]段下添加 character-set-server=utf8 collation-server=utf8_general_ci 在[client]段增 阅读全文
摘要：
hive中conf/hive-site.xml文件配置（没有该文件则新建） 阅读全文
摘要：
centos7安装mysql5.6 准备工作 1台centos7的虚拟机 步骤 1、卸载CentOS7自带的mariadb（如果之前安装过mysql，同样卸载及残留） rpm -qa | grep mariadb rpm -e --nodeps 文件名 2、先获取mysql的yum rpm包 命令： 阅读全文
摘要：
mapreduce案例：获取PI的值 * content:核心思想是向以(0,0),(0,1),(1,0),(1,1)为顶点的正方形中投掷随机点。 * 统计(0.5,0.5)为圆心的单位圆中落点占总落点数的百分比，即可算出单位圆的面积Pi/4， * 然后乘以4即得到Pi的近似值。从输入文件中读入一行 阅读全文
摘要：
hadoop第一个程序WordCount 阅读全文
摘要：
centos7搭建伪分布式集群 需要 centos7虚拟机一台； jdk-linux安装包一个 hadoop-2.x安装包1个（推荐2.7.x） 一、设置虚拟机网络为静态IP（最好设成静态，为之后编程提供方便，不设置静态ip也可以） 1、进入网络配置查看ip 2、选择NAT模式链连接 3、点击NAT 阅读全文