摘要：记下常用命令，慢慢补充 1.hadoop 查看hdfs上的目录： hadoop fs -ls /给hdfs上目录授予权限: hadoop fs -chmod 777 /tmp/hive 在hdfs上创建一个目录： hadoop fs -mkdir /jiatest 把文件上传到hdfs指定目录: h 阅读全文

摘要：1. 配置路径sudo gedit /etc/profile2.在文件后面加入export PATH=/home/sendi/scala-2.11.7/bin:$PATH3.更新source /etc/profile4. 查看，输入scala -version sendi@sendi-Aspire-... 阅读全文

摘要：1.引入spark包：spark-assembly-1.4.0-hadoop2.6.0,在spark的lib目录下 File-->project structure 2.用IDEA建立一个scala项目，新建一个WordCount的object 3.WordCount代码如下： import org 阅读全文

摘要：1.在使用Python连接hive之前需要将hive中的文件拷贝到自己创建python项目中 cp -r apache-hive-0.14.0-bin/lib/py /home/jia/Desktop2.把hive上的py目录下载到桌面之后，进入py目录，复制里面所有的文件到你创建的python项目... 阅读全文