摘要： 1.foreach val list = new ArrayBuffer() myRdd.foreach(record => { list += record }) 2.foreachPartition val list = new ArrayBuffer rdd.foreachPartition( 阅读全文

摘要： location ~ /M00{ root /home/mm/data; ngx_fastdfs_module; add_header Cache-Control no-store; } 阅读全文

摘要： 报错信息： System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-mem spark连接hadoop集群 解决方法： 这主要是运行内存的问题，所以我们在运行的时 阅读全文

摘要： 一、sqoop与mysql 1.列出mysql库中所有数据库 sqoop list-databases -connect jdbc:mysql://192.168.1.10:3306 -username root -password root 2.列出数据库sqoop中的所有数据表 sqoop li 阅读全文

摘要： 1、修改crontab打开方式(个人喜欢vi),在终端输入 EDITOR=vi;export EDITOR 2、在crontab -e 中添加定时任务,如下每天凌晨3.30分进行脚本任务 30 3 * * * sh [脚本路径] 3、提前写好fastdfs 删除脚本，创建deleteFastdfs. 阅读全文

摘要： 文件路径：C:\WINDOWS\system32\drivers\etc。 在命令行执行以下命令可以立即刷新DNS缓存，使host文件修改立即生效 ipconfig /flushdns 阅读全文

摘要： qaz 阅读全文

摘要： 错误： java.sql.SQLException: No suitable driver found for jdbc:hive://localhost:10000/default at java.sql.DriverManager.getConnection(DriverManager.java 阅读全文

摘要： 注意： !connect jdbc:hive2://node04:10000 node04节点开启hiveserver2角色，不然会报连接失败 客户端进入beeline并连接： [root@node03 ~]# beeline Beeline version 1.2.1 by Apache Hive 阅读全文

摘要： 在hadoop 的core-site.xml添加如下内容 然后重启 <property> <name>hadoop.proxyuser.root.groups</name> <value>root</value> <description>Allow the superuser oozie to i 阅读全文