ifiwereaboy - 博客园

2021年5月8日

could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.

摘要： hdfs dfsadmin -report hadoop fsck -locations 查看DataNode日志（vim /usr/local/hadoop/logs/） 2021-04-01 10:15:31,969 WARN org.apache.hadoop.hdfs.server.comm 阅读全文

posted @ 2021-05-08 11:10 ifiwereaboy 阅读(729) 评论(0) 推荐(0) 编辑

2021年4月29日

idea感觉突然崩了

摘要：代码标红不知道咋了？阅读全文

posted @ 2021-04-29 22:58 ifiwereaboy 阅读(121) 评论(0) 推荐(0) 编辑

2021年4月19日

Full GC

摘要： hadoop@Master:~$ java -XX:+PrintFlagsInitial 阅读全文

posted @ 2021-04-19 15:59 ifiwereaboy 阅读(99) 评论(0) 推荐(0) 编辑

2021年3月3日

集群的一些问题

摘要： 1.datanode日志出现 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: RECEIVED SIGNAL 15: SIGTERM https://blog.csdn.net/answer100answer/article/detail 阅读全文

posted @ 2021-03-03 15:44 ifiwereaboy 阅读(244) 评论(0) 推荐(0) 编辑

2021年1月14日

图图图

摘要： frame3 frame4 crossDF uu2025DF ds1 ds2 repeatUserDF 阅读全文

posted @ 2021-01-14 11:20 ifiwereaboy 阅读(560) 评论(0) 推荐(0) 编辑

2021年1月13日

java.io.IOException: No space left on device

摘要：阅读全文

posted @ 2021-01-13 14:59 ifiwereaboy 阅读(224) 评论(0) 推荐(0) 编辑

2021年1月6日

LinkPrediction可能有用的数据集

摘要： 1.研究公司电子邮件网络中的链接预测和社区检测。 https://github.com/itavares/Temporal-Link-Prediction-and-Community-Detection 2.文献引用中的链接预测 https://github.com/ApoGouv/Big-Data 阅读全文

posted @ 2021-01-06 22:48 ifiwereaboy 阅读(248) 评论(0) 推荐(0) 编辑

2020年12月28日

程序local模式能行，提交集群出现问题

摘要： 20/12/28 06:44:36 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and 阅读全文

posted @ 2020-12-28 22:48 ifiwereaboy 阅读(146) 评论(0) 推荐(0) 编辑

2020年12月16日

Spark集群搭建

摘要：教程：http://dblab.xmu.edu.cn/blog/1714-2/#more-1714 1.安装spark （1）修改slaves文件（2）修改spark-env.sh文件 2.将Master主机上的/usr/local/spark文件夹复制到各个节点上在Slave节点上操作 3.启阅读全文

posted @ 2020-12-16 20:18 ifiwereaboy 阅读(116) 评论(0) 推荐(0) 编辑

Hadoop集群搭建

摘要：教程：http://dblab.xmu.edu.cn/blog/2441-2/ 创建hadoop用户切换到hadoop用户更新apt 安装vim 前面忘切换成hadoop用户，已经安装了vim,所以 SSH登录本机 SSH配置无密码登录安装jdk 在.bashrc文件开头添加内容安装Hado 阅读全文

posted @ 2020-12-16 16:07 ifiwereaboy 阅读(142) 评论(0) 推荐(0) 编辑