随笔分类 -  大数据学习

windows访问百度云服务器及Hadoop
摘要：在Windows下通过xshell访问云服务器，通过密钥对的方式连接。 1 在云服务器的控制台界面创建密钥对，并关联实例。 密钥对会自动下载到本地。 2 xshell中新建会话 在百度云的控制台界面找到实例的外网ip地址， 在xshell中新建会话，起名字为bcc1，主机的ip为云服务器的外网的ip 阅读全文
posted @ 2019-02-12 09:15 飞龟道人 阅读(861) 评论(0) 推荐(0)
sklearn 朴素贝叶斯
摘要：pr 曲线 roc曲线 auc得分 计算auc的 根据定义计算auc 阅读全文
posted @ 2018-12-26 14:12 飞龟道人 阅读(659) 评论(0) 推荐(0)
HDFS环境搭建
该文被密码保护。
posted @ 2018-12-05 18:43 飞龟道人 阅读(4) 评论(0) 推荐(0)
Hadoop的MapReduce进程卡住job/云服务器被矿工挖矿
摘要：本人用百度的云服务器搭建集群学习Hadoop，突然发现Java进程占用了99%以上的CPU，自己MapReduce没法运行，卡在job那里，但是通过kill所有Java进程，重启Hadoop集群即可运行一两次MapReduce。我一度以为是配置出了问题。困扰了我许久，冥冥之中肯定有问题在制约着。经过 阅读全文
posted @ 2018-11-27 16:25 飞龟道人 阅读(816) 评论(0) 推荐(1)
Zookeeper集群环境配置
摘要：总的步骤是下载压缩包，解压，授予权限，修改配置文件，压缩修改后的文件发送到其他节点，其他节点解压，授予权限，修改配置文件，所有节点添加环境变量。 1.下载压缩包 去zookeeper的官网下载压缩包 https://mirrors.tuna.tsinghua.edu.cn/apache/zookee 阅读全文
posted @ 2018-11-19 17:35 飞龟道人 阅读(645) 评论(0) 推荐(0)
Linux常用命令 / hadoop常用命令
摘要：1 Linux命令 1.1 文件 cd path 路径名 cd .. 返回上一层 cd ~ 进入到当前Linux系统登录用户的主目录（或主文件夹）。在 Linux 系统中，~代表的是用户的主文件夹，即“/home/用户名”这个目录，如果当前登录用户名为 hadoop，则~就代表“/home/hado 阅读全文
posted @ 2018-11-19 10:34 飞龟道人 阅读(8144) 评论(0) 推荐(0)
Hadoop分布式集群搭建
摘要：基于树莓派和台式机搭建集群，但是树莓派的性能特别差，不建议使用，但还是记录下来，拓展到多台机器大同小异。 搭建过程参考厦门大学数据库实验室的网站。http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ 用到的设备有关Centos系统的笔记本，cent 阅读全文
posted @ 2018-11-18 22:06 飞龟道人 阅读(11935) 评论(0) 推荐(1)
Win7+Centos7双系统安装/树莓派安装Centos7
摘要：1 win7+Centos7.5安装 （1）下载映像 在已有win7的基础上安装centos7.5，首先下载centos光盘映像，可从官网下载http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso 阅读全文
posted @ 2018-11-15 20:26 飞龟道人 阅读(3410) 评论(0) 推荐(0)