摘要： 最初使用的阿里云云盘只有50G 正常运行的hadoop集群突然无法正常运行了，web页面显示节点为UNHEALTHY 使用df -m命令，发现一些节点磁盘空间占用达到了99%，因此要扩容磁盘空间 1.为云盘建立快照，以防出错 2.磁盘扩容 3.选择扩容容量，选在线扩容，付费 4.如果是centos7 阅读全文

摘要： 无法自动登录node02，分发秘钥被拒绝 删除node02上的authorized_keys，重新ssh-copy-id node03，可以了 一、查看日志 Linux 日志系统 系统日志一般在/var/log下 发现 sshd[15720]: Authentication refused: bad 阅读全文

摘要： 集群配置 三台ECS云服务器 配置步骤 1.准备工作 1.1 创建/bigdata目录 mkdir /bigdatacd /bigdatamkdir /app 1.2修改主机名为node01、node02、node03 1.3修改hosts文件 vim /etc/hosts 添加node01~nod 阅读全文

摘要： 以下内容皆收集于网络 1.rpm -qa 和 rpm -q 查询一个包是否被安装# rpm -q < rpm package name> 列出所有被安装的rpm package # rpm -qae.g. rpm -qa|grep jdk 2.grep 在文本中查找字符串-i:搜索的时候忽略大小写- 阅读全文

摘要： 局域网内选一台服务器作为时间服务器，其他服务器从局域网内的时间服务器更新时间，同时局域网内的时间服务器向外网时间服务器同步时间 安装ntp 配置ntp 主节点（15.168.99.151） 黄色部分为修改部分 从节点部分 注意配置主节点node01的IP 各节点手动同步一下 启动ntpd服务 阅读全文

摘要： 一、无法启动 zookeeper之前可以很好的运行，由于zk集群不是正常的关闭，比如 强制Linux关闭，直接执行kill 命令zk的进程等原因导致zookeeper启动不了 启动命令后，查看状态，会发现没有启动 修改zoo.cfg中clientPort后可以启动 写脚本启动集群的zookeeper 阅读全文

摘要： 对于数据挖掘，数据准备阶段主要就是进行特征工程。 数据和特征决定了模型预测的上限，而算法只是逼近了这个上限。 好的特征要少而精，这会使模型更简单、更精准。 一、特征构造 1.’常见提取方式 文本数据的特征提取 词袋向量的方式：统计频率 图像数据的特征提取 像素点RGB 用户行为特征提取 特征提取总结 阅读全文

摘要： 一、JSON 语法规则： 数据在名称/值对中 数据由逗号分隔 花括号保存对象 方括号保存数组 名称/值对-->对象-->数组 JSON 名称/值对 JSON 数据的书写格式是：名称/值对。 名称/值对包括字段名称（在双引号中），后面写一个冒号，然后是值： "firstName" : "John" J 阅读全文

摘要： 一、数据是信息点 行和列的交叉形成点，行是个体，列是属性 1.从左到右的每一行记录一个个体的若干属性 2.从上往下的每一列记录一个属性（变项）的实况 3.列与行的交汇点是信息点，记录某个体的某属性 4.数据库是关于某些个体某些属性的信息库（矿） 二、量化研究只测量某些个体的属性 1.此统计非彼统计 阅读全文

摘要： 一、数据挖掘任务 数据挖掘常见的六大任务： 1.分类问题 2.聚类问题 3.回归问题 4.关联问题 5.序列问题 6.异常检测 二、数据挖掘流程 CRISP-DM：跨行业数据挖掘标准流程 各环节的任务与目标 预测模型的构建和评分流程 六大任务中的分类和回归都属于预测模型的范畴 三、预测模型的构建和使 阅读全文