摘要: 问题 上传文件到Hadoop异常,报错信息如下: 解决 1、查看问题节点的进程情况: DataNode进程没有启动 2、查看Hadoop datanode.log信息 报错的信息为,namenode clusterID 与 datanode clusterID 不一致! 分别为: 回想了下,出现这个 阅读全文
posted @ 2018-08-17 15:12 Fordestiny 阅读(16120) 评论(0) 推荐(0) 编辑
摘要: 在上一章 "《环境搭建》" 基础上,本章对各个模块做个测试 Mysql 测试 1、Mysql节点准备 为方便测试,在mysql节点中,增加点数据 进入主节点 进入数据库节点 创建数据库 创建数据表 增加几条数据,主键让其自增: 2、Zeppelin配置 配置驱动及URL地址: 使zeppelin导入 阅读全文
posted @ 2018-08-16 15:07 Fordestiny 阅读(956) 评论(2) 推荐(0) 编辑
摘要: 一、软件准备 1、基础docker镜像:ubuntu,目前最新的版本是18 2、需准备的环境软件包: 二、ubuntu镜像准备 1、获取官方的镜像: 2、因官方镜像中的apt源是国外资源,后续扩展安装软件包时较麻烦。先修改为国内源: (1)启动ubuntu容器,并进入容器中的apt配置目录 (2)先 阅读全文
posted @ 2018-08-14 21:19 Fordestiny 阅读(5306) 评论(5) 推荐(3) 编辑
摘要: 目标 1、同一台机器上,不同的域名指向,访问不同的项目,即: (1)one.test.com 访问 project_one (2) two.test.com 访问 project_two 2、将Tomcat布署为Apache的后端服务,若为动态程序由Tomcat执行,静态文件由Apache执行 准备 阅读全文
posted @ 2018-08-07 14:26 Fordestiny 阅读(3694) 评论(0) 推荐(0) 编辑
摘要: 问题 更新pip之后,Pycharm安装package出现如下报错: 解决 找到安装目录下 helpers/packaging_tool.py文件,找到如下代码: 修改为如下,保存即可。 阅读全文
posted @ 2018-04-21 14:32 Fordestiny 阅读(56524) 评论(21) 推荐(16) 编辑
摘要: 一、逻辑回归的局限 在逻辑回归一节中,使用逻辑回归的多分类,实现了识别20 20的图片上的数字。 但所使用的是一个一阶的模型,并没有使用多项式,为什么? 可以设想一下,在原有400个特征的数据样本中,增加二次、三次、四次多项式,会是什么情形? 很显然,训练样本的特征数量将会拔高多个数量级,而且,更重 阅读全文
posted @ 2018-04-13 15:10 Fordestiny 阅读(1165) 评论(0) 推荐(1) 编辑
摘要: 一、支持向量机(SVM) 支持向量机,是用于解决分类问题。为什么叫做支持向量机,后面的内容再做解释,这里先跳过。 在之前 "《逻辑回归》" 的文章中,我们讨论过,对于分类问题的解决,就是要找出一条能将数据划分开的边界。 对于不同的算法,其定义的边界可能是不同的,对于SVM算法,是如何定义其边界的?其 阅读全文
posted @ 2018-04-13 15:09 Fordestiny 阅读(1671) 评论(0) 推荐(2) 编辑
摘要: 前言 作为一个网站应用,加载速度是非常重要的。加载速度,一个是程序的合理安排,如以组件按需加载,一个是js、css等资源的异步加载。 在Vue项目中,引入到工程中的所有js、css文件,编译时都会被打包进vendor.js,浏览器在加载该文件之后才能开始显示首屏。若是引入的库众多,那么vendor. 阅读全文
posted @ 2018-03-31 22:32 Fordestiny 阅读(14605) 评论(3) 推荐(1) 编辑
摘要: 欠拟合、过拟合 用线性回归拟合曲线,或者用逻辑回归确定分类边界时,选择的曲线有多种。 以分类问题为例,给定如下样本: 所取的边界,可以是这样(当然并不止这些): 不同曲线,对于样本的表达能力,各不相同,上图的几根曲线中: 曲线1,使用一阶曲线,即直线模型,过于简单,出现大量的错误分类,此时的误差较大 阅读全文
posted @ 2018-03-27 00:04 Fordestiny 阅读(919) 评论(0) 推荐(1) 编辑
摘要: 分类 分类应是极为常见的问题,我们生活周边的一切事物,皆是类别分明。机器学习领域,处理分类问题的方法有多种,如逻辑回归、支持向量机、以及无监督学习的K mean等等。本文主要介始逻辑回归。 逻辑回归 逻辑回归,主要用于解决分类问题,例如二分类。 对于二分类问题,通过给出的样本$(x,y)$(若为二分 阅读全文
posted @ 2018-03-13 20:37 Fordestiny 阅读(1804) 评论(0) 推荐(1) 编辑