上一页 1 ··· 6 7 8 9 10 11 12 13 14 15 下一页
2015年9月10日
机器学习之回归
摘要： 主要内容： 回归 1.线性回归 2.Logistic回归 最优问题： 1.梯度下降 2.牛顿法 3.拟牛顿法 了解参数学习算法和非参数学习算法的区别 高斯分布（正态分布） 1. 2.线性回归 考虑2个变量 多变量的情形 3.最小二乘的目标函数 m为样本个数，则一个比较“符合常理”的误差函数为： 符合常理 n最小二乘建立的目标函数，即是在噪声为均值为0的高斯分布下，极大... 阅读全文
posted @ 2015-09-10 19:24 农民阿姨 阅读(184) 评论(0) 推荐(0) 编辑
Mac 命令
摘要： 1.du获取某个目录下各个文件和子目录占用多少空间，可以输入：du -sh * 阅读全文
posted @ 2015-09-10 16:50 农民阿姨 阅读(154) 评论(0) 推荐(0) 编辑
2015年9月9日
思维导图学习一
摘要： 1.培训课件思维导图模板 阅读全文
posted @ 2015-09-09 22:38 农民阿姨 阅读(208) 评论(0) 推荐(0) 编辑
机器学习之凸优化基础二
摘要： 20.共轭函数 21.凸优化 优化问题的基本形式 告诉几个等式约束求最值 局部最优问题 22.非凸优化问题的变形 23.对偶问题 24.Lagrange对偶函数(dual function) Lagrange 对偶函数 若没有下确界，定义: 根据定义，显然有：对∀λ>0，∀v，若原优化问题有最优值p*，则 进一步：Lagrange对偶函数为凹... 阅读全文
posted @ 2015-09-09 21:43 农民阿姨 阅读(431) 评论(0) 推荐(0) 编辑
机器学习之凸优化基础一
摘要： 2015-09-09 今天买的凸优化刚到。从今天开始学习一些基础的概念。不知道2年的时间能不能学会并且解决实际的问题。 线性函数需要严格满足等式，而凸函数仅仅需要在a和b取特定值得情况下满足不等式。因此线性规划问题也是凸优化问题，可以将凸优化看成是线性规划的扩展。 1.放射集 定义：过集合C内任意两点的直线均在集合C内，则称集合C为仿射集。 例子：直线、平面、超平面 2.仿射包 定... 阅读全文
posted @ 2015-09-09 18:50 农民阿姨 阅读(2144) 评论(2) 推荐(0) 编辑
2015年9月8日
JAVA基础
摘要： 1. 匿名内部类： new Car().num = 5; 调用属性无意义 匿名对象使用方式一：当对对象的方法只调用一次时，可以用匿名对象来完成，这样写比较简化。 如果对一个对象进行多个成员调用，必须给这个对象起个名字。 匿名对象使用方式二：可以将匿名对象作为实际参数进行传递。 2.封装： 1.private : 私有，权限修饰符：用于修饰类中的成员(成员变量，成员函数)。私有只在本类中有效。 ... 阅读全文
posted @ 2015-09-08 22:59 农民阿姨 阅读(202) 评论(0) 推荐(0) 编辑
2015年9月7日
大数据之nutch
摘要： 一、nutch简介 nutch是大名鼎鼎的Doug Cutting发起的爬虫项目，nutch孵化了现在大数据处理框架Hadoop。在nutch V 0.8.0 版本之前，Hadoop是nutch的一部分，从nutch V0.8.0开始，HDFS和MapReduce从nutch中剥离出成为Hadoop。v0.8.0之后，nutch就完全构建在Hadoop的基础之上了。 Nutch是一个开源的网络爬... 阅读全文
posted @ 2015-09-07 20:19 农民阿姨 阅读(712) 评论(0) 推荐(0) 编辑
2015年9月6日
机器学习之Hash集合问题
摘要： 问题来源与七月学习之 （3.x线性代数与矩阵运算基础） 阅读全文
posted @ 2015-09-06 09:21 农民阿姨 阅读(243) 评论(0) 推荐(0) 编辑
2015年9月5日
机器学习之参数估计与矩阵运算基础
摘要： http://ask.julyedu.com/article/32 阅读全文
posted @ 2015-09-05 20:12 农民阿姨 阅读(226) 评论(0) 推荐(0) 编辑
大数据之sqoopCDH 备份
摘要： Sqoop课程笔记 一、概述 1、什么是sqoop？ Hadoop的优势在于对数据的存储和处理，相比以前传统的数据库，在处理较较多的数据时，传统数据行业通过提升单机性能以提高处理性能，而且性价比随着性能提高越来越低，在场景下派生出的大数据行业。 同样的数据处理，hadoop无论是处理的性能和成本都远低于传统通过单机处理，但是从传统的数据处理切换到新生的hadoop平台，避免不了有数据迁移的过程，需... 阅读全文
posted @ 2015-09-05 18:16 农民阿姨 阅读(1218) 评论(0) 推荐(0) 编辑
大数据之sqoop
摘要： 一、安装： 1 解压然后把mysql的驱动放在$SQOOP_HOME/lib 目录中2. conf/sqoop-en.sh export HADOOP_COMMON_HOME=/home/hadoop/hadoop/hadoop-2.3.0export HADOOP_MAPRED_HOME=/home/hadoop/hadoop/hadoop-2.3.0 注意事项 1.数据库驱动：在执行s... 阅读全文
posted @ 2015-09-05 09:35 农民阿姨 阅读(2217) 评论(0) 推荐(0) 编辑
2015年9月1日
hadoop 集群 加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令
摘要： 加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令 方式1：静态添加datanode，停止namenode方式 1.停止namenode 2.修改slaves文件，并更新到各个节点3.启动namenode 4.执行hadoop balance命令。（此项为balance集群使用，如果只是添加节点，则此步骤不需要） ----------------------------------... 阅读全文
posted @ 2015-09-01 22:27 农民阿姨 阅读(890) 评论(0) 推荐(0) 编辑
大数据之pig 命令
摘要： 1.pig与hive的区别 pig和hive比较类似的，都是类sql的语言，底层都是依赖于hadoop 走的mapreduce任务。 pig和hive的区别就是，想要实现一个业务逻辑的话，使用pig需要一步一步操作 而使用hive的话一条SQL就可以搞定。 如果想在很短时间内获取一个比较复杂的业务逻辑处理结果的话，建议使用pig。 如果需要定时执行的一些任务，建议使... 阅读全文
posted @ 2015-09-01 21:39 农民阿姨 阅读(3357) 评论(0) 推荐(0) 编辑
大数据之pig安装
摘要： 大数据之pig安装 1.下载 pig download 2. 解压安装 mapreduce模式安装: 1：设置HADOOP_HOME，如果pig所在节点不是集群中的节点，那就需要把集群中使用的hadoop的安装包拷贝过来一份。 export HADOOP_HOME=/usr/local/hadoop-2.6.0 2：创建一个文件夹，cluster-conf，里面保存的是hadoo... 阅读全文
posted @ 2015-09-01 09:55 农民阿姨 阅读(295) 评论(0) 推荐(0) 编辑
2015年8月31日
大数据之Ganglia安装1
摘要： 0、前期准备修改主机名、ip、iptables关闭；时间同步：ntpdate -s time.windows.com;软件准备ganglia-3.7.1.tar.gz、ganglia-web-3.7.0.tar.gz 地址：http://ganglia.info/?page_id=66confuse-2.7.tar.gz 地址：http://www.nongnu.org/confuse/Pytho... 阅读全文
posted @ 2015-08-31 21:31 农民阿姨 阅读(328) 评论(0) 推荐(0) 编辑
大数据之Ganglia
摘要： 1.什么是ganglia 一个开源集群监视项目；Ganglia可以做系统监控，但是，目前它不支持服务器异常或故障报警功能。 2.Ganglia监控集群架构 Ganglia 集群主要是由gmond、gmetad、gweb这3个守护进程组成，其中gmetad进程相当于监控集群的master。而多个gmond进程可以进行分组，每个分组其实是一个用来收集监控数据的代理服务集群，也就是说多个gmond... 阅读全文
posted @ 2015-08-31 21:20 农民阿姨 阅读(1406) 评论(0) 推荐(0) 编辑
Linux 之安装文件
摘要： 1.首先要检查rpm -q gcc glibc glibc-common rrdtool rrdtool-devel expat expat-devel pcre pcre-devel dejavu-lgc-sans-mono-fonts dejavu-sans-mono-fonts zlib-de... 阅读全文
posted @ 2015-08-31 17:42 农民阿姨 阅读(267) 评论(0) 推荐(0) 编辑
数据挖掘书籍
摘要： http://blog.csdn.net/dream_angel_z/article/details/44773801 阅读全文
posted @ 2015-08-31 14:07 农民阿姨 阅读(184) 评论(0) 推荐(0) 编辑
2015年8月28日
Hadoop之Hive 安装_（hadoop 集群）
摘要： Hive mysql的metastore安装准备（***掌握***） 在nameNode1机子上实践： 把hive-0.12.0.tar.gz解压到/itcast/ # tar -zxvf hive-0.12.0.tar.gz -C /itcast 修改/etc/profile文件，将hive加入环境变量 # vim /etc/profile export JAVA_HOME=/usr/java/... 阅读全文
posted @ 2015-08-28 23:06 农民阿姨 阅读(263) 评论(0) 推荐(0) 编辑
Spark之Streaming
摘要： 1. socket消息发送 import java.net.ServerSocket import java.io.PrintWriter import scala.collection.mutable.ListBuffer import java.util.Random /** * Created by zzy on 8/28/15. */ /** * 模拟socket消息发送 ... 阅读全文
posted @ 2015-08-28 22:11 农民阿姨 阅读(248) 评论(0) 推荐(0) 编辑
上一页 1 ··· 6 7 8 9 10 11 12 13 14 15 下一页