曹明 - 博客园

2017年2月8日

摘要： package com.icklick.spark.wordSegment import org.apache.log4j.{ Level, Logger } import org.apache.spark.{ SparkConf, SparkContext } import com.iclick. 阅读全文

posted @ 2017-02-08 19:49 曹明阅读(985) 评论(0) 推荐(0)

2016年12月5日

树的算法总结

摘要：树的算法总结 1.决策树下面简述一下生成决策树的步骤：(1) 根据给定的训练数据，根据熵最大原则根据每一个维度来划分数据集，找到最关键的维度。(2) 当某个分支下所有的数据都数据同一分类则终止划分并返回类标签，否则在此分支上重复实施(1)过程。(3) 依次计算就将类标签构建成了一棵抉择树。(4) 阅读全文

posted @ 2016-12-05 22:02 曹明阅读(1963) 评论(0) 推荐(0)

机器学习树的算法总结

摘要： 1.决策树骤如下：（1）：假设T为训练样本集。（2）：从属性集合Attributes中选择一个最能区别T中样本的属性。（3）：创建一个树节点，它的值为所选择的属性。创建此节点的子节点，每个子链代表所选属性的一个唯一值（唯一区间），使用子链的值进一步将样本细分为子类。对于每一个分支继续重复（阅读全文

posted @ 2016-12-05 21:50 曹明阅读(309) 评论(0) 推荐(0)

2016年11月2日

Spark Streaming实例

摘要： Spark Streaming实例分析 Spark Streaming实例分析 2015-02-02 21:00 4343人阅读评论(0) 收藏举报 2015-02-02 21:00 4343人阅读评论(0) 收藏举报分类： spark（11）分类： spark（11）转载地址：htt 阅读全文

posted @ 2016-11-02 20:53 曹明阅读(554) 评论(0) 推荐(0)

ubuntu上通用解压方式

摘要： ubuntu上通用解压方式 tar xvf *.bin.tar.gz,gz,tar.tgz 阅读全文

posted @ 2016-11-02 20:48 曹明阅读(255) 评论(0) 推荐(0)

linux ubuntu 现在显示的是ubuntu login

摘要： linux ubuntu 现在显示的是ubuntu login 如果要进图形界面，你需要安装桌面管理器sudo apt-get install ubuntu-desktop或sudo apt-get install kubuntu-desktop安装完成后，startx进入图形界面就可以了阅读全文

posted @ 2016-11-02 20:46 曹明阅读(807) 评论(0) 推荐(0)

stop-hbase.sh出现stopping hbasecat:/tmp/hbase-root-master.pid:No such file or directory

摘要： stop-hbase.sh出现stopping hbasecat:/tmp/hbase-root-master.pid:No such file or directory解决办法：在hbase-env.sh中修改pid文件的存放路径export HBASE_PID_DIR=/var/hadoop/p 阅读全文

posted @ 2016-11-02 20:45 曹明阅读(6347) 评论(0) 推荐(0)

hbase shell出现ERROR:Can't get master address from Zookeeper;znode data==null

摘要： hbase shell出现ERROR:Can't get master address from Zookeeper;znode data==null(ERROR:org.apache.hadoop.hbase.ipc.ServerNotRunningYetException:Server is n 阅读全文

posted @ 2016-11-02 20:44 曹明阅读(4429) 评论(0) 推荐(0)

HADOOP:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

摘要： HADOOP:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable WARN util.Nat 阅读全文

posted @ 2016-11-02 20:43 曹明阅读(180) 评论(0) 推荐(0)

当Hadoop 启动节点Datanode失败解决

摘要： Hadoop 启动节点Datanode失败解决 [日期：2014-11-01] 来源：Linux社区作者：shuideyidi [字体：大中小] 当我动态添加一个Hadoop从节点的之后，出现了一个问题： [root@hadoop current]# hadoop-daemon.sh star 阅读全文

posted @ 2016-11-02 20:42 曹明阅读(922) 评论(0) 推荐(0)