12 2017 档案

Python--字符串操作
摘要：结果： i learn python and learn Spark i ki leari like 'Spark' Python 具有丰富的库,\ 使用用途很广。常见的就是对机器学习的使用。但是，'Spark' 也很强哦 E:ote\Python.docE:\note\Python.doc 字符串 阅读全文
posted @ 2017-12-31 13:38 soyosuyang 阅读(169) 评论(0) 推荐(0)
Python split 分割中文
摘要：结果： 7 ['\xe4\xb8\xad\xe5\x9b\xbd', '\xe5\x92\x8c', '\xe9\x9f\xa9\xe5\x9b\xbd', '\xe7\x9a\x84\xe5\x8c\xba\xe5\x88\xab']中国和韩国的区别 <type 'str'><type 'unic 阅读全文
posted @ 2017-12-31 13:06 soyosuyang 阅读(7437) 评论(0) 推荐(0)
LR（逻辑回归）
摘要：逻辑回归（Logistic regression): 想要理解LR，只需要记住： Sigmoid 函数： y=1/(1+e-z) 线性回归模型： y=wTx+b 最后： y= 1/(1+e-(wTx+b)) 推导为： ln (y/1-y)=wTx+b 它就是用线性回归模型的预测结果去逼近真实标记的对 阅读全文
posted @ 2017-12-29 10:08 soyosuyang 阅读(267) 评论(0) 推荐(0)
Python--列表操作
摘要：结果：201005.0efgsoyo12soyosoyo89012345678910soyo88111213141516171819345672581114*************234[1, 2, 3]******************234soyosoyo[2, 3, 4]3******** 阅读全文
posted @ 2017-12-27 15:48 soyosuyang 阅读(185) 评论(0) 推荐(0)
Eclipse 使用Anaconda python 解释器
摘要：问题： ubuntu16.04 Anaconda 安装成功 Eclispe 写Python代码 无法使用 （pandas库等） 原因： Eclispe 此时的python解释器==>用的并不是Anaconda 解决办法： eclipse 使用Anaconda python 解释器 （就是使eclip 阅读全文
posted @ 2017-12-27 15:32 soyosuyang 阅读(1518) 评论(0) 推荐(0)
ubuntu 16.04 Python Anaconda 安装
摘要：Python Anaconda 不同版本在官网上的位置：https://www.anaconda.com/download/#linux进入官网=》Changelog=》Product specifications=》 Old package lists=》Anaconda installer ar 阅读全文
posted @ 2017-12-27 15:26 soyosuyang 阅读(1709) 评论(0) 推荐(0)
重装Eclipse 往其中加Python插件时 遇到不能独立运行c c++ python 代码时修改办法:
摘要：鼠标移动到新建项目处 ，右键->run as-> run configuration->选择Enable auto build 即可。 阅读全文
posted @ 2017-12-27 15:17 soyosuyang 阅读(260) 评论(0) 推荐(0)
ubuntu 16.04 Eclipse 图标显示为 ？(已解决)
摘要：这个问题挺好解决： sudo gedit /usr/share/applications/eclipse.desktop在这个文件中将Icon=/home/soyo/eclipse/icon.xpm，Exec=/home/soyo/eclipse/eclipse，的路径更改成本机eclipse的安装 阅读全文
posted @ 2017-12-27 15:16 soyosuyang 阅读(822) 评论(0) 推荐(0)
Eclipse 配置 Python 环境
摘要：1.将下载好的Pydev4.5.2（http://sourceforge.net/projects/pydev/files/pydev/ 里面有很多版本） 文件夹里的两个文件夹（features+plugins）复制到安装eclipse目录下的dropins文件夹内，命令就是上面的(直接鼠标复制就可 阅读全文
posted @ 2017-12-27 15:13 soyosuyang 阅读(176) 评论(0) 推荐(0)
IDEA hadoop MapReduce 环境配置
摘要：1.下载，安装，配置好Hadoop 2.在IDEA中执行MapReduc 配置： 这里将JAR包加入： JAR包是：/usr/local2/hadoop/share/hadoop 目录下：直接右边+以下几个文件夹 common，common->lib, hdfs,mapreduce,yarn 3.配 阅读全文
posted @ 2017-12-12 19:40 soyosuyang 阅读(400) 评论(0) 推荐(0)
Spark SVM分类器
摘要：Spark 机器学习库从 1.2 版本以后被分为两个包： spark.mllib 包含基于RDD的原始算法API。Spark MLlib 历史比较长，在1.0 以前的版本即已经包含了，提供的算法实现都是基于原始的RDD。 spark.ml 则提供了基于DataFrames 高层次的API,可以用来构 阅读全文
posted @ 2017-12-09 13:30 soyosuyang 阅读(1301) 评论(1) 推荐(0)
Hadoop MapReduce 运行步骤
摘要：步骤：【使用java编译程序，生成.class文件】 【将.class文件打包为jar包】 【运行jar包（需要启动Hadoop）】 【查看结果】 具体实现：1.添加程序所需要的依赖vim ~/.bashrcexport HADOOP_HOME=/usr/local2/hadoop export C 阅读全文
posted @ 2017-12-08 15:16 soyosuyang 阅读(365) 评论(0) 推荐(0)
将数据从数据仓库Hive导入到MySQL
摘要：1.启动Hadoop，hive，mysql 2.在mysql中建表（需要导入数据的） 选中要被导出的数据： 3.使用Sqoop将数据从Hive导入MySQL 阅读全文
posted @ 2017-12-05 18:35 soyosuyang 阅读(7104) 评论(0) 推荐(0)
ubuntu 16.04 Sqoop 安装
摘要：1.下载：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/ sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2.解压 3.修改文件名+给文件夹附权限 4.修改配置文件sqoop-env.sh cd 阅读全文
posted @ 2017-12-05 16:54 soyosuyang 阅读(1340) 评论(0) 推荐(0)
hive 内部表与外部表的区别
摘要：hive 内部表： hive> create table soyo55(name STRING,addr STRING,money STRING) row format delimited fields terminated by ',' stored as textfile; hive> load 阅读全文
posted @ 2017-12-05 15:32 soyosuyang 阅读(521) 评论(0) 推荐(0)