随笔分类 -  大数据,云计算

离线环境下进行pip包安装
摘要：内网服务器不能上网，但是需要在上面安装python-package 通过另外一台能上网的主机B 1. 下载需要离线安装的Packages 在B上执行如下命令： 安装单个Package 安装多个Packages 2. 将下载好的Packages拷贝至内网服务器 使用scp、sftp等方式将下载好的Pa 阅读全文

posted @ 2018-02-07 10:33 running_wolf 阅读(301) 评论(0) 推荐(0)

[scikit-learn] 特征二值化
摘要：1.首先造一个测试数据集 这里我们把 pet、age、salary 都看做类别特征，所不同的是 age 和 salary 都是数值型，而 pet 是字符串型。我们的目的很简单: 把他们全都二值化，进行 one-hot 编码 2. 对付数值型类别变量 对 age 进行二值化很简单，直接调用 OneHo 阅读全文

posted @ 2017-08-22 14:32 running_wolf 阅读(1730) 评论(0) 推荐(0)

提交任务到spark（以wordcount为例）
摘要：1、首先需要搭建好hadoop+spark环境，并保证服务正常。本文以wordcount为例。 2、创建源文件，即输入源。hello.txt文件，内容如下： 注：以空格为分隔符 3、然后执行如下命令： hadoop fs -mkdir -p /Hadoop/Input（在HDFS创建目录） hado 阅读全文

posted @ 2017-08-17 11:14 running_wolf 阅读(24750) 评论(0) 推荐(0)

导航