摘要：
docker服务介绍： http://gitlab.qiyi.domain/docker/docker/blob/master/docs/userguide_ZH-CN/sample.mdhttp://gitlab.qiyi.domain/docker/docker/blob/master/docs 阅读全文
随笔档案-2017年05月
anacondas 下 安装xgboost & keras
2017-05-24 11:27 by xplorerthik, 842 阅读, 收藏,
摘要：
mac : 安装anaconda， cd到anaconda 目录下 pip install xgboost 测试： 在当前的¥ python ， 进入python 环境 import xgboost 不报错就ok ：） Windows环境测试ok 1.anaconda2 下载：https://www 阅读全文
SparkR 读取数据& Spark运行的配置
2017-05-24 11:12 by xplorerthik, 664 阅读, 收藏,
摘要：
1.本地LOCAL环境安装Spark并试运行配置(在Ubuntu系统下例子) # 打开文件配置环境变量: JAVA,SCALA,SPARK,HADOOP,SBT gedit /etc/profile # 在文件中加入以下行 export JAVA_HOME=/usr/java/jdk1.8.0_51 阅读全文
R语言读取MySQL数据表
2017-05-24 11:10 by xplorerthik, 2418 阅读, 收藏,
摘要：
1.R中安装RODBC包 install.packages("RODBC") 2.在Windows系统下安装MySQL的ODBC驱动 注意区分32位和64位版本； http://dev.mysql.com/downloads/connector/odbc 3.ODBC的系统配置 在Windows操作 阅读全文
R语言读取Hive数据表
2017-05-24 11:08 by xplorerthik, 4372 阅读, 收藏,
摘要：
R通过RJDBC包连接Hive 目前Hive集群是可以通过跳板机来访问 HiveServer， 将Hive 中的批量数据读入R环境，并进行后续的模型和算法运算。 1. 登录跳板机后需要首先在Linux下进行配置 从root权限切换到bzsys用户，才能够通过验证读取Hive。首先需要配置Hadoop 阅读全文
R语言的并行运算(CPU多核)
2017-05-24 11:06 by xplorerthik, 19807 阅读, 收藏,
摘要：
通常R语言运行都是在CPU单个核上的单线程程序。有时我们会有需求对一个向量里的元素应用相同的函数，最终再将结果合并，并行计算可以大幅节约时间。 为了支持R的并行运算, parallel包已经被纳入了R的BASE库中，可以被直接调用，来实现在同一个CPU上利用多个核Core同时运算相同的函数。 版本一 阅读全文
Installing R under Unix-alikes
2017-05-24 11:05 by xplorerthik, 308 阅读, 收藏,
摘要：
Linux上R的安装 可参考https://cran.r-project.org/doc/manuals/r-release/R-admin.html#Installing-R-under-Unix_002dalike 1） 下载R-3.2.1.tar.gz https://cran.r-proje 阅读全文
logistic growth model . 求解方法 （高斯牛顿法）
2017-05-17 15:23 by xplorerthik, 917 阅读, 收藏,
摘要：
https://www.stat.tamu.edu/~jnewton/604/chap4.pdf http://www.metla.fi/silvafennica/full/sf33/sf334327.pdf 在求二阶导时， fi 和 偏fi/偏theta 都是是theta的函数， 所以要用乘法求导 阅读全文
git 的使用方法
2017-05-17 10:10 by xplorerthik, 380 阅读, 收藏,
摘要：
git 的使用有3个主要步骤： 1.1 工作区域操作： 在自己的git账号下构建一个工作目录， 并往工作目录里添加文件内容（cp /root/data/VIP_Amount_prediction/* ./）。 cd 当前工作目录， git init， 初始化git仓库， 用于监视当前工作目录下的内容 阅读全文
神经网络基础
2017-05-16 18:04 by xplorerthik, 291 阅读, 收藏,
摘要：
1个神经元 就是 多个输入，一个输出， 输入输出映射关系就是一个逻辑回归、 一个神经元代表了1种模式。 该例中有3个w权重， 假设该例改为4个神经元， 将有12个w权重。 其中每个神经元都3个权重。 注意数据流， 见下面多个神经元 。 多个神经元 ， x1,x2,x3, 分别流向第一个神经元（a1） 阅读全文
xgboost 并行调参
2017-05-10 10:40 by xplorerthik, 876 阅读, 收藏,
摘要：
Parallelism When Cross Validating XGBoost Models This raises the question as to how cross validation should be configured: Disable multi-threading sup 阅读全文
字典写入文件用法总结
2017-05-05 18:54 by xplorerthik, 2364 阅读, 收藏,
摘要：
Files Unicode The "codecs" module provides support for reading a unicode file. For writing, use f.write() since print does not fully support unicode. 阅读全文
dataframe 用法总结
2017-05-05 18:04 by xplorerthik, 1218 阅读, 收藏,
摘要：
http://pda.readthedocs.io/en/latest/chp5.html data = [] 列表初始化 data = (,) data = {} 字典初始化 data = pd.DataFrame() dataframe 初始化 pop = {'Nevada': {2001: 2 阅读全文
MCMC 破译密码 http://mlwhiz.com/blog/2015/08/21/MCMC_Algorithms_Cryptography/
2017-05-04 18:12 by xplorerthik, 501 阅读, 收藏,
摘要：
# AIM: To Decrypt a text using MCMC approach. i.e. find decryption key which we will call cipher from now on. import string import math import random 阅读全文
xgboost 调参参考
2017-05-04 15:03 by xplorerthik, 1785 阅读, 收藏,
摘要：
XGBoost的参数 XGBoost的作者把所有的参数分成了三类： 1、通用参数：宏观函数控制。 2、Booster参数：控制每一步的booster(tree/regression)。 3、学习目标参数：控制训练目标的表现。 分别介绍 1. 通用参数 1.1、booster[默认gbtree] 选择 阅读全文
python gridsearchcv 里的评价准则
2017-05-03 17:57 by xplorerthik, 1990 阅读, 收藏,
摘要：
http://scikit-learn.org/stable/modules/model_evaluation.html 3.3.1. The scoring parameter: defining model evaluation rules Model selection and evaluat 阅读全文
xgboost 完全调参指南
2017-05-03 11:25 by xplorerthik, 538 阅读, 收藏,
摘要：
http://www.2cto.com/kf/201607/528771.html xgboost： https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-pyt 阅读全文
浙公网安备 33010602011771号