摘要：命令： cat tail -f #系统日志文件存放路径： /var/log/message #系统启动后的信息和错误日志 /var/log/secure #与安全相关的日志信息 /var/log/maillog #与邮件相关的日志信息 /var/log/cron #与定时任务相关的日志信息 /var 阅读全文
Centos6.5建立本地YUM源
2016-05-06 21:57 by 猎手家园, 476 阅读, 0 推荐, 收藏,
摘要：很多情况下公司的服务器是不允许连外网的，那么安装软件的时候就很不方便了，这里就需要建立一个本地YUM源了。 文件位置：/etc/yum.repos.d/ 后缀一定是.repo结束。 下面我们搭建自己的yum源，所以可以把之前的都删除了。 下面配置自己的YUM源： 保存退出！ 然后清除重新建立一下缓存 阅读全文
国内外部分开源软件镜像站和部分软件官方网站
2016-05-02 22:27 by 猎手家园, 3762 阅读, 0 推荐, 收藏,
摘要：一、国内外部分开源软件镜像站 1、网易开源软件镜像站（ISO）：http://mirrors.163.com/ 2、上海交大开源软件镜像站（ISO）：http://ftp.sjtu.edu.cn/ 3、阿里开源软件镜像站：https://developer.aliyun.com/mirror/ 4、 阅读全文
数据分析与挖掘 - R语言：K-means聚类算法
2016-05-02 22:07 by 猎手家园, 10250 阅读, 0 推荐, 收藏,
摘要：一个简单的例子！环境：CentOS6.5Hadoop集群、Hive、R、RHive，具体安装及调试方法见博客内文档。 1、分析题目--有一个用户点击数据样本（husercollect）--按用户访问的时间（时）统计--要求：分析时间和点击次数的聚类情况2、数据准备 3、评估K值 评估结果： 由上图可 阅读全文
电商大数据学习笔记：用户画像
2016-05-02 21:50 by 猎手家园, 1045 阅读, 0 推荐, 收藏,
摘要：1、用户画像：用户信息标签化。 2、用户画像可以做什么？ ——内容正在整理中 3、show命令用法 show tables 显示所有表 例：show table like ‘…_pre_food’; show partitions 显示所有分区 例：show partitions fdm_prd_f 阅读全文
电商大数据学习笔记：实战
2016-05-02 17:17 by 猎手家园, 594 阅读, 0 推荐, 收藏,
摘要：1、YARN：将资源管理和作业调度/监控分成两个独立的进程。 包含两个组件：ResourceManager和ApplicationMaster 2、YARN的特性： 1）可扩展性；2）高可用性（HA）；3）兼容性（1.0版本的作业也可以执行）；4）提高集群利用率； 5）支持MapReduce编程范式 阅读全文
电商大数据学习笔记：理论
2016-05-02 16:16 by 猎手家园, 849 阅读, 0 推荐, 收藏,
摘要：1、大数据部门：数据中心、数据平台、数据部…… 2、每个部门都有：架构人员、数据分析人员、开发人员、运营人员…… 3、团队：数据仓库组、BI组、架构组、数据专家组…… 4、团队分的更细：需求组、推荐组、情报组、挖掘组、数据组、营销组…… 5、大数据有哪些重要的项目： 1）数据仓库建设； 2）经营分析 阅读全文
R语言学习笔记：基础知识
2016-05-02 16:00 by 猎手家园, 2306 阅读, 0 推荐, 收藏,
摘要：1、数据分析金字塔 2、【文件】-【改变工作目录】 3、【程序包】-【设定CRAN镜像】 【程序包】-【安装程序包】 4、向量 c() 例：x=c(2,5,8,3,5,9) 例：x=c(1:100) 表示把1 - 100的所有数字都给x这个变量 5、查看x的类型：>mode(x) 6、查看x的长度： 阅读全文
Hive学习笔记：基础语法
2016-05-02 15:44 by 猎手家园, 946 阅读, 0 推荐, 收藏,
摘要：Hive基础语法 1、创建表 – 用户表 hive目前支持三种方式： 1）就是最普通的textfile，数据不做压缩，磁盘开销大，解析开销也大 2）SquenceFIle,hadoop api提供的一种二进制API方式，其具有使用方便、可分割、可压缩等特点。 3）rcfile行列存储结合的方式，它会 阅读全文
浙公网安备 33010602011771号