文章分类 -  高级工具

深度学习
摘要：CNN RNN 阅读全文
posted @ 2020-05-20 13:42 Cshare 阅读(77) 评论(0) 推荐(0)
机器学习
摘要：线性模型 逻辑回归 树模型 最近邻 有监督 无监督 阅读全文
posted @ 2020-05-20 13:41 Cshare 阅读(37) 评论(0) 推荐(0)
统计方法
摘要：t检验 原理和用途 计算A=（已知样本平均值与总体样本平均值的差值） 除以（总体样本标准差除以根号下[n if n>30 else n-1]得到的标准偏差）的比值，查t值表，就是看平均值的差异是否属于标准偏差允许的范围内，如果差异过大，两者就没有相关性，t检验限定条件是服从正态分布的连续变量，t检验 阅读全文
posted @ 2020-05-20 13:05 Cshare 阅读(356) 评论(0) 推荐(0)
Hadoop-Hive安装及工作原理和优化
摘要：安装 mkdir /opt/hive && tar -zxf /root/apache-hive-3.1.1-bin.tar.gz -C /opt/hive && \ tar -zxf /root/mysql-connector-java-8.0.16.tar.gz && \ cp /root/my 阅读全文
posted @ 2020-05-19 18:56 Cshare 阅读(161) 评论(0) 推荐(0)
Hadoop-Spark安装及工作原理和优化
摘要：安装 配置服务 启动服务 工作原理 RDD、DateFrame和SparkSQL SparkStreaming和Structured Streaming MLlib GraphX 阅读全文
posted @ 2020-05-18 18:12 Cshare 阅读(139) 评论(0) 推荐(0)
Hadoop-Hbase安装及工作原理
摘要：安装 配置HA模式 启动 工作原理 在推荐算法中，一篇文章会被解析成上亿维的向量，所有文章构成的矩阵是一个巨大的稀疏矩阵，Hbase就是为了存储这个巨大矩阵而衍生出来的产物；由于它的稀疏性，数据都是一块一块的，其他绝大部分都是空的，Hbase就是基于HDFS，将向量的上亿维度，通过3级树形结构来降维 阅读全文
posted @ 2020-05-18 18:06 Cshare 阅读(94) 评论(0) 推荐(0)
Hadoop三大件安装及工作原理
摘要：安装 在SecureCRT中通过sftp上传到虚拟机 解压缩 系统环境 配置Zookeeper 分别启动各组件 原理 当数据量多的时候，单机无法处理，Hadoop是为了解决海量计算而应运而生的方案，包含3和方面：存储平台，计算逻辑，计算资源 存储平台对应HDFS，将数据看成矩阵，它由两部分构成，方向 阅读全文
posted @ 2020-05-18 18:02 Cshare 阅读(222) 评论(0) 推荐(0)
Hadoop系统环境准备
摘要：新装的虚拟机还不能直接使用，需要为它配置环境，主要配置网卡、DNS、主机名、hosts、ssh、防火墙、时间 网卡 设置固定网卡,参考【1】 这里使用桥接的方式连接宿主机，并给虚拟机分配固定IP 注意事项 关闭宿主机防火墙 第一台虚拟机需要通过Hyper v配置网卡和ssh，以便在宿主机中可以通过s 阅读全文
posted @ 2020-05-18 11:40 Cshare 阅读(81) 评论(0) 推荐(0)
Hadoop软件准备
摘要：Hyper-V Hyper-V是windows系统自带的虚拟机，使用时要满足两点 Bios里开启CPU虚拟化，可以在任务管理器 - 性能里查看是否支持虚拟化 教育版和家庭版不支持启用Hyper-V，最好是企业版和专业版 启用方式 控制面板\程序\程序和功能 - 启用或关闭Windows功能 - Hy 阅读全文
posted @ 2020-05-18 11:35 Cshare 阅读(124) 评论(0) 推荐(0)