摘要： 最近一回想，从16年10月份到18年9月份，陆续看了很多数据分析和机器学习的相关视频，这里大致总结下。 不过鉴于我并没有找到算法类的工作(可能就是因为我看不懂一些视频中的数学推导)，这种看很多视频的学习方式是个反面教材。但是好的视频能使得入门变得更加的容易，我按照自己的体会给看过的视频大致评价下，供 阅读全文

摘要： 今天是2018年10月28日，仔细一算，已经工作两年多了，从16年7月毕业到现在一直都在做数据分析工作，总结一下这两年的工作历程和对数据分析工作的一些看法。 目前已经是就职的第三家公司了，某外卖公司城市分公司 某快递公司--某体育社区公司，（由于互联网环境变化快，所以有时候换工作真的很无奈），就我个 阅读全文

摘要： hive作为hadoop系列的计算模型，在公司的数据清洗和报表开发广泛使用，合理的优化自己的语句结构可以节省计算时间，优化集群的计算资源，下面总结下日常工作中自己碰到的一些问题和别人总结的一些方法。 我们先了解下关系型数据库sql的执行顺序，hive大致相同 然后大致了解下hive的架构： 具体策略 阅读全文

摘要： hive支持 in 子查询的用法，不管in (1,2,3)这种具体数值，还是in (select ,,,from ,,)这种子查询的写法 in (select .. from ..)使用报错主要有2方面的原因， 一、版本问题：hive1.1版本是支持这种写法的，具体从哪个版本支持这种写法不是很清楚 阅读全文

摘要： 逻辑回归算法原理还是比较容易理解的，根据计算的结果实现一下： 手写的推导过程如下： 然后我们开始写实现的过程 1、写出判断模型准确性的函数，这个比较容易理解 import numpy as np from math import sqrt def accuracy_score(y_true, y_p 阅读全文

摘要： 在学习线性回归的时候很多课程都会讲到用梯度下降法求解参数，对于梯度下降算法怎么求出这个解讲的较少，自己实现一遍算法比较有助于理解算法，也能注意到比较细节的东西。具体的数学推导可以参照这一篇博客（梯度下降（Gradient Descent）小结 - 刘建平Pinard - 博客园） 一、 首先，我们用 阅读全文

摘要： 最近同事在向分区表插入数据的时候一直报这个错。 提交的语句大致是： set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; insert overwrite table tmp.eve 阅读全文

摘要： 最近在看慕课网BOBO老师的机器学习入门课程，之前有看过很多的相关课程，讲数据原理推导及sklearn使用较多，顺便推荐一波，看过的课程中，个人觉得邹博老师讲的就蛮好(也看过吴恩达的斯坦福的课程，数学推导看的时候多看几遍也看的懂，过一会儿就忘了，哎)，文章的话可以参照0081. 机器学习 - 随笔分 阅读全文

摘要： 在学习线性回归的时候大多数教程会讲到RMSE，MSE(MAE提到的较少)这两个指标评价模型模型拟合的效果，当然MSE也就是模型的损失函数。 在分类模型中针对不同的数据我们可以用分类的准确度评价谁的模型效果较好，这两者的量纲是一致的，但是在回归中预测不同的实际场景，比如一个预测股市，一个预测房价，比较 阅读全文

摘要： 上一份工作对数据的时效性要求较高，且公司有较为完善的数据平台，所以hive没怎么写过，现在的新工作需要大量的用底层数据(仓库未搭建)，物流行业的底层数据质量相对较差，需要做大量清洗工作，又重新学习了一下hive，大致的总结了一下。 一、HIVE建表语句 --中括号里面的都可以省略 CREATE [E 阅读全文