02 2021 档案

《设计原本》读书笔记四
摘要：第十七章：从思维到机器理想模型应尽可能从良好而详尽的设计范本库为基础，这些范本出发，设计师可以获得天然的一致性。但随着范本库的增长，设计师对其的熟悉程度会迅速降低。对范本库进行结构化的处理属于分类学范畴。 真正的敌人来源于范本库本身：拙劣的样本、太少的模型、狭隘的范围。 人们希望在大部分工作时间中双 阅读全文
posted @ 2021-02-25 11:16 公鸡不下蛋 阅读(71) 评论(0) 推荐(0)
《设计原本》读书笔记三
摘要：第八章：设计中的理性主义和经验主义人人都会犯错，很多时候，大多数人都是在热情和兴趣的引诱下走向错误之渊。 理解力有两种形式：直觉和推演，无论哪一种都需要以知识为后盾——笛卡尔 PS: 这一章的翻译或内容让我如坠云雾，（一开始）我不清楚是书中的理性/经验主义、正式证明等用词是惯用的哲学/工程术语还是作 阅读全文
posted @ 2021-02-24 14:53 公鸡不下蛋 阅读(123) 评论(0) 推荐(0)
《设计原本》读书笔记二
摘要：第六章：协作设计多数伟大作品是由一两个人独立完成的。（二人团队往往具有神奇的效率，可能是由于彼此的激励和相互表达思想使人更快的了解到自己的错误，二人协作的错误率大大低于独立作业。以下的团队均指两人以上的。） 协作的必要性 技术复杂性和工程的规模不断增加产品开发的时间压力越来越大协作的成本 分割成本学 阅读全文
posted @ 2021-02-23 18:12 公鸡不下蛋 阅读(88) 评论(0) 推荐(0)
《设计原本》读书笔记一
摘要：第二章：理性模型多数设计师会把所有的项线性相加，但线性方式不适合于衡量效用，因为边际效益会递减。（例如足够的电源插座是必要的，但过多的插座并不会提升总功能。但我们进行设计的时候，往往只是把数量简单相加） 在每个决策点设计师都可以有多种选择，因此设计的过程可以看作在“设计树”中寻找可行且较好的路径。（ 阅读全文
posted @ 2021-02-22 14:45 公鸡不下蛋 阅读(130) 评论(0) 推荐(0)
《机器学习十讲》第十讲
摘要：源地址（本节课无案例）：http://cookdata.cn/auditorium/course_room/10021/ 往期的课程总结均已在开头处标明了视频源网址，相关案例在视频下方，相关案例若无法下拉查看可以通过F12（谷歌为例）在相应代码中找到网址。 下面进入正题 《机器学习十讲》——第十讲（ 阅读全文
posted @ 2021-02-20 15:45 公鸡不下蛋 阅读(162) 评论(0) 推荐(0)
《机器学习十讲》第九讲
摘要：源地址（相关案例在视频下方）：http://cookdata.cn/auditorium/course_room/10020/ 《机器学习十讲》——第九讲（深度学习） 应用 图像识别：IMAGENET。 机器翻译：Google神经机器翻译系统。 语音识别： 以往GMM-HMM传统方法一直未有突破，2 阅读全文
posted @ 2021-02-19 15:43 公鸡不下蛋 阅读(190) 评论(0) 推荐(0)
《机器学习十讲》第八讲
摘要：源地址（相关案例在视频下方）：　http://cookdata.cn/auditorium/course_room/10019/ 《机器学习十讲》——第八讲（维度灾难） 维度灾难：随着维度（如特征或自由度）的增多，问题的复杂性（或计算算代价）呈指数级增长的现象。 高维空间的反直觉示例：单位球体积： 阅读全文
posted @ 2021-02-18 14:34 公鸡不下蛋 阅读(381) 评论(0) 推荐(0)
《机器学习十讲》第七讲
摘要：源地址（相关案例在视频下方）：　http://cookdata.cn/auditorium/course_room/10018/ 《机器学习十讲》——第七讲（最优化） 机器学习的优化目标 最小化损失函数： 模型——损失函数——表达式： 图示： 方法 梯度下降： batch梯度下降：使用全部训练集样本 阅读全文
posted @ 2021-02-17 13:23 公鸡不下蛋 阅读(353) 评论(0) 推荐(1)
《机器学习十讲》第六讲
摘要：源地址（相关案例在视频下方）：http://cookdata.cn/auditorium/course_room/10017/ 《机器学习十讲》——第六讲（降维） 数学知识 特征向量：设A是n阶方阵，如果有常数λ和n维非零列向量α的关系式Aα=λα成立，则称λ为方阵A的特征值，非零向量α称为方阵A的 阅读全文
posted @ 2021-02-16 14:12 公鸡不下蛋 阅读(215) 评论(0) 推荐(0)
《机器学习十讲》第五讲
摘要：源地址（相关案例在视频下方）：http://cookdata.cn/auditorium/course_room/10016/ 机器学习十讲——第五讲（聚类） 数学知识相关 凸函数：假设f(x)为多元函数，如果对任意t∈[0,1]，均满足：。则称f(x)为凸函数。 Jensen不等式：如果f是凸函数 阅读全文
posted @ 2021-02-15 11:23 公鸡不下蛋 阅读(205) 评论(0) 推荐(0)
《机器学习十讲》第四讲
摘要：源地址（相关案例在视频下方）：http://cookdata.cn/auditorium/course_room/10015/ 《机器学习十讲》——第四讲（模型提升） 本讲主要讲了三个算法：决策树，随机森林，AdaBoost 模型误差的来源 非线性模型 线性回归：多项式回归 支持向量机：给定的核函数 阅读全文
posted @ 2021-02-14 11:12 公鸡不下蛋 阅读(148) 评论(0) 推荐(0)
《机器学习十讲》第三讲
摘要：源地址（相关案例在视频下方）：http://cookdata.cn/auditorium/course_room/10014/ 《机器学习十讲》——第三讲：分类 数学知识回顾： 点到平面距离： 梯度下降法： 简介：求解无约束最优化问题的经典方法，机器学习和深度学习中应用最广泛的模型求解算法。 定义： 阅读全文
posted @ 2021-02-13 11:43 公鸡不下蛋 阅读(215) 评论(0) 推荐(0)
《机器学习十讲》第二讲
摘要：源地址（相关案例在视频下方）：http://cookdata.cn/auditorium/course_room/10013/ 第二讲的主要内容是回归，总结如下。 回归模型用了很多的矩阵知识，因此首先回顾一下矩阵知识以及python中的使用： 矩阵的逆： 若A为可逆矩阵，则逆矩阵是唯一的。 判断矩阵 阅读全文
posted @ 2021-02-12 11:41 公鸡不下蛋 阅读(259) 评论(0) 推荐(0)
《机器学习十讲》第一讲
摘要：源地址（相关案例在视频下方）：http://cookdata.cn/auditorium/course_room/10012/ 第一讲主要是对机器学习的概念介绍，总结如下： 机器学习定义：机器学习是一系列【能够自动从已知数据里检测出模式（规律），并使用该模式对未来数据的模式（规律）去做预测，用以支持 阅读全文
posted @ 2021-02-11 11:41 公鸡不下蛋 阅读(306) 评论(0) 推荐(0)
SparkSQL常用API总结
摘要：SparkSQL常用API总结 读取数据 文件读取 #本地文件读取 #创建SparkSession val spark=SparkSession.builder() .appName("RW") .master("local[6]") #本地运行 .getOrCreate() #隐式转换导入，Dat 阅读全文
posted @ 2021-02-07 23:45 公鸡不下蛋 阅读(1810) 评论(0) 推荐(0)
SparkSQL学习总结
摘要：SparkSQL 创建引用入口 val spark=SparkSession.builder() .master("local[6]") #spark://host:port .appName("PM") .getOrCreate() 读取数据 spark.read .option("header" 阅读全文
posted @ 2021-02-06 16:23 公鸡不下蛋 阅读(177) 评论(0) 推荐(0)
Spark-Shell编程
摘要：Spark-Shell编程 进入Spark-shell模式 bin/spark-shell --master local[6] #本地运行 WordCount案例 读取文件 val rdd1=sc.textFile("file:///export/wordcount.txt") #读取本地文件 va 阅读全文
posted @ 2021-02-03 18:57 公鸡不下蛋 阅读(202) 评论(0) 推荐(0)
Spark环境配置
摘要：Spark环境配置 spark-env.sh #JAVA_HOME export JAVA_HOME=/export/servers/jdk1.8.0_271 #Spark Master Address #export SPARK_MASTER_HOME=node01 export SPARK_MA 阅读全文
posted @ 2021-02-03 17:02 公鸡不下蛋 阅读(163) 评论(0) 推荐(0)
Hive学习总结
摘要：Hive学习总结 环境配置 本人用的是mysql存储hive元数据，需要提前下载mysql hive-env.sh # Set HADOOP_HOME to point to a specific hadoop install directory HADOOP_HOME=/export/server 阅读全文
posted @ 2021-02-02 23:08 公鸡不下蛋 阅读(117) 评论(0) 推荐(0)
MapReduce学习总结
摘要：MapReduce计算过程 全流程 文件读取阶段 MapReduce默认是Text读取方式，即一行一行读取文本内容，以读取数据的偏移量，每行文本内容组成”KEY-VALUE“键值对输送给下一阶段。 PS：如果指定一个文件夹，则会读取文件夹下所有文件；如果指定文件，则只会读取此文件。 Map阶段 在M 阅读全文
posted @ 2021-02-02 23:02 公鸡不下蛋 阅读(538) 评论(0) 推荐(0)