摘要:有了Windows Terminal 你再也不需要其他任何终端了…… 下载 直接到Windows 10 自带的应用商店下载安装。参考: https://github.com/Microsoft/Terminal 配置ssh 参考: https://blog.csdn.net/u012814856/a 阅读全文
posted @ 2020-05-23 20:52 黑客悟理 阅读(1821) 评论(0) 推荐(0) 编辑
摘要:"" 生产环境的 Spark Job 都是跑在集群上的,毕竟 Spark 为大数据而生,海量的数据处理必须依靠集群。但是在开发Spark的的时候,不可避免我们要在本地进行一些开发和测试工作,所以如何在本地用好Spark也十分重要,下面给大家分享一些经验。 首先你需要在本机上安装好了Java,Scal 阅读全文
posted @ 2020-05-21 22:06 黑客悟理 阅读(368) 评论(0) 推荐(0) 编辑
摘要:什么是 Bucketing Bucketing 就是利用 buckets(按列进行分桶)来决定数据分区(partition)的一种优化技术,它可以帮助在计算中避免数据交换(avoid data shuffle)。并行计算的时候shuffle常常会耗费非常多的时间和资源. Bucketing 的基本原 阅读全文
posted @ 2020-05-15 22:25 黑客悟理 阅读(685) 评论(0) 推荐(1) 编辑
摘要:以前用Wordpress搭建过一个博客网站,Wordpress虽然安装简单,功能强大,但是对于个人建站来说有点复杂了。最近发现用Hexo建站很流行,于是将网站从Wordpress迁移到了Hexo。 Hexo是如何工作的? 首先,Hexo是一个搭建静态网站的工具,所以Hexo生成的文章页面都是静态页面 阅读全文
posted @ 2020-05-04 17:31 黑客悟理 阅读(116) 评论(0) 推荐(0) 编辑
摘要:在互联网时代,相信几乎每个人都听说过「奥卡姆剃刀定律」,但是你真的懂它的意思吗?更进一步,你真的知道在实际中如何运用奥卡姆剃刀定律吗? 我们先看一下百度百科对它的定义: 奥卡姆剃刀定律(Occam's Razor, Ockham's Razor)又称“奥康的剃刀”,它是由14世纪英格兰的逻辑学家、圣 阅读全文
posted @ 2020-04-29 21:37 黑客悟理 阅读(133) 评论(0) 推荐(0) 编辑
摘要:最近几年人工智能成为极其热门的概念和话题,可以说彻底出圈了。但人工智能的概念在1955年就提出来了,可以说非常古老。我在上小学的时候《科学》课本上就有人工智能的概念介绍,至今还有印象,但那些年AI正处于“寒冬”,很少在其他地方见到这个概念。现在人工智能这么热,普通人容易从科幻电影和媒体宣传上来理解人 阅读全文
posted @ 2020-04-29 12:40 黑客悟理 阅读(406) 评论(0) 推荐(2) 编辑
摘要:本文将分两部分来介绍如何在IntelliJ IDEA中运行Java/Scala/Spark程序: 基本概念介绍 在IntelliJ IDEA中创建和运行java/scala/spark程序 基本概念介绍 IntelliJ IDEA 本文使用版本为: ideaIC 2020.1 IDEA 全称 Int 阅读全文
posted @ 2020-04-28 14:16 黑客悟理 阅读(815) 评论(0) 推荐(0) 编辑
摘要:AB测试的原理很简单,只用到了最简单的统计假设检验,但表面的简单通常都隐藏着陷阱,这一点没有经过实践的摸爬滚打是不容易看到的,今天我就把前人已经踩过的坑,一共15个,给大家分享一下。在分享之前,大家脑中一定要有个概念,AB测试虽然简单且强大,但是其成立是有前提的: 1. A组和B组的用户一定是要“随 阅读全文
posted @ 2020-04-24 21:27 黑客悟理 阅读(362) 评论(0) 推荐(0) 编辑
摘要:什么是AB测试? 通俗点理解, AB测试就是比较两个东西好坏的一套方法 ,这种A和B的比较在我们的生活和人生中非常常见,所以不难理解。具体到AB测试这个概念,它和我们比较哪个梨更大、比较哪个美女更漂亮、比较哪个工作更好之间有什么区别吗? 区别其实非常明显,从以下几个方面不难看出来: 领域不同:AB测 阅读全文
posted @ 2020-04-22 21:43 黑客悟理 阅读(529) 评论(0) 推荐(0) 编辑
摘要:机器学习的本质就是计算机从数据中学习知识,这一过程与人学习的过程十分相似,也正因此机器学习可以有效地帮助人们解决问题。 人的知识是怎么来呢?埃斯库罗斯说:“ 记忆是一切智慧之母”(《被缚的普罗米修斯》)。的确,没有记忆就没有智慧,我们所拥有的知识,大部分都是靠记忆得来的。所以学习的过程注定艰苦,不管 阅读全文
posted @ 2020-04-20 21:20 黑客悟理 阅读(95) 评论(0) 推荐(0) 编辑