钻研spark

摘要： 0 人工智能 机器学习 模式识别 数据挖掘 CV IR NLP 语音识别 人工智能可以看做一个产品词汇，或者科普词汇，核心就是机器学习 机器学习：监督学习 + 非监督学习 + 强化学习 监督学习 = 分类 + 回归 目前最为重要 非监督学习 = 聚类 + 降维 （数据的预处理） 强化学习 = sar 阅读全文

摘要： 反欺诈的核心是人，教你如何用知识图谱识别欺诈行为 通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 1. 什么是知识图谱？ 知识图谱本质上是语义网络，是一种基于图的数据结构 阅读全文

摘要： 1 选择正确的transaction 遇到groupByKey().map(), 替换为reduceByKey() 2 控制shuffle的次数 3 调试并发 阅读全文

摘要： 1 使用Kryo自定义序列化：kryo的性能和压缩率都比java默认的序列化算法高10倍以上,如下为使用方法，如果声明RDD为A类或者B类，在shuffle中会提升运行速度 2 内存调优： executor上的内存会划分成两部分：数据存储和执行计算，执行计算的内存会抢占数据存储的内存. spark. 阅读全文

摘要： 1）jsp -l 列举jvm进程 2）jstat -gc id 250 20 查看jvm进程id的内存使用，列举20次每250ms列举一次 3）jinfo -flag CMSInitiatingOccupancyFraction id 4）jmap 5）jhat 6）jstack 阅读全文

摘要： 1 如何判断对象的生命周期已经结束 java中引用的类型： 1）强引用： String str = new String("abc"); 一个对象被强引用引用的时候，无论何时都不会被释放 2）弱引用 SoftReference<String> softRef=new SoftReference<St 阅读全文

摘要： Java 和 C++之间有一堵墙，墙里的人想出来，墙外的人想进去，这堵墙就是内存分配与垃圾回收（说实话，之前主要用c++，从来不想进去，在美国的一家小公司要用java，不进去也不行了） 1 内存区域的划分，java内存区域的划分远比c++要复杂的多， c++ 中也就分成： 栈 堆 代码区域 数据区域 阅读全文

摘要： 前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、 流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用 Spark。大多数 阅读全文

摘要： Spark的Broadcast和Accumulator很重要，在实际的企业级开发环境中一般会使用Broadcast和Accumulator。Broadcast和Accumulator和RDD是Spark中并列的三大基础数据结构。大家谈Spark的时候首先谈RDD，RDD是一个并行的数据，关注在jvm 阅读全文

摘要： 0前言： 老齐的这本书写的平易近人，书中内容简单明了，文笔诙谐流畅，确实是一本不错的python入门书籍，在这里我说一些自己的情况，我是06年上大学学习计算机的，由于中学时候受老师上网有毒言论的影响，几乎就没碰过电脑，所以大学学计算机的时候，基本上就只知道开机，关机这些操作。经过4年大学本科的计算机 阅读全文