摘要：
云栖君导读：人工智能研究这个领域是有一定门槛的。对于初学者来说，一般通常的做法是直接购买一些热门的书籍，比如“西瓜书”、“花书”、“xx天从入门到精通”、“xx天从入门到放弃”等等，但大多数书籍都是讲的基础知识，稍显乏味和枯燥，此外内容太深奥，初学者可能看一段时间就想放弃了。本文作者以过来人的身份将 阅读全文
摘要：
shuffle概览 一个spark的RDD有一组固定的分区组成，每个分区有一系列的记录组成。对于由窄依赖变换（例如map和filter）返回的RDD，会延续父RDD的分区信息，以pipeline的形式计算。每个对象仅依赖于父RDD中的单个对象。诸如coalesce之类的操作可能导致任务处理多个输入分 阅读全文
摘要：
来源：培训每日谈 （peixunmeiritan） 作 者：张立志，专注学习设计和课程开发 看了一篇文章，说《一个人靠不靠谱，就看这三件小事》，文中提到： 我所理解的靠谱就是你把这事交给他之后完全不用操心后续，因为你知道他肯定能落实，就算没办好，也能及时给你一个回馈，这就叫靠谱。 而文章认为，一个人 阅读全文
摘要：
今天知识星球球友，微信问浪尖了一个spark源码阅读中的类型限定问题。这个在spark源码很多处出现，所以今天浪尖就整理一下scala类型限定的内容。希望对大家有帮助。 scala类型参数要点 1. 非变 trait Queue[T] {}?这是非变情况。这种情况下，当类型S是类型A的子类型，则Qu 阅读全文
摘要：
想当年读大学时，那时毛片还叫毛片，现在有文明的叫法了，叫小电影或者爱情动作片。那时宿舍有位大神，喜欢看各种毛片，当我们纠结于毛片上的马赛克时，大神大手一挥说道：这算啥，阅尽天下毛片，心中自然无码！突然想到我们在学习spark时，也可以有这种精神，当我们能读懂spark源码时，spark的技术世界也就 阅读全文
摘要：
Spark技术学院是什么？ 主要是浪尖，前腾讯现阿里的大神一起搞的知识分享基地，旨在帮助大家由入门到精通spark，hbase，kafka大数据重要的框架，还有给入门小白指点入门方法，分享入门资料，对这种有经验的主要是解决问题，分享深层次的只是，比如最近浪尖在逐步分享源码视频教程。 当然，目前团队成 阅读全文
摘要：
这是个老生常谈的话题，大家是不是看到这个文章标题就快吐了，本来想着手写一些有技术深度的东西，但是看到太多童鞋卡在入门的门槛上，所以还是打算总结一下入门经验。这种标题真的真的在哪里都可以看得到，度娘一搜就是几火车皮，打开一看都是千篇一律的“workcount”、“quickstart”，但是这些对于初 阅读全文
摘要：
hbase1.0.0版本提供了一些让人激动的功能，并且，在不牺牲稳定性的前提下，引入了新的API。虽然 1.0.0 兼容旧版本的 API，不过还是应该尽早地来熟悉下新版API。并且了解下如何与当下正红的 Spark 结合，进行数据的写入与读取。鉴于国内外有关 HBase 1.0.0 新 API 的资 阅读全文
摘要：
?/ 为什么需要 Yarn？ /? Yarn?的全称是?Yet Anther Resource Negotiator（另一种资源协商者）。它作为 Hadoop?的一个组件，官方对它的定义是一个工作调度和集群资源管理的框架。 Yarn?最早出现于?Hadoop 0.23?分支中，0.23?分支是一个实 阅读全文
摘要：
Redis混合存储产品是阿里云自主研发的完全兼容Redis协议和特性的混合存储产品。 通过将部分冷数据存储到磁盘，在保证绝大部分访问性能不下降的基础上，大大降低了用户成本并突破了内存对Redis单实例数据量的限制。 其中，对冷热数据的识别和交换是混合存储产品性能的关键因素。 在Redis混合存储中， 阅读全文