随笔分类 -  分布式处理大数据

摘要：当手头的服务器比较多的时候，需要合理规划一下服务器的使用。 1、首先看一下各个服务器的配置情况。当然每台服务器都是最新的，配置都是一样，那是最好的。但绝大多数的实际情况肯定不是这样理想。所以需要看一下服务器的硬件配置。主要关注CPU的核数、内存的容量。如果I/O没有特殊的，比如SSD，就可以视作一样 阅读全文

摘要：从这里开始，就开始接触使用分布式系统处理大数据了。在处理大数据之前，需要有一个场景，否则技术工具无法嵌入现实当中，价值就会降低。我碰到的场景应该还是比较具有普遍性，因此大家可以在我的场景里先玩一遍，熟悉一下流程和方法，然后加以改造，加载到自己的场景和环境中。 场景：在一个大型公司内部，终端和各个业务 阅读全文

摘要：针对大数据的特点，传统集中式处理已不能满足大数据的处理要求。因此，利用分布式处理对大数据的收集、ETL、计算、使用是必由之路。 本博不是什么技术大拿，只是记录在学习利用分布式处理大数据过程中的心得和踩过的坑，自娱自乐，也顺便众乐乐，欢迎大家批评指正相互撕逼，注意文明就好。 下图是一个学习过程中可能涉 阅读全文