大数据

非常久没有来写博客了,忙于工作,已经不再公网上发总结非常久了。

近些年来大数据非常火。从云開始,云过后就是大数据。两者有一定的关系。

大数据在于数据量之大,关系复杂,有人总结为几条特性,这里不列举。

眼下仅仅是个开篇,開始继续这里的生涯。

大数据依赖于底层的分布式架构。执行计算的拆分。更加在于深度学习的升温, 机器学习、推荐技术在越来越多的互联网公司得到重视。 非常多底层的数据工作跟这相关,终于变现的能力也非常大层度依赖于模型,因此有商业利益的诱导。致使很多其它的企业注重大数据。

在数据层面我的理解例如以下:

数据工厂:存储大量的数据。主要包含日志行为。

数据关联:引入外部数据,将其与本公司的数据打通关联,发现很多其它价值。 (数据越多,越能充分利用数据规律,越能挖掘出更有价值的东西)

数据清洗:将数据整理成结构化的形式,或者抽取出更加清洁的能源形式。

数据利用:主要表现为在线使用,广告触发、推荐排序等。

当然,当下大数据的算法重镇-- 深度学习,也是一个桥头堡。兵家必争之地。 在海量数据时代,传统人工特征+机器学习的方式发展到瓶颈。深度学习更加側重用无监督的发现价值。当然各家公司争相推广,甚至引出**大脑作为宣传,也是包装精美的推销客户大量投钱的利器。

posted @ 2017-05-22 17:09  wzzkaifa  阅读(134)  评论(0编辑  收藏  举报