zourui4271

软件架构入门

摘要：软件架构（software architecture）就是软件的基本结构。合适的架构是软件成功的最重要因素之一。大型软件公司通常有专门的架构师职位（architect），只有资深程序员才可以担任。 O'Reilly 出版过一本免费的小册子《Software Architecture Pattern 阅读全文

posted @ 2017-01-04 12:50 zourui4271 阅读(225) 评论(0) 推荐(0)

系统内部矛盾的解决思路

摘要：最近在项目里面遇到一个比较难以解决的问题，简单的说就是查询问题。某一张表的数据量比较大，很多业务都会根据条件来查询相关的数据，查询主要分为两类，一类是业务查询，能够根据指定的条件查询出相关的数据，数据量比较小，查询速度快，一类是后台查询，偏向数据分析，特点是查询耗时长，查询数据量比较大。由于大量阅读全文

posted @ 2016-12-27 09:24 zourui4271 阅读(240) 评论(0) 推荐(0)

分表分库一

摘要：在谈论数据库架构和数据库优化的时候，我们经常会听到“分库分表”、“分片”、“Sharding”…这样的关键词。让人感到高兴的是，这些朋友所服务的公司业务量正在（或者即将面临）高速增长，技术方面也面临着一些挑战。让人感到担忧的是，他们系统真的就需要“分库分表”了吗？“分库分表”有那么容易实践吗？为此，阅读全文

posted @ 2016-11-12 16:09 zourui4271 阅读(237) 评论(0) 推荐(0)

Hbase随笔2

摘要： Hbase是建立在HDFS上的分布式数据库，下图是Hbase表的模型： Hbase这个数据库其实和传统关系数据库还是有很多类似之处，而不是像mongodb，memcached以及redis完全脱离了表的概念，只不过hbase是以列为中心的数据库，而传统关系数据库则是以行为中心的数据库。不过hbase 阅读全文

posted @ 2016-11-06 08:54 zourui4271 阅读(141) 评论(0) 推荐(0)

Hbase随笔

摘要：大数据时代的数据量是超大规模的，传统的关系数据库已经很难存储和管理这些数据了，为了存储海量数据，我们有了HDFS，它可以把成千上万台服务器上的硬盘聚集成一块超级大的硬盘，为了让这些数据产生价值，我们有了mapreduce，它可以计算这个超大硬盘的数据，面对这么大的数据量我们还有一个迫切的需求那就是如阅读全文

posted @ 2016-11-06 08:45 zourui4271 阅读(159) 评论(0) 推荐(0)

vertica在电信的应用

摘要：本文介绍了什么 ´ 电信级大数据分析典型需求 ´ Vertica数据库特点及与其他数据库对比 ´ Vertica核心技术介绍 ´ 基于Vertica的典型分系统架构简介电信级大数据分析典型需求 ´ 海量数据存储：年分析数据量达到PB级 Counter数据：各网元收集的统计数据，可用于监控和测量网络阅读全文

posted @ 2016-11-05 09:52 zourui4271 阅读(2682) 评论(0) 推荐(0)

理解RESTful架构

摘要：越来越多的人开始意识到，网站即软件，而且是一种新型的软件。这种"互联网软件"采用客户端/服务器模式，建立在分布式体系上，通过互联网通信，具有高延时（high latency）、高并发等特点。网站开发，完全可以采用软件开发的模式。但是传统上，软件和网络是两个不同的领域，很少有交集；软件开发主要针对阅读全文

posted @ 2016-10-24 22:23 zourui4271 阅读(257) 评论(0) 推荐(0)

百分点刘译璟

摘要：接触大数据是我到百分点以后的事。我是在2009年7月2日加入百分点的，是公司成立的第二天，加入百分点完全是机缘巧合。在研究生阶段，每到假期我都会找一些兼职赚赚外快，做过一些的Web和桌面类型的应用，也有自然语言和机器学习方面的项目。2009年暑假，我在北大未名上看到了我们董事长发的百分点的招聘帖，简阅读全文

posted @ 2016-06-02 22:49 zourui4271 阅读(806) 评论(2) 推荐(0)

数据产品的简介

摘要：什么是数据产品简单来讲，就是以数据为主要自动化产出的产品形态。这里强调自动化产出概念，是为了区分像 Gartner 之类的数据研究咨询公司，显然，他们的报告也可以理解为以数据为主要产出的产品，但并不具备自动化产出的特性。明确了概念后，我们就可以对它拆分细化。从用户群体来区分，可以分为三类：1，企阅读全文

posted @ 2016-05-07 11:29 zourui4271 阅读(857) 评论(0) 推荐(0)

关于HIVE的数据模型介绍

摘要：（1）Hive数据库类似传统数据库的DataBase，在第三方数据库里实际是一张表。简单示例命令行 hive > create database test_database; （2）内部表 Hive的内部表与数据库中的Table在概念上是类似。每一个Table在Hive中都有一个相应的目录存储数据阅读全文

posted @ 2016-05-03 16:06 zourui4271 阅读(327) 评论(0) 推荐(0)

公告