hubophp

摘要： 1.在我们学习任何技术前，我们应该搞清楚我们所学习的技术的应用场景，学习的意义在哪里、学习完之后能够帮我们解决什么样的问题，在实际业务场景中，它能发挥什么样的作用。 2.hbase能够做什么：hbase能够存储海量数据；并且准实时的查询。 3.hbase的应用场景：交通、金融、电商、电话信息（移动） 阅读全文

摘要： 1.hive就是MR；hbase大量数据存在hdfs，少量存在内存中。 2.开源的，非关系型数据库（Nosql），运行在hdfs系统之上，因此可以容错存储海量稀疏的数据。什么是稀疏的数据呢？有些字段是空的，你不能保证每个key的value都有数据。 3.hbase特性：面向列。 对于数据库存储分为2 阅读全文

摘要： 1 阅读全文

摘要： 1.hdfs的主：namenode，从是datanode。是两个不同的进程。主上除了有一个namenode之外，还有一个secondarynamenode，对于hdfs1.0来说，有三个组件：namenode、secondarynamenode、datanode。 hdfs最小的单元是block，一 阅读全文

摘要： php如何解决网站高并发和大流量的问题？ 高并发架构相关的概念： 并发：并发的访问，某个时间点，有多少个访问同时到来。 qps：每秒钟请求或查询的数量，在互联网领域，指每秒响应请求数（指HTTP请求）。 吞吐量：单位时间内处理的请求数量（通常由qps和并发数决定）。 响应时间：从请求发出到收到响应花 阅读全文

摘要： inputformat的两种功能：数据切分功能（data splits）、记录读取器（record reader），理论上来说，一个split和一个block的大小是一致的。 map是一个进程，把split中的数据读到内存，达到百分之80的时候，开始往磁盘上写数据（小数据，命名为spill.n），在 阅读全文

摘要： 1.怎么做推荐系统： 推荐系统架构：在一个公司，要做一个推荐系统，要分三层：a：第一层，offline层，线下层，对海量数据进行离线加工的，例如：mapreduce。b：第二层，nearline层，线下和在线夹着的，允许你的数据有延迟的，但是不要延迟太大，利用流式处理技术，对实时产生的数据做加工，如 阅读全文

摘要： 一./etc目录：/etc目录用于存放Linux/Unix系统的配置文件： /etc/sysconfig/network-scripts/ifcfg-eth0 配置网络环境，ip、网关等 /etc/init.d/network restart 环境重新启动 /etc/hosts /etc/sysco 阅读全文

摘要： 1、hadoop需要java的支持，所以安装hadoop需要安装java。 2、hadoop集群配置，需要多个linux环境。把master的linux镜像，复制，复制成另外两个slave的环境。复制的时候，一定要把环境处于挂起的状态。把另外两个镜像的文件夹的名字改一下，slave1和slave2。 阅读全文

摘要： 命令： 1.关闭防火墙：/etc/init.d/iptables stop 查询防火墙：iptables -L 2.getenforce setenforce 3.linux增加新标签页：curl+shift+t 4.重启我们的网络服务：/etc/init.d/network restart 5.l 阅读全文