摘要： 什么是分布式一致性？ 我们先来看一个例子： 我们有一个单节点node，这个节点可以是数据库，也可以是一台服务器，当client向node发送data时，X节点收到data，记录下来 由此可见对于单个节点，一致性是很容易实现的。 然而对于多个节点，我们如何来实现一致性，这就是分布式一致性的问题。 Ra 阅读全文

摘要： 问题：如何解决海量数据的运算？ 先从一张图简单的看下mapreduce的处理过程 MapReduce概述： MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函 阅读全文

摘要： 问题： 在近期开发的javaweb项目中，需要记录登录时的电脑ip地址和主机名，通过request.getRemoteAddr()和request.getRemoteHost()得到的值都是0:0:0:0:0:0:0:1。 原因： 0:0:0:0:0:0:0:1是属于ipv6，后来我又进行另一台电脑 阅读全文

摘要： Hive： hive不支持更改数据的操作，Hive基于数据仓库，提供静态数据的动态查询。其使用类SQL语言，底层经过编译转为MapReduce程序，在Hadoop上运行，数据存储在HDFS上。 HDFS: HDFS是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文 阅读全文

摘要： 本地模型运行 1/在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 输入输出数据可以放在本地路径下（c:/wc/srcdata/） 输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdat 阅读全文

摘要： 问题描述： hadoop在虚拟机中的linux系统下 在本地通过eclipse编写代码把本地文件上传至hadoop平台的指定目录 代码如下： 文件上传有更加简单的方法： 直接使用FileSystem的copyFromLocalFile方法 fs.copyFromLocalFile(new Path( 阅读全文

摘要： 问题描述： 在Linux系统下安装ActiveMQ，启动服务 正常启动后，通过浏览器进行访问 可以正常显示home页面，但是点击其他菜单，如Queues，Topics等，都会出现503错误，如图 问题原因： host文件中的机器名没有映射到IP地址127.0.0.1上 解决方法： 步骤一：先查看机器 阅读全文

摘要： 1、Nginx直接下载解压，有个nginx.exe文件，双击即开启Nginx服务（windows系统下）。默认是80端口。 若服务无法启动，考虑以下三方面问题： (1)端口号80是否被占用 (2)防火墙的设置 (3)nginx的路径中是否有中文字符若在Linux系统下，先解压nginx文件夹，然后进 阅读全文

摘要： Nginx可以配置代理多台服务器，当一台服务器宕机之后，仍能保持系统可用。 具体配置过程如下： 1. 在http节点下，添加upstream节点。 upstream linuxidc { server 10.0.6.108:7080; server 10.0.0.85:8980; } 2. 将ser 阅读全文

摘要： 要求： 输入一个复杂链表（每个节点中有节点值，以及两个指针，一个指向下一个节点，另一个特殊指针指向任意一个节点）。返回一个该链表的深度拷贝。 思路： 1、遍历该链表,复制每一个节点,插入到当前节点的后面.形成如下链表.1->1'->2->2'.... 2、将每个拷贝节点的随机指针域,指向原节点(即拷 阅读全文