摘要：1. server.py #!/usr/bin/env python # -*- encoding: utf-8 -*- ''' @Author: Victor @Date: 2020/7/31 @function: '' ''' from twisted.web import xmlrpc, se 阅读全文

摘要：Zookeeper服务注册与发现原理浅析 Zookeeper是一种分布式协调服务，在分布式应用中，主要用来实现分布式服务的注册与发现以及分布式锁。Zookeeper实现服务注册与发现，主要应用的是Zookeeper的Znode数据模型和Watcher机制。 1. zookeeper数据模型 Zook 阅读全文

摘要：pykafka生产者模型 #! /usr/bin/env python # -*- coding: utf-8 -*- # __author__ = "Victor" # Date: 2020/6/18 import sys import json from pykafka import Kafka 阅读全文

摘要：hadoop的优化分为hdfs的优化和MapReduce的优化； HDFS优化 问题描述：hdfs小文件太多了 问题影响：HDFS上每个文件都要在NameNode上建立一个索引，这个索引的大小约为150byte，也就是0.15kb， 这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用 阅读全文