摘要： 记录一下基础数据类型的操作补充、编码知识补充、练习部分。 方法补充 补充下基础数据类型有点奇技淫巧的操作。 str 主要有capitalize、swapcase、title、center、find、index等方法。 tuple 元祖中，如果只有一个元素，并且没有逗号，那就不是元祖，而是对应数据类型 阅读全文

摘要： 记录下和kafka相关的生产者和消费者，文中很多理解参考文末博文、书籍还有某前辈。 生产者 包含原理和代码两部分。 原理相关 如果要写生产者代码，需要先了解其发送的大致过程，即消息经历了什么才存储到对应topic的对应分区，大致如下。 （1）执行生产者代码后，会在JVM中启动一个producer，它 阅读全文

摘要： 记录下和kafka相关的Message、日志文件、索引文件、consumer记录消费的offset相关内容，文中很多理解参考文末博文、书籍还有前辈。 kafka中的消息 kafka中的消息Message，在V1版本中是如下部分组成，主要关系key和value。 （1）key：当需要将消息写入到某个t 阅读全文

摘要： 记录下和kafka相关的概念原理以及常用工具，文中很多理解参考文末博文、书籍还有前辈。 kafka特性 kafka是由领英(LinkedIn)提供给Apache，是一个消息引擎，现在发展成为还可以进行流处理（kafka streams）的一个平台，以下是它的架构图。 （1）用的是发布 订阅模式，多个 阅读全文

摘要： 记录下python中is、id、==的用法场景、代码块、深浅copy和set集合的知识。 is id == is：判断的是内存地址是否相同。 id：获取内存地址。 ==：比较的是值是否相等。 # id() 获取内存地址 print(' id() 获取内存地址 ') name = 'messi' ag 阅读全文

摘要： 接下来记录一下字典和列表练习相关的内容。 数据类型 python中有可变和不可变数据类型，如下 （1）可变类型：list、dict、set（集合，后面补充） （2）不可变类型：int、bool、str、tuple 字典 基本概念 字典(dict)，是可变数据类型，跟前面学的列表一样，也是容器型数据类 阅读全文

摘要： 记录一下对CAP的理解，CAP理论是分布式系统的基本理论，已得到证明，分布式系统最多只能满足其中的两个。 CAP基本概念 CAP是三个特性关键字的简写。 （1）C：Consistency，一致性 （2）A：Availability，可用性 （3）P：Partition tolerance，分区容忍性 阅读全文

摘要： 记录一下元祖、列表和Range相关的知识。 列表 如果要表示多个事物，可以使用列表，它是一个容器型的数据类型，可以存储大量的数据，而且是任意类型的数据。对应java中就是数组，但是java数组的数据类型声明后必须一致，而python中列表的数据类型可以不一致。 公共操作 列表公共的操作方法可以参考字 阅读全文

摘要： kafka主要是由scala写，其源码质量高，考虑到新版本提交人员的水平高低不同，对阅读源码不太好，因此选择早期的0.10.1版本。下面记录一下搭建kafka源码阅读环境，后面使用。 搭建的基本环境： OS：Mac(10.12.x)； JDK：1.8.0_191； Scala JDK：2.11.7； 阅读全文

摘要： 记录一下spark RDD的基本操作，有Transformation、Action和Controller。 （1）Transformation：属于懒操作算子，不会真正的执行RDD处理计算。 （2）Action：执行它的方法才会真正触发RDD处理计算。 （3）Controller控制：persist 阅读全文