卿哥聊技术

导航

 

2018年4月23日

摘要: 今天简单聊聊python的设计模式,GOF设计模式(c++)和Head first design pattern(Java)是两本设计模式的经典,基本可以照搬在python上面,但是你会发现python有很多它特有的东西,比如它并没有多个构造函数,相对应的它有classmethod,所以python 阅读全文
posted @ 2018-04-23 11:27 卿哥聊技术 阅读(397) 评论(0) 推荐(0) 编辑
 

2018年3月25日

摘要: 笔者的上一篇python文章阅读量不错,看来python爱好者很多,所以再写一篇,以飨读者。 先接着上一篇讲一个问题,下面这段code有没有问题? 运行时会发现: 原因是count在wrapper下面除非global,不然是不可见的,那么就没有初始化了。但是这是不能加global的,因为它不是glo 阅读全文
posted @ 2018-03-25 11:33 卿哥聊技术 阅读(157) 评论(0) 推荐(0) 编辑
 

2018年3月13日

摘要: 今天讲一些python中的高级用法,有助于大家更好的使用python这门语言。今天讲的这些知识是层层递进的关系,前面是后面的铺垫。 函数可变参数*args和**kwargs python支持固定参数,默认参数,也和很多其他语言一样支持可变参数,只不过python支持的可变参数分为两种,*args是t 阅读全文
posted @ 2018-03-13 11:44 卿哥聊技术 阅读(829) 评论(1) 推荐(1) 编辑
 

2018年3月4日

摘要: Spark是硅谷各大公司都在使用的当红炸子鸡,而且有愈来愈热的趋势,所以大家很有必要了解学习这门技术。本文其实是笔者深入浅出hadoop系列的第三篇,标题里把hadoop去掉了因为spark可以不依赖于Hadoop。Spark可以运行在多种持久化系统之上,比如HDFS, Amazon S3, Azu 阅读全文
posted @ 2018-03-04 13:18 卿哥聊技术 阅读(789) 评论(0) 推荐(0) 编辑
 

2018年2月28日

摘要: kubernetes简称k8s, 主要用途是automate deployment, scaling, and managment of containerized applications。是目前非常火的docker集群部署管理方案,适用于部署microservice架构。是google15年的经 阅读全文
posted @ 2018-02-28 14:20 卿哥聊技术 阅读(843) 评论(0) 推荐(0) 编辑
 

2018年2月17日

摘要: 平时总用hashmap,tree, set,vector,queue/stack/heap, linklist, graph,是不是觉得数据结构就那点东西。新年到,卿哥给大家分享点段位比较高的大数据专用数据结构--概率数据结构,让你不管是参与系统设计也好,平时和老板同事聊天也好,找工作面试也好都能让 阅读全文
posted @ 2018-02-17 11:29 卿哥聊技术 阅读(1474) 评论(1) 推荐(4) 编辑
 

2018年2月15日

摘要: 卿哥原创,转载请注明出处,谢谢 之前已经作出预告,那么今天就聊聊mapreduce,起源于Google的map reduce paper, 而后经历了mapreduce 1,和构建于yarn上的mapreduce 2,mapreduce1 除了提供一定的历史演变价值和了解一下mapreduce最初的 阅读全文
posted @ 2018-02-15 11:22 卿哥聊技术 阅读(1077) 评论(0) 推荐(0) 编辑
 

2018年2月6日

摘要: hadoop生态系统一直是大数据领域的热点,其中包括今天要聊的HDFS,和计划以后想聊的yarn, mapreduce, spark, hive, hbase, 已经聊过的zookeeper,等等。 今天主聊HDFS,hadoop distributed file system, 起源于Google 阅读全文
posted @ 2018-02-06 13:01 卿哥聊技术 阅读(1009) 评论(0) 推荐(2) 编辑
 

2018年1月30日

摘要: 原创,转载请注明出处 今天聊聊cassandra,里面用了不少分布式系统设计的经典算法比如consistent hashing, bloom filter, merkle tree, sstable, CAP trade off, replication, etc.(笔者已然泪流满面) 总之就是经典 阅读全文
posted @ 2018-01-30 12:31 卿哥聊技术 阅读(918) 评论(0) 推荐(4) 编辑
 

2018年1月22日

摘要: 我的博客均是原创,转载请注名出处 前言 zookeeper 在分布式系统中主要提供了consensus support, 即一致性协议实现。提起一致性协议,首先想到底是大名顶顶的paxos(E.g. google's chubby), 更新的是raft(e.g. etcd), zookeeper是在 阅读全文
posted @ 2018-01-22 11:33 卿哥聊技术 阅读(267) 评论(0) 推荐(0) 编辑