Fork me on GitHub

2017年1月8日

摘要: 并发集合 并发集合 1 为什么使用并发集合? 原因主要有以下几点: System.Collections和System.Collections.Generic名称空间中所提供的经典列表、集合和数组都不是线程安全的,若无同步机制,他们不适合于接受并发的指令来添加和删除元素。 在并发代码中使用上述经典集 阅读全文
posted @ 2017-01-08 21:15 HackerVirus 阅读(3696) 评论(2) 推荐(1)
摘要: Python中的多进程与多线程(一) 一、背景 最近在Azkaban的测试工作中,需要在测试环境下模拟线上的调度场景进行稳定性测试。故而重操python旧业,通过python编写脚本来构造类似线上的调度场景。在脚本编写过程中,碰到这样一个需求:要在测试环境创建10000个作业流。 最开始的想法是在一 阅读全文
posted @ 2017-01-08 21:10 HackerVirus 阅读(351) 评论(0) 推荐(0)
摘要: 开发编译器 引言 最近刚刚用python写完了一个解析protobuf文件的简单编译器,深感ply实现词法分析和语法分析的简洁方便。乘着余热未过,头脑清醒,记下一点总结和心得,方便各位pythoner参考使用。 ply使用 简介 如果你不是从事编译器或者解析器的开发工作,你可能从未听说过ply。pl 阅读全文
posted @ 2017-01-08 01:28 HackerVirus 阅读(608) 评论(0) 推荐(0)
摘要: [APUE]进程控制(上) 一、进程标识 进程ID 0是调度进程,常常被称为交换进程(swapper)。该进程并不执行任何磁盘上的程序--它是内核的一部分,因此也被称为系统进程。进程ID 1是init进程,在自举(bootstrapping)过程结束时由内核调用。该进程的程序文件在UNIX的早期版本 阅读全文
posted @ 2017-01-08 01:23 HackerVirus 阅读(416) 评论(0) 推荐(0)
摘要: 微服务架构·基础篇 看到最近“微服务架构”这个概念这么火,作为一个积极上进的程序猿,成小胖忍不住想要学习学习。而架构师老王(不是隔壁老王)最近刚好在做公司基础服务的微服务化研究和落地,对此深有研究。 于是成小胖马上屁颠屁颠的跑过去向老王请教:“王哥,我看微服务架构这么火,我也想学,您给我讲讲啥是微服 阅读全文
posted @ 2017-01-08 01:11 HackerVirus 阅读(4156) 评论(0) 推荐(0)
摘要: ExceptionHandlerMiddleware中间件如何呈现“定制化错误页面” DeveloperExceptionPageMiddleware中间件利用呈现出来的错误页面实现抛出异常和当前请求的详细信息以辅助开发人员更好地进行纠错诊断工作,而ExceptionHandlerMiddlewar 阅读全文
posted @ 2017-01-08 00:58 HackerVirus 阅读(1861) 评论(1) 推荐(0)

2017年1月6日

摘要: 大数据实际应用及业务架构 大数据实际应用及业务架构 一、外部数据源《集团内部数据》客户信息产品信息供应商信息《第三方数据》公众号信息BAT数据电信数据营销知识库ERPAppAPI 二、数据采集数据实时采集器(外部数据进入)从调查、第一步、第二部、。。。成交。。。会员经营等阶段收集数据 三、大数据存储 阅读全文
posted @ 2017-01-06 07:34 HackerVirus 阅读(972) 评论(0) 推荐(0)
摘要: Hadoop 2.x 生态系统及技术架构图 一、负责收集数据的工具:Sqoop(关系型数据导入Hadoop)Flume(日志数据导入Hadoop,支持数据源广泛)Kafka(支持数据源有限,但吞吐大) 二、负责存储数据的工具:HBaseMongoDBCassandraAccumulo MySqlOr 阅读全文
posted @ 2017-01-06 07:32 HackerVirus 阅读(282) 评论(0) 推荐(0)

2017年1月5日

摘要: Paxos算法原理与推导 Paxos算法在分布式领域具有非常重要的地位。但是Paxos算法有两个比较明显的缺点:1.难以理解 2.工程实现更难。 网上有很多讲解Paxos算法的文章,但是质量参差不齐。看了很多关于Paxos的资料后发现,学习Paxos最好的资料是论文《Paxos Made Simpl 阅读全文
posted @ 2017-01-05 23:04 HackerVirus 阅读(269) 评论(0) 推荐(0)
摘要: 一个完整的购物车 阅读目录 前言 回顾 梳理 实现 结语 一、前言 之前的文章中已经涉及到了购买商品加入购物车,购物车内购物项的金额计算等功能。本篇准备把剩下的购物车的基本概念一次处理完。 二、回顾 在动手之前我对之前的购买上下文内对象做了一次回顾。先梳理一下已经在上下文内出现的领域对象,如图1所示 阅读全文
posted @ 2017-01-05 22:53 HackerVirus 阅读(455) 评论(0) 推荐(0)