上一页 1 ··· 3 4 5 6 7 8 下一页
摘要: 经常思考一个问题,为什么我们需要分布式?很大程度或许是不得已而为之。如果摩尔定律不会失效,如果通过低成本的硬件就能解决互联网日益增长的计算存储需求,是不是我们也就不需要分布式了。 过去的二三十年,是一场软件工程师们自我拯救的,浩浩荡荡的革命。分布式技术的发展,深刻地改变了我们编程的模式,改变了我们思 阅读全文
posted @ 2020-06-05 17:30 奈学教育 阅读(308) 评论(0) 推荐(0)
摘要: 小灰工作3年了,一直在一家初创公司做大数据架构师,最近几次大厂的面试经历都百般不顺,小灰心如死灰,想着如果一直跳槽无望,只能跟着时下最火的地摊儿大军一起去出摊儿谋生了。 被问到了为什么要使用 Kafka,有哪种场景下需要使用 JMS,小灰一脸问号。工作几年来,接触了 Kafka,Elasticsea 阅读全文
posted @ 2020-06-05 12:12 奈学教育 阅读(224) 评论(0) 推荐(0)
摘要: 分布式一致性 分布式场景下,多个服务同时对服务一个流程,比如电商下单场景,需要支付服务进行支付、库存服务扣减库存、订单服务进行订单生成、物流服务更新物流信息等。如果某一个服务执行失败,或者网络不通引起的请求丢失,那么整个系统可能出现数据不一致的原因。 上述场景就是分布式一致性问题,追根到底,分布式一 阅读全文
posted @ 2020-06-05 10:43 奈学教育 阅读(337) 评论(0) 推荐(0)
摘要: 5G时代,业务数据越来越丰富,业务使用MySQL数据库作为后台存储,存储引擎使用InnoDB,会带来哪些挑战?如何针对公司业务特点及MySQL数据库特性,制定若干数据库使用规范供一线RD在设计业务时参考部分内容要求强制执行。本文从介绍MySQL相关关键基础架构,并结合实际案例介绍表和索引的设计技巧, 阅读全文
posted @ 2020-06-04 17:38 奈学教育 阅读(253) 评论(0) 推荐(0)
摘要: 今天给大家分享一个大数据里面很火的技术——Kafka,Kafka 是一个分布式的消息系统,其高性能在圈内很出名。本人阅读过多个大数据生态的开源技术的源码,个人感觉 Kafka 的源码质量是比较高的一个,如果有同学感兴趣的话,可以拿来阅读一下。网上也有不少的文章分析 Kafka 的性能为什么那么好,但 阅读全文
posted @ 2020-06-04 16:22 奈学教育 阅读(612) 评论(0) 推荐(0)
摘要: 2PC必须注意的问题 咱们上文介绍了分布式事务的常见方案、类型划分、2PC的起源和流程。但是不幸的是2PC还是存在几个问题: 1、全流程的同步阻塞:不管是第一阶段还是第二阶段,所有参与节点都是事务阻塞型。当参与者占有公共资源时,其他第三方访问公共资源可能不得不处于阻塞状态。 2、TM单点故障:由于全 阅读全文
posted @ 2020-06-04 11:40 奈学教育 阅读(377) 评论(0) 推荐(0)
摘要: 本篇文章将从贝叶斯公式出发,探究贝叶斯到底是啥,以及其在认知层面的巨大作用。不过据说每出现 1 个公式,文章阅读将下降 1/3。 华为大佬说:人工智能就是统计学。在我眼中,贝叶斯公式就是统计学走向机器学习的起点。 贝叶斯公式 贝叶斯定理(Bayes’s Rule):如果有k个相互独立事件 A1,A2 阅读全文
posted @ 2020-06-03 19:02 奈学教育 阅读(1144) 评论(0) 推荐(0)
摘要: Kafka 是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码,感觉 Kafka 的源码是其中质量比较上乘的一个,这得益于作者高超的编码水平和高超的架构设计能力。 Kafka 的核心源码分为两部分:客户端源码和服务端源码,客户端 阅读全文
posted @ 2020-06-03 17:04 奈学教育 阅读(335) 评论(0) 推荐(0)
摘要: 经常有大数据工程师问我,自己想往大数据架构师方向发展,问我应该怎么努力! 其实,蹲上架构师的坑需要的是更高层次的开发构架设计能力。这时候,架构师技术能力的强弱、素质的高低直接关乎了软件项目的成败!所以,架构师要对开发技术非常非常了解,脑海中要有一个体系! 多一点真诚,少一点套路!这里直接送给大家超全 阅读全文
posted @ 2020-06-03 15:29 奈学教育 阅读(449) 评论(0) 推荐(0)
摘要: 首先准备一个hadoop源码包,我选择的hadoop版本是:hadoop-2.7.7-src.tar.gz,在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt,这其中说明了编译hadoop所需要的一些编译环境相关的东西。不同的hadoop版本的要求都不一样,对应的版本 阅读全文
posted @ 2020-06-03 12:17 奈学教育 阅读(266) 评论(0) 推荐(0)
上一页 1 ··· 3 4 5 6 7 8 下一页