福大大架构师每日一题

摘要： 福哥答案2020-08-21： 福哥口诀法：阻非复信异（阻塞、非阻塞、多路复用、信号驱动、异步） [知乎答案](https://www.zhihu.com/question/416128059)操作系统上，分为 5 种：1.阻塞IO（blocking IO）2.非阻塞IO（non-blocking 阅读全文

摘要： 福哥答案2020-08-20： 1.golang的协程是基于gpm机制，是可以多核多线程的。Python的协程是eventloop模型（IO多路复用技术）实现，协程是严格的 1:N 关系，也就是一个线程对应了多个协程。虽然可以实现异步I/O，但是不能有效利用多核(GIL)。2.golang用go f 阅读全文

摘要： 福哥答案2020-08-19： 福哥口诀法：校(jiao)序确重拥流连（tcp可靠性保障机制：校验、序号、确认、重传、拥塞、流量、连接）校验：数据是否正确。序号：对数据编号seq。确认：ACK。重传：超时重传和冗余ACK重传。拥塞控制：慢启动（慢开始）、拥塞避免、快重传、快恢复。流量控制：根据接收端 阅读全文

摘要： 福哥答案2020-08-18：[来自【MapReduce执行过程及运行原理详解】 答案](https://www.panziye.com/bigdata/625.html)MapReduce执行的4个阶段，分别为Split阶段—> Map阶段 —> Shuffle阶段 —> Reduce阶段。*** 阅读全文

摘要： 福哥答案2020-08-17：数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。 数据倾斜是指：mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个 阅读全文

摘要： 福哥答案2020-08-16： [此答案【来自华为云社区】的【阿刚】](https://bbs.huaweicloud.com/blogs/147398) 一 问题背景项目中遇到大数据任务执行时间比较长，需要进行优化，使得大数据的任务执行时间优化至客户可以接受的时间。 二 原因分析l 业务场景分析本 阅读全文

摘要： 福哥答案2020-08-16：[知乎答案](https://www.zhihu.com/question/414367341)1.数据任务执行过慢，速度不能满足报表需求，例如每小时的报表，执行时间超过1小时了，第二小时的报表任务又来了。2.占用过多资源，跑这个任务的时候，整个集群的资源全被吃掉了，或 阅读全文

摘要： 福哥答案2020-08-14： [知乎答案](https://www.zhihu.com/question/414130855) 最基础的是 crontab 定时任务。考虑到分布式分片定时任务和高可用，可以用elastic-job这样的框架。但是这样的框架无法处理复杂的任务依赖关系。大数据处理框架一 阅读全文

摘要： 福哥答案2020-08-13： 该项目包括以下模块：1.Common(公共工具)支持其他Hadoop模块的公共工具。 2.HDFS（Hadoop分布式文件系统）提供对应用程序数据的高吞吐量访问的分布式文件系统。 3.Mapreduce（分布式计算框架，地图还原）一个基于纱线的大数据集并行处理系统。 阅读全文

摘要： 福哥答案2020-08-12： [知乎答案](https://www.zhihu.com/question/413630055/answer/1402319273)一般都是分 ODS -> DW -> APP：ODS（Operational Data Store）就是将各种数据源的数据，经过清洗整理 阅读全文