随笔分类 - 福大大架构师每日一题
摘要：福哥答案2020-08-31： HTTP1.0与HTTP1.1的主要区别 1.长连接HTTP1.0：需要使用keep-alive参数来告知服务器端要建立一个长连接。HTTP1.1：默认支持长连接。2.消息传递HTTP1.0：允许即使有Body也不用Content-Length，可以用断开连接的方式表
阅读全文
摘要：福哥答案2020-08-30： 1.递归算法左节点子函数返回值不空，右节点子函数返回值为空，返回左节点。左节点子函数返回值为空，右节点子函数返回值不空，返回右节点。左节点子函数返回值不空，右节点子函数返回值不空，返回当前节点。复杂度分析：时间复杂度 O(N) ： 其中 N 为二叉树节点数；最差情况下
阅读全文
摘要：福哥答案2020-08-29： 1.根本区别进程：资源调度最小单位。线程：CPU调度最小单位。 2.地址空间进程：进程有自己独立的地址空间，每启动一个进程，系统都会为其分配地址空间，建立数据表来维护代码段、堆栈段和数据段。线程：线程没有独立的地址空间，同一进程的线程共享本进程的地址空间。 3.内存和
阅读全文
摘要：福哥答案2020-08-28： 1.边界网关协议（BGP）是运行于 TCP 上的一种自治系统的路由协议。 BGP 是唯一一个用来处理像因特网大小的网络的协议，也是唯一能够妥善处理好不相关路由域间的多路连接的协议。 BGP 构建在 EGP 的经验之上。 BGP 系统的主要功能是和其他的 BGP 系统交
阅读全文
摘要：福哥答案2020-08-27： 此答案来自qq群巨佬：openstack是个体系一个完整的方案系统 基于虚拟机 docker只是一个内核上特殊模式跑与其他系统进程隔离的进程的软件方案真正与docker 同级别的是虚拟机 而不是openstack。 跟openstack同一级别的 是k8s或者dock
阅读全文
摘要：福哥答案2020-08-26： 方法 1：迭代算法从根节点开始，每次迭代弹出当前栈顶元素，并将其孩子节点压入栈中，先压右孩子再压左孩子。在这个算法中，输出到最终结果的顺序按照 Top->Bottom 和 Left->Right，符合前序遍历的顺序。 算法复杂度时间复杂度：访问每个节点恰好一次，时间复
阅读全文
摘要：福哥答案2020-08-25： 布隆过滤器：哈希+位图。布隆过滤器重要的三个公式1.假设数据量为n，预期的失误率为p（布隆过滤器大小和每个样本的大小无关）。2.根据n和p，算出BloomFilter一共需要多少个bit位，向上取整，记为m。3.根据m和n，算出BloomFilter需要多少个哈希函数
阅读全文
摘要：福哥答案2020-08-24：[知乎答案](https://www.zhihu.com/question/417040766)1.小文件：小文件是指文件大小明显小于 HDFS 上块（block）大小（默认64MB，在Hadoop2.x中默认为128MB）的文件。 2.小文件问题：HDFS的小文件问题
阅读全文
摘要：福哥答案2020-08-23： 1.地址区别http：http://开头。https：https://开头。 2.默认端口区别http：端口80。https：端口443。 3.数据传输区别http：明文。https：SSL/TLS协议加密。 4.Chrome浏览器访问区别http：地址栏显示感叹号图
阅读全文
摘要：福哥答案2020-08-22： select，poll，epoll 都是 操作系统实现 IO 多路复用的机制。 我们知道，I/O 多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是 读就绪或者写就绪），能够通知程序进行相应的读写操作。那么这三种机制有什 么区别呢。 1、支持一个进
阅读全文
摘要：福哥答案2020-08-21： 福哥口诀法：阻非复信异（阻塞、非阻塞、多路复用、信号驱动、异步） [知乎答案](https://www.zhihu.com/question/416128059)操作系统上，分为 5 种：1.阻塞IO（blocking IO）2.非阻塞IO（non-blocking
阅读全文
摘要：福哥答案2020-08-20： 1.golang的协程是基于gpm机制，是可以多核多线程的。Python的协程是eventloop模型（IO多路复用技术）实现，协程是严格的 1:N 关系，也就是一个线程对应了多个协程。虽然可以实现异步I/O，但是不能有效利用多核(GIL)。2.golang用go f
阅读全文
摘要：福哥答案2020-08-19： 福哥口诀法：校(jiao)序确重拥流连（tcp可靠性保障机制：校验、序号、确认、重传、拥塞、流量、连接）校验：数据是否正确。序号：对数据编号seq。确认：ACK。重传：超时重传和冗余ACK重传。拥塞控制：慢启动（慢开始）、拥塞避免、快重传、快恢复。流量控制：根据接收端
阅读全文
摘要：福哥答案2020-08-18：[来自【MapReduce执行过程及运行原理详解】 答案](https://www.panziye.com/bigdata/625.html)MapReduce执行的4个阶段，分别为Split阶段—> Map阶段 —> Shuffle阶段 —> Reduce阶段。***
阅读全文
摘要：福哥答案2020-08-17：数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。 数据倾斜是指：mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个
阅读全文
摘要：福哥答案2020-08-16： [此答案【来自华为云社区】的【阿刚】](https://bbs.huaweicloud.com/blogs/147398) 一 问题背景项目中遇到大数据任务执行时间比较长，需要进行优化，使得大数据的任务执行时间优化至客户可以接受的时间。 二 原因分析l 业务场景分析本
阅读全文
摘要：福哥答案2020-08-16：[知乎答案](https://www.zhihu.com/question/414367341)1.数据任务执行过慢，速度不能满足报表需求，例如每小时的报表，执行时间超过1小时了，第二小时的报表任务又来了。2.占用过多资源，跑这个任务的时候，整个集群的资源全被吃掉了，或
阅读全文
摘要：福哥答案2020-08-14： [知乎答案](https://www.zhihu.com/question/414130855) 最基础的是 crontab 定时任务。考虑到分布式分片定时任务和高可用，可以用elastic-job这样的框架。但是这样的框架无法处理复杂的任务依赖关系。大数据处理框架一
阅读全文
摘要：福哥答案2020-08-13： 该项目包括以下模块：1.Common(公共工具)支持其他Hadoop模块的公共工具。 2.HDFS（Hadoop分布式文件系统）提供对应用程序数据的高吞吐量访问的分布式文件系统。 3.Mapreduce（分布式计算框架，地图还原）一个基于纱线的大数据集并行处理系统。
阅读全文
摘要：福哥答案2020-08-12： [知乎答案](https://www.zhihu.com/question/413630055/answer/1402319273)一般都是分 ODS -> DW -> APP：ODS（Operational Data Store）就是将各种数据源的数据，经过清洗整理
阅读全文
浙公网安备 33010602011771号