少年努力吧 - 博客园

2017年4月13日

摘要：性能优化王道就是给更多资源！机器更多了，CPU更多了，内存更多了，性能和速度上的提升，是显而易见的。基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的spark作业之后，进行性能调优的时候，首先第一步，我觉得，就是要来调节最优的资源配置；在这个基础之上，如果说你的spar 阅读全文

posted @ 2017-04-13 08:28 少年努力吧阅读(5729) 评论(0) 推荐(1)

Spark数据本地化-->如何达到性能调优的目的

摘要： Spark数据本地化-->如何达到性能调优的目的 1.Spark数据的本地化：移动计算，而不是移动数据 2.Spark中的数据本地化级别： TaskSetManager 的 Locality Levels 分为以下五个级别： PROCESS_LOCAL NODE_LOCAL NO_PREF RACK 阅读全文

posted @ 2017-04-13 08:28 少年努力吧阅读(8928) 评论(0) 推荐(0)

Spark性能调优之合理设置并行度

摘要： Spark性能调优之合理设置并行度 1.Spark的并行度指的是什么？ spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！当分配完所能分配的最大资源了，然后对应资源去调节程序的并行度，如果并行度没有与资源相匹配，那么导致你分配下去的资源都浪费掉阅读全文

posted @ 2017-04-13 08:27 少年努力吧阅读(5878) 评论(0) 推荐(0)

Spark Core 资源调度与任务调度（standalone client 流程描述）

摘要： Spark Core 资源调度与任务调度（standalone client 流程描述） Spark集群启动：集群启动后，Worker会向Master汇报资源情况（实际上将Worker的资源写入到Master的HashSet数据机构中）一个 Worker 默认给一个 Application 启动阅读全文

posted @ 2017-04-13 08:26 少年努力吧阅读(593) 评论(0) 推荐(0)

2017年4月12日

linux中fork（）函数详解

摘要：一、fork入门知识一个进程，包括代码、数据和分配给进程的资源。fork（）函数通过系统调用创建一个与原来进程几乎完全相同的进程，也就是两个进程可以做完全相同的事，但如果初始参数或者传入的变量不同，两个进程也可以做不同的事。一个进程调用fork（）函数后，系统先给新的进程分配资源，例如存储数据和阅读全文

posted @ 2017-04-12 21:34 少年努力吧阅读(403) 评论(0) 推荐(0)

Linux strace命令

摘要：简介 strace常用来跟踪进程执行时的系统调用和所接收的信号。在Linux世界，进程不能直接访问硬件设备，当进程需要访问硬件设备(比如读取磁盘文件，接收网络数据等等)时，必须由用户态模式切换至内核态模式，通过系统调用访问硬件设备。strace可以跟踪到一个进程产生的系统调用,包括参数，返回值，阅读全文

posted @ 2017-04-12 21:12 少年努力吧阅读(251) 评论(0) 推荐(0)

stat命令--文件权限属性设置

摘要： stat命令文件权限属性设置 stat命令用于显示文件的状态信息。 stat命令的输出信息比ls命令的输出信息要更详细。语法 stat(选项)(参数) 选项 -L：支持符号连接； -f：显示文件系统状态而非文件状态； -t：以简洁方式输出信息； --help：显示指令的帮助信息； --versio 阅读全文

posted @ 2017-04-12 17:41 少年努力吧阅读(1159) 评论(0) 推荐(0)

linux命令df中df -h和df -i的区别

摘要： df 命令： linux中df命令的功能是用来检查linux服务器的文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。 1．命令格式： df [选项] [文件] 2．命令功能：显示指定磁盘文件的可用空间。如果没有文件名被指定，则所有当前被挂载的文件系统阅读全文

posted @ 2017-04-12 17:24 少年努力吧阅读(182436) 评论(0) 推荐(3)

linux系统df和du命令的区别

摘要：发现一台用户的电脑，df检查出来的/磁盘空间占用了16G，比用du查看得到的磁盘空间大的多，du查看/下所有程序目录加起来还不到5G。这是什么原因呢？即便是有隐藏文件，查了也很小啊。因为df和du的统计机制不一样。 du会把指定目录下所有文件、目录、目录下的文件都统计。是建立在文件系统能看到的的阅读全文

posted @ 2017-04-12 17:20 少年努力吧阅读(9745) 评论(0) 推荐(0)

Linux type命令的用法

摘要：一般情况下，type命令被用于判断另外一个命令是否是内置命令，但是它实际上有更多的用法。 1.判断一个名字当前是否是alias、keyword、function、builtin、file或者什么都不是： type ls 的输出是 ls 是 `ls --color=auto' 的别名 type if 阅读全文

posted @ 2017-04-12 14:48 少年努力吧阅读(17175) 评论(0) 推荐(0)

公告