北漂-boy

摘要： 修改内核参数 在/etc/sysctl.conf文件中添加如下配置（需要root权限）以下参数的默认值是在centos7下查看的fs.file-max = 6815744 //文件描述符总数，默认值：94121fs.aio-max-nr = 1048576 //最大并发io请求数，默认值：10485 阅读全文

摘要： Application application和Hadoop MapReduce类似，都是指用户编写的spark应用程序，其中包含了一个driver功能的代码和分布在集群中多个节点运行的executor代码。 Driver 使用driver这一概念的分布式框架很多，比如hive。spark中的dri 阅读全文