大数据面试题总结

大数据面试题

大数据-linux面试题

1、Linux中如何调整文件最大打开数？

• 为什么要调整文件的最大打开数？

linux系统对文件打开的数量有最大的限制，它通常设置为1024，这个数值很容易会达到，从而造成系统程序或者系统的瓶颈。

• 如何调整？

查看系统级别的最大限制
	cat /proc/sys/fs/file-max
查看用户级的限制
	ulimit -n
修改文件的最大打开数
	ulimit -HSn 2048  临时修改
	vi /etc/security/limits.conf 永久修改
	echo 9999 > /proc/sys/fs/file-max 修改系统级别的最大限制
用户root用户不受这个ulimit限制。只有普通用户才会受这个限制。

• 通过配置进行永久修改

vi /etc/security/limits.conf
在文件末尾添加
	* soft nofile 65535
	* hard nofile 65535
	
soft 是一个警告值
hard 是真正意义上的阈值，超过就会报错

2、请举例几个常用的Linux命令

man    ：帮助命令
sudo   ：获取root权限
jps    ：查看java进程
ps -ef ：查看进程
ps -aux：查看进程
netstat -nltcp ：监听端口
free   ：内存查看
top    ：动态，查看服务器资源信息
uptime ：查看系统运行时长和负载率
df     ：查看磁盘情况
df -h /home ：查看home的使用情况
iostat ：查看i/o情况
解压缩：
	tar 
	zip
	unzip
	gzip
	gunzip
rpm
yum

3、Linux如何查看系统负载、内存、硬盘使用情况

系统负载命令：uptime、w、top
内存命令：free、top
磁盘命令：df
查看io资源命令：iostat （需要安装）

4、Linux > 和 >> 的区别，常用查看日志命令？

>：覆盖文件，如果文件没有将会创建，并且将内容写到文件中，可以用于删除数据重新写入数据场景。
>>：在文件末尾追加，如果文件没有将会常见，用于源文件数据不能丢失场景。

5、用shell脚本怎么替换字符串（现场写）

vi /home/test/rep.sh
#!/bin/bash

ori_str=$1
rep_str=$2
grep_word=$3
file_dir=$4
sed -i "s/${ori_str}/${rep_str}/g" `grep "grep_word" -rl $4`

问题

1、/proc/sys/fs/file-max" E667: Fsync failed

这是VI的问题
用vi编辑一个文件的时候，vi首先为这个文件创建一个副本，这个副本通常命名为 .your_file_name.swp
当结束编辑，选择保存的时候，vi用这个副本文件替换掉原文件。
proc文件系统下的文件都是内存中的影像，显然不支持此种编辑方式。
修改办法 echo value >yourfile