Thinking in BigData

摘要： 1 创建用户 CREATE USER 'username'@'host' IDENTIFIED BY 'password'; 比如 create user 'test_user'@'%' identified by 'test'; ps：如果只允许本机登录则host=localhost，如果允许从任 阅读全文

摘要： securecrt一段时间没有操作连接就会自动断开（xshell就没有这个问题），提示信息为：信号灯超时时间已到，解决方法为： Options -- Session Options -- Terminal -- Send protocol NO-OP 阅读全文

摘要： linux服务器通常都是远程登录的，执行命令或者脚本时，如果连接断掉（执行时间较长或者网络不稳定时），那么进程也就没了，这时只能重新连接重新执行，这时可以使用后台执行： 1 nohup 命令 nohup $command $args & 这时会生成一个nohup.out文件，内容是命令执行的控制台输 阅读全文

摘要： 1 rz sz 安装 yum install -y lrzsz 上传 rz ，对话框操作 下载 sz $filename 注意：rz不能上传大于4g的文件，此时可以改为scp或sftp上传，其中sftp url为：sftp://user:passwd@host:22 2 scp 安装 yum ins 阅读全文

摘要： 官方：http://nginx.org nginx [engine x] is an HTTP and reverse proxy server, a mail proxy server, and a generic TCP/UDP proxy server, originally written 阅读全文

摘要： 官方：https://www.ansible.com/ 一 简介 Ansible is a radically simple IT automation engine that automates cloud provisioning, configuration management, appli 阅读全文

摘要： 有些工作只能在一台server上进行，比如master，这时HA（High Availability）首先要求部署多个server，其次要求多个server自动选举出一个active状态server，其他server处于standby状态，只有active状态的server允许进行特定的操作；当ac 阅读全文

摘要： redhat查看发行版 # cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) 查看内核版本 # uname -aLinux $host 3.10.0-327.28.3.el7.x86_64 #1 SMP Thu Aug 18 1 阅读全文

摘要： 在yarn中的application详情页面 http://resourcemanager/cluster/app/$applicationId 或者通过application命令 yarn application -status $applicationId 只能看到应用启动以来占用的资源*时间统 阅读全文

摘要： spark 2.1.1 系统中希望监控spark on yarn任务的执行进度，但是监控过程发现提交任务之后执行进度总是10%，直到执行成功或者失败，进度会突然变为100%，很神奇， 下面看spark on yarn任务提交过程： spark on yarn提交任务时会把mainClass修改为Cl 阅读全文