随笔分类 -  linux 相关

linux 问题及解决方法
github 使用 记录
摘要：echo "# pull-test">> README.mdgit initgit add README.mdgit add *git commit -m "first pull some file"git config --global user.name "lyc10031"git config 阅读全文
posted @ 2019-03-26 09:37 Ray_lei 阅读(192) 评论(0) 推荐(0)
shell
摘要：shell 判断 命令执行情况 https://blog.csdn.net/Maybe_Lee/article/details/78604927 脚本例子： 1、 删除垃圾文件 使用方法： 可以在/etc/rc.local 中添加命令： sh /root/cpu_test/test_reboot.s 阅读全文
posted @ 2018-12-07 17:59 Ray_lei 阅读(149) 评论(0) 推荐(0)
pyspark 使用jdbc 连接mysql 数据库报错 Access denied for user 'root'@'localhost'
摘要：在使用jdbc开启pyspark shell 下载jar包：https://dev.mysql.com/downloads/connector/j/ tar -zxf mysql-connector-java-8.0.13.tar.gz /usr/local/spark/jars/ 在启动pyspa 阅读全文
posted @ 2018-11-20 16:21 Ray_lei 阅读(2046) 评论(0) 推荐(1)
Dockerfile 编写
摘要：预计搭建一个docker 镜像 集成python3 、selenium 和chrome 使用centos 或者ubuntu 最为基础镜像 搭建的环境比较大。后来发现了alpine 系统镜像。基础镜像只有4M大小。 然后根据实际需要的环境去进行软件包的安装。编写Dockerfile 文件搭建镜像可以进 阅读全文
posted @ 2018-10-11 11:16 Ray_lei 阅读(259) 评论(0) 推荐(0)
配置linux centos7.5系统 关机前执行指定脚本
摘要：为了实现在关机前执行脚本 在网上查了很久都没找到解决方法。 最后还是Google 帮了忙。 参考了以下链接： https://unix.stackexchange.com/questions/39226/how-to-run-a-script-with-systemd-right-before-sh 阅读全文
posted @ 2018-09-29 16:35 Ray_lei 阅读(2600) 评论(0) 推荐(1)
hadoop 命令总结
摘要：hdfs namenode -format start-dfs.sh 启动Datanode 在master节点启动 NameNode、SecondaryNameNode（如果master也作为DataNode 的话还会启动DataNode），在slave节点启动DataNode stop-dfs.s 阅读全文
posted @ 2018-09-13 17:38 Ray_lei 阅读(192) 评论(0) 推荐(0)
python 大数据学习 遇到的问题，及解决方法。
摘要：最近开始跟随《子雨大数据之Spark入门教程(Python版)》 学习大数据方面的知识。 这里是网页教程的链接： http://dblab.xmu.edu.cn/blog/1709-2/ 在学习中遇到的一些问题，将会在这里进行总结，并贴上我的解决方法。 1、Spark独立应用程序编程时报错： 按照教 阅读全文
posted @ 2018-09-11 20:22 Ray_lei 阅读(6295) 评论(0) 推荐(0)
强大的linux 命令
摘要：bin/run-example SparkPi 2>&1 | grep "Pi is" 命令中的《2>&1》 用于将输出保存到stdout 里面，之后再对信息进行grep过滤 取出想要的信息。 ps -ef | grep asterisk | cut -c 9-15 | xargs kill -9 阅读全文
posted @ 2018-09-11 16:24 Ray_lei 阅读(256) 评论(0) 推荐(0)
vmware ubuntu硬盘空间不够用，空间扩展
摘要：在虚拟机中选择硬盘。选择扩展磁盘容量。注意要先把报错的镜像删除才能扩展磁盘。 安装gparted分区管理软件， apt-get install gparted 打开这个软件。 直接把sda1 扩容到最大。 参考：https://blog.csdn.net/fly_lucas/article/deta 阅读全文
posted @ 2018-09-10 14:03 Ray_lei 阅读(466) 评论(0) 推荐(0)
linux dd命令
摘要：dd是Linux/UNIX下的一个非常有用的命令，作用是用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换。 把Arch Linux的镜像刻到U盘/dev/sdc中： lgl@pArch ~/Downloads $ sudo dd if=archlinux-2016.04.01-dual.is 阅读全文
posted @ 2018-09-06 11:54 Ray_lei 阅读(383) 评论(0) 推荐(0)
linux系统改变导致ssh 连接失败的解决方法
摘要：连接linux时失败，报错显示： @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@ 阅读全文
posted @ 2018-09-04 17:03 Ray_lei 阅读(805) 评论(0) 推荐(0)
编译opencv2.0报错，解决方法
摘要：编译opencv2.0的时候，make 后遇到如下情况： libtool eval: 1: libtool_args+=: not foundlibtool eval: 1: libtool_args+=: not foundlibtool eval: 1: compile_command+=: n 阅读全文
posted @ 2018-09-04 16:56 Ray_lei 阅读(309) 评论(0) 推荐(0)