Twaine

摘要： #1.路径相关 ##1.1 获取目录 import os Path = os.getcwd() #尽量用os.path.dirname(__file__)代替os.getcwd()去获取当前文件所在目录，避免以后被其他层级文件调用时出现问题 print('本文件所在目录：'+Path) print( 阅读全文

摘要： 阅读全文

摘要： Spark学习中遇到的一些基本问题以及解决思路。（谢谢各位大佬的经验） 读取scv文件第一行做表头 rating = spark.read.option('header','true').csv('file:///home/twain/sparkTest/ml-latest-small/rating 阅读全文

摘要： Linux系统的小技巧，不定期更新。 阅读全文

摘要： 在用pip下载第三方包时，若没有更改pip源，或者仅下载一次时可以临时指定下载源 #-i参数加上源即可pip install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple #清华大学镜像 附：常用的pip源 https://pypi.tuna.tsi 阅读全文

摘要： 项目背景：在自己的主页中添加一个百度搜索框，在里面输入要搜索的内容后可以直接跳转到相关内容搜索结果的界面。搜索框是用form表单实现的，action中为百度的url，将输入的内容拼接到url中，以实现直接跳转到搜索结果界面。 1.观察在百度中搜索内容时的url，打开百度一下，输入搜索内容，如123 阅读全文

摘要： 在pyspark的交互式环境下调用pysark.ml中的MulticlassClassificationEvaluator执行下列命令做评估时会出现下面那个问题，但在代码中通过spark-submit提交时则可以正常运行。 from pyspark.ml.evaluation import Mult 阅读全文

摘要： 1.下载 http://nodejs.cn/download/ 下载后安装即可，测试是否安装成功 在命令行里输入node -v显示版本号即可 2.安装淘宝的cnmp npm install -g cnpm --registry=https://registry.npm.taobao.org 3.安装 阅读全文

摘要： sudo apt-get install openssh-server 设置无密码登录sshcd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhostssh-keygen -t rsa # 会有提示，都按回车就可以cat ./id_rsa.pub >> ./authorized_ 阅读全文

摘要： 涉及到文件读取等相关操作时，若将文件目录写死则当项目转移到另一台机器的时候就需要重新修改目录，会显得十分麻烦。此时，就可以将涉及文件目录的地方都用相对目录代替。在程序开头获取代码文件的当前目录（保存为变量Path），以后涉及到文件读写的时候就写为Path+‘文件相对目录’，如此一来，在项目转移到其他 阅读全文