摘要:
import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport reres = requests.get('http://news.gzcc.cn/html/xiaoyuanxinwen/')res.en 阅读全文
摘要:
1.取出一个新闻列表页的全部新闻 包装成函数。 2.获取总的新闻篇数,算出新闻总页数。 3.获取全部新闻列表页的全部新闻详情。 4.找一个自己感兴趣的主题,进行数据爬取,并进行分词分析。不能与其它同学雷同。 1-3: 4(爬慕课网): 阅读全文
摘要:
向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件; cd bin/ $ if $(./hdfs dfs -test -e input/hzh.txt); then $(./hdfs dfs -appendToFile ~/hzh.tx 阅读全文