04 2018 档案

熟悉常用的HDFS操作
摘要：一、Hadoop提供的Shell命令完成相同任务： 一、Hadoop提供的Shell命令完成相同任务： cd /home/hadoop/ touch test.txt cat temp.txt cd /home/hadoop/ touch test.txt cat temp.txt 4.使用命令把本 阅读全文
posted @ 2018-04-27 21:50 120林海鑫 阅读(244) 评论(0) 推荐(0)
爬虫大作业
摘要：选一个自己感兴趣的主题或网站。 2.用python 编写爬虫程序，从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析，生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全部数据、爬虫及数据分析源 阅读全文
posted @ 2018-04-25 00:25 120林海鑫 阅读(159) 评论(0) 推荐(0)
数据化结构与保存
摘要：import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport reimport pandas #获取点击次数def getClickCount(newsUrl): newId=re.search('\_ 阅读全文
posted @ 2018-04-17 19:46 120林海鑫 阅读(106) 评论(0) 推荐(0)
使用正则表达式，取得点击次数，函数抽离
摘要：1.import re;def isEmailAccount(str): if(re.match("\w*@\w*(\.\w{2,3}){1,3}$",str)): return True else: return Falseprint(isEmailAccount('123sdf_sd@qq.co 阅读全文
posted @ 2018-04-09 21:55 120林海鑫 阅读(69) 评论(0) 推荐(0)
爬取校园新闻首页的新闻
摘要：1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。 import requests from bs4 import BeautifulSoup url = 'http://news.gzcc.cn/html/xiaoyuanxinwen/' res = 阅读全文
posted @ 2018-04-02 20:09 120林海鑫 阅读(180) 评论(0) 推荐(0)
网络爬虫基础练习
摘要：0.可以新建一个用于练习的html文件，在浏览器中打开。 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <h1>This is the docume 阅读全文
posted @ 2018-04-02 20:01 120林海鑫 阅读(85) 评论(0) 推荐(0)