摘要: 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3. 安装pandas,用pand 阅读全文
posted @ 2018-04-12 20:27 lawliet9 阅读(147) 评论(0) 推荐(0) 编辑
摘要: 1.取出一个新闻列表页的全部新闻 包装成函数。 2.获取总的新闻篇数,算出新闻总页数。 3.获取全部新闻列表页的全部新闻详情。 4.找一个自己感兴趣的主题,进行数据爬取,并进行分词分析。不能与其它同学雷同。 阅读全文
posted @ 2018-04-11 19:14 lawliet9 阅读(145) 评论(0) 推荐(0) 编辑
摘要: 1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文、show-info。 2. 分析info字符串,获取每篇新闻的发布时间,作者,来源,摄影等信息。 3. 将字符串格式的发布时间转换成datetime类型 4. 使用正则表达式取得新闻编号 5. 生成点击 阅读全文
posted @ 2018-04-08 20:19 lawliet9 阅读(204) 评论(0) 推荐(0) 编辑
摘要: 0.可以新建一个用于练习的html文件,在浏览器中打开。 1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get( 阅读全文
posted @ 2018-03-29 21:09 lawliet9 阅读(198) 评论(0) 推荐(0) 编辑
摘要: 下载一长篇中文文章。 从文件读取待分析文本。 news = open('gzccnews.txt','r',encoding = 'utf-8') 安装与使用jieba进行中文分词。 pip install jieba import jieba list(jieba.lcut(news)) 生成词频 阅读全文
posted @ 2018-03-28 17:14 lawliet9 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 综合练习:英文词频统计 词频统计预处理 下载一首英文的歌词或文章 将所有,.?!’:等分隔符全部替换为空格 将所有大写转换为小写 生成单词列表 生成词频统计 排序 排除语法型词汇,代词、冠词、连词 输出词频最大TOP10 word = ''' Lately, I've been, I've been 阅读全文
posted @ 2018-03-25 19:48 lawliet9 阅读(200) 评论(0) 推荐(0) 编辑
摘要: 字符串练习: http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html 取得校园新闻的编号 https://docs.python.org/3/library/turtle.html 产生python文档的网址 http://news.g 阅读全文
posted @ 2018-03-21 15:08 lawliet9 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 从20世纪70年代末到80年代末,Digital Equipment的VAX计算机是一种非常流行的机型。它没有布尔运算AND和OR指令,只有bis(位设置)和bic(位清除)这两种指令。两种指令的输入都是一个数据字x和一个掩码字m。它们生成一个结果z,z是由根据掩码m的位来修改x的位得到的。使用bi 阅读全文
posted @ 2018-03-16 15:17 lawliet9 阅读(1653) 评论(0) 推荐(1) 编辑
摘要: Pycharm开发环境设置与熟悉。 练习基本输入输出: print('你好,{}.'.format(name)) uprint(sys.argv) 库的使用方法: import ... from ... import ... 条件语句: if (abs(pos()))<1: break 循环语句: 阅读全文
posted @ 2018-03-14 21:11 lawliet9 阅读(154) 评论(0) 推荐(0) 编辑
摘要: 1.试述大数据对思维方式的重要影响。 当今,互联网飞快发展,我们也已步入了信息化社会。信息并不匮乏,匮乏的是我们处理信息的能力,我们有限的注意力是组织活动的主要瓶颈。通过大数据来辅助决策,人类理性的范围将会扩大,决策的质量就能提高。如果将传统的思维模式——精确性运用于数据化、网络化的21世纪,就会错 阅读全文
posted @ 2018-03-06 23:37 lawliet9 阅读(314) 评论(2) 推荐(0) 编辑