会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
lawliet12
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
5
6
7
下一页
2018年4月12日
数据结构化与保存
摘要: 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3. 安装pandas,用pand
阅读全文
posted @ 2018-04-12 20:27 lawliet9
阅读(160)
评论(0)
推荐(0)
2018年4月11日
获取全部校园新闻
摘要: 1.取出一个新闻列表页的全部新闻 包装成函数。 2.获取总的新闻篇数,算出新闻总页数。 3.获取全部新闻列表页的全部新闻详情。 4.找一个自己感兴趣的主题,进行数据爬取,并进行分词分析。不能与其它同学雷同。
阅读全文
posted @ 2018-04-11 19:14 lawliet9
阅读(177)
评论(0)
推荐(0)
2018年4月8日
爬取校园新闻首页的新闻的详情,使用正则表达式,函数抽离
摘要: 1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文、show-info。 2. 分析info字符串,获取每篇新闻的发布时间,作者,来源,摄影等信息。 3. 将字符串格式的发布时间转换成datetime类型 4. 使用正则表达式取得新闻编号 5. 生成点击
阅读全文
posted @ 2018-04-08 20:19 lawliet9
阅读(223)
评论(0)
推荐(0)
2018年3月29日
网络爬虫基础练习
摘要: 0.可以新建一个用于练习的html文件,在浏览器中打开。 1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(
阅读全文
posted @ 2018-03-29 21:09 lawliet9
阅读(217)
评论(0)
推荐(0)
2018年3月28日
中文词频统计
摘要: 下载一长篇中文文章。 从文件读取待分析文本。 news = open('gzccnews.txt','r',encoding = 'utf-8') 安装与使用jieba进行中文分词。 pip install jieba import jieba list(jieba.lcut(news)) 生成词频
阅读全文
posted @ 2018-03-28 17:14 lawliet9
阅读(145)
评论(0)
推荐(0)
2018年3月25日
英文词频统计
摘要: 综合练习:英文词频统计 词频统计预处理 下载一首英文的歌词或文章 将所有,.?!’:等分隔符全部替换为空格 将所有大写转换为小写 生成单词列表 生成词频统计 排序 排除语法型词汇,代词、冠词、连词 输出词频最大TOP10 word = ''' Lately, I've been, I've been
阅读全文
posted @ 2018-03-25 19:48 lawliet9
阅读(227)
评论(0)
推荐(0)
2018年3月21日
字符串练习
摘要: 字符串练习: http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html 取得校园新闻的编号 https://docs.python.org/3/library/turtle.html 产生python文档的网址 http://news.g
阅读全文
posted @ 2018-03-21 15:08 lawliet9
阅读(140)
评论(0)
推荐(0)
2018年3月16日
bis和bic命令实现或和异或运算
摘要: 从20世纪70年代末到80年代末,Digital Equipment的VAX计算机是一种非常流行的机型。它没有布尔运算AND和OR指令,只有bis(位设置)和bic(位清除)这两种指令。两种指令的输入都是一个数据字x和一个掩码字m。它们生成一个结果z,z是由根据掩码m的位来修改x的位得到的。使用bi
阅读全文
posted @ 2018-03-16 15:17 lawliet9
阅读(1849)
评论(0)
推荐(1)
2018年3月14日
Python基础
摘要: Pycharm开发环境设置与熟悉。 练习基本输入输出: print('你好,{}.'.format(name)) uprint(sys.argv) 库的使用方法: import ... from ... import ... 条件语句: if (abs(pos()))<1: break 循环语句:
阅读全文
posted @ 2018-03-14 21:11 lawliet9
阅读(161)
评论(0)
推荐(0)
2018年3月6日
大数据概述
摘要: 1.试述大数据对思维方式的重要影响。 当今,互联网飞快发展,我们也已步入了信息化社会。信息并不匮乏,匮乏的是我们处理信息的能力,我们有限的注意力是组织活动的主要瓶颈。通过大数据来辅助决策,人类理性的范围将会扩大,决策的质量就能提高。如果将传统的思维模式——精确性运用于数据化、网络化的21世纪,就会错
阅读全文
posted @ 2018-03-06 23:37 lawliet9
阅读(347)
评论(2)
推荐(0)
上一页
1
2
3
4
5
6
7
下一页
公告