摘要:
1. 简单说明爬虫原理 发起请求:通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。获取响应内容:如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容,类型可能有HTML,Json字符串,二进 阅读全文
随笔档案-2019年03月
中文词频统计
2019-03-18 19:44 by 科ke, 224 阅读, 收藏,
摘要:
中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库,加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵' 阅读全文
复合数据类型,英文词频统计
2019-03-11 22:54 by 科ke, 247 阅读, 收藏,
摘要:
复合数据类型 1.列表,元组,字典,集合分别如何增删改查及遍历。 一、列表操作 list.insert(index, obj) 增加元素到指定位置 list.pop(index) 删除指定位置的元素,index是索引 list[index]=obj 修改指定位置的元素 list[index] 通过下 阅读全文
字符串、文件操作,英文词频统计预处理
2019-03-04 20:32 by 科ke, 289 阅读, 收藏,
摘要:
1.字符串操作: 解析身份证号:生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 2.英文词频统计预处理 下载一首英文的歌词或文章或小说,保存为utf8文件。 从文件读出字符串。 将所有大写转换为小写 将所有其他做分隔符(,.?!)替换为空格 分隔出一个一个的单词 并统计单词出现的次数 阅读全文
浙公网安备 33010602011771号