会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
李柔
博客园
首页
新随笔
联系
订阅
管理
2019年6月20日
Hadoop综合大作业
摘要: 作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 Hadoop综合大作业 要求: 1.将爬虫大作业产生的csv文件上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs中的文本文件最终导入到数
阅读全文
posted @ 2019-06-20 10:35 李柔
阅读(133)
评论(0)
推荐(0)
2019年6月4日
分布式文件系统HDFS 练习
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录( 在用户目
阅读全文
posted @ 2019-06-04 17:09 李柔
阅读(116)
评论(0)
推荐(0)
2019年5月16日
安装Hadoop
摘要: 作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1.安装Linux,MySql 2.windows 与 虚拟机互传文件 3.安装Hadoop 还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件,课
阅读全文
posted @ 2019-05-16 16:26 李柔
阅读(98)
评论(0)
推荐(0)
2019年5月8日
爬虫综合大作业
摘要: 作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 可以用pandas读出之前保存的数据: newsdf = pd.read_csv(r'F:\duym\gzccnews.csv') 一.把爬取的内容保存到数据库sq
阅读全文
posted @ 2019-05-08 16:42 李柔
阅读(433)
评论(0)
推荐(0)
2019年4月12日
爬取全部校园新闻
摘要: 作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.
阅读全文
posted @ 2019-04-12 17:34 李柔
阅读(120)
评论(0)
推荐(0)
2019年3月29日
理解爬虫原理
摘要: 1. 简单说明爬虫原理 如果我们把互联网比作一张大的蜘蛛网,数据便是存放于蜘蛛网的各个节点,而爬虫就是一只小蜘蛛, 沿着网络抓取自己的猎物(数据)爬虫指的是:向网站发起请求,获取资源后分析并提取有用数据的程序; 从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON
阅读全文
posted @ 2019-03-29 17:58 李柔
阅读(316)
评论(0)
推荐(0)
2019年3月22日
中文词频统计与词云生成
摘要: 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库,加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵'
阅读全文
posted @ 2019-03-22 18:21 李柔
阅读(464)
评论(0)
推荐(0)
2019年3月15日
复合数据类型,英文词频统计
摘要: 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表 (1)增加元素: append()方法:在列表的末尾增加一个元素 insert()方法:在列表指定的位置上增加一个元素 extend()方法:可迭代,分解成元素添加在末尾 (2)删除元素: pop()方法: 按照下标索引删除指定的值 remo
阅读全文
posted @ 2019-03-15 18:10 李柔
阅读(181)
评论(0)
推荐(0)
2019年3月8日
字符串操作、文件操作,英文词频统计预处理
摘要: 1.字符串操作: 解析身份证号:生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 (1)解析身份证号: 解析结果: (2)凯撒密码编码与解码 结果: (3)网址观察与批量生成 打开网址: 网址观察结果: 2.英文词频统计预处理 下载一首英文的歌词或文章或小说。 将所有大写转换为小写 将
阅读全文
posted @ 2019-03-08 17:57 李柔
阅读(164)
评论(0)
推荐(0)
2019年3月1日
了解大数据的特点、来源与数据呈现方式
摘要: 1.浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993 春节人口迁徙大数据报告!http://www.sohu.com/a/293854116_679156 春节大数据:消费首破万
阅读全文
posted @ 2019-03-01 16:45 李柔
阅读(286)
评论(0)
推荐(0)
下一页
公告