python4
摘要：
一、使用cookie登录 1.直接把cookie复制下去，然后手动放到请求头 2.http模块包含一些关于cookie的模块，通过他们我们可以自动使用cookie （1）cookieJar 管理存储cookie，向传出的http请求添加cookie；cookie存储在内存中，CookieJar实例回 阅读全文
posted @ 2020-02-10 22:56 哈弗h6 阅读(205) 评论(0) 推荐(0) 编辑
python学习3 爬取新型肺炎病例数据
摘要：
import time, json, requests import csv #文件名称 ExcelName = 'E:/2.9日疫情状况.csv' #当前日期时间戳 number = format(time.time() * 100, '.0f') url = 'https://view.inew 阅读全文
posted @ 2020-02-09 23:39 哈弗h6 阅读(374) 评论(0) 推荐(0) 编辑
python学习2
摘要：
代码的组织和缩进 Python 语言直接通过缩进来组织 代码块。“缩进”成为了 Python 语法强制的规定。缩进时，几个空格都是允许的，但是数目必须统一。我们通常采用“四个空格”表示一个缩进。 注释和行连接符 #：行注释 ’’’块注释’’’（3个单引号） \：行连接符 对象 Python 中，一切 阅读全文
posted @ 2020-02-08 22:39 哈弗h6 阅读(232) 评论(0) 推荐(0) 编辑
python学习1
摘要：
.find_all(name,attrs,recursive,string,**kwargs) name：对标签名称的检索字符串attrs：对标签属性值的检索字符串，可标注属性检索recursive：是否对子孙全部检索，默认为Truestring <>....</>中字符串区域的检索字符串 soup 阅读全文
posted @ 2020-02-07 22:46 哈弗h6 阅读(136) 评论(0) 推荐(0) 编辑
spark学习第五天
摘要：
map(t => t.split(",")(0))表示：lines这个RDD中每个元素被split()函数拆分成3个字符串，保存到数组中，然后，把数组中的第1个元素(即学生名字字段的值)取出来放到新的RDD中。 distinct()表示：去重操作，即把重复的学生名字去掉，只保留一个。 count() 阅读全文
posted @ 2020-02-06 21:48 哈弗h6 阅读(117) 评论(0) 推荐(0) 编辑
spark第四天
摘要：
今天继续安装spqrk Spark安装 在Spark官网：http://spark.apache.org/downloads.html 下载Spark 并在修改Spark的配置文件spark-env.sh添加输入下列命令： export SPARK_DIST_CLASSPATH=$(/usr/loc 阅读全文
posted @ 2020-02-05 09:54 哈弗h6 阅读(130) 评论(0) 推荐(0) 编辑
spark第三天
摘要：
1．安装 Hadoop 和 Spark 进入 Linux 系统，参照本教程官网“实验指南”栏目的“Hadoop 的安装和使用”，完 成 Hadoop 伪分布式模式的安装。完成 Hadoop 的安装以后，再安装 Spark（Local 模式）。 2．HDFS 常用操作 使用 hadoop 用户名登录进 阅读全文
posted @ 2020-02-03 21:59 哈弗h6 阅读(109) 评论(0) 推荐(0) 编辑
spark学习第二天
摘要：
3.实验 1. 计算级数 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q 为止，其中 q 为大于 0 的整数，其值通过键盘输入。 例 如 ， 若 q 的 值 为 50.0 ， 则 输 出 应 为 ： Sn=50.416695 。 请 将 源 文 件 保 存 阅读全文
posted @ 2020-02-02 23:12 哈弗h6 阅读(179) 评论(0) 推荐(0) 编辑
spark学习第一天
摘要：
（1）Java代码太繁琐。在大数据应用场景中，不太适合使用Java，因为，完成同样的任务，Scala只需要一行代码，而Java则可能需要10行代码；而且，Scala语言可以支持交互式编程，大大提高了程序开发效率，而Java则不支持交互式执行，必须编译以后运行。（2）Python语言并发性能不好。在并 阅读全文
posted @ 2020-02-01 21:29 哈弗h6 阅读(94) 评论(0) 推荐(0) 编辑
