02 2020 档案

淘宝网质量属性分析
摘要:1.淘宝网的可用性分析:可用性就是存在大量用户访问,而服务器能工长期稳定的服务,类似7x24小时的强度,在负载过重的情况下保证用户数据不丢失,当系统出现故障时能快速恢复,通常恢复时间不超过两小时。 刺激源:海量的用户 刺激:在线用户过多,服务器负载过重导致系统崩溃等等。 制品:淘宝网 环境:正常点击 阅读全文

posted @ 2020-02-22 20:34 哈弗h6 阅读(205) 评论(0) 推荐(0)

《架构漫谈》有感
摘要:首先文章很清晰明了的讲述了架构产生的由来,以及概念的由来。通过阅读有了以下几点的认知。 1.什么是架构? 架构是一个有些抽象的词汇,但转到其他行业或许会更容易理解。如古代朝廷的政府体系三省六部制、或者公司的部门分工等等,由一个个部分有机组成整体的概念有点类似架构的概念。比如一个远古部落,有男有女。这 阅读全文

posted @ 2020-02-19 20:02 哈弗h6 阅读(150) 评论(0) 推荐(0)

信息领域热词查询统计——成果展示
摘要:展示界面: 阅读全文

posted @ 2020-02-15 23:00 哈弗h6 阅读(194) 评论(0) 推荐(0)

python中assert和isinstance的用法
摘要:assert语句是一种插入调试断点到程序的一种便捷的方式。 assert 3 == 3 assert 1 == True assert (4 == 4) print(' ') assert (3 == 4) ''' 抛出AssertionError异常,后面程序不执行 ''' print(' ') 阅读全文

posted @ 2020-02-15 00:01 哈弗h6 阅读(2338) 评论(0) 推荐(0)

python安装依赖包方法
摘要:Python安装包的几种常用方式 1). pip安装方式(正常在线安装) 2). whl安装方式(离线安装),一般是.whl格式的包 3). 源码安装方式(离线安装),tar.gz/egg格式 4). easy_install安装方式(用的比较少) 不同安装方式具体安装步骤 1). pip是一个通用 阅读全文

posted @ 2020-02-13 23:41 哈弗h6 阅读(20566) 评论(0) 推荐(1)

python 连接mysql数据库
摘要:使用以下命令安装最新版的 PyMySQL: 1 $ pip install PyMySQL 数据库连接 1 2 3 4 5 6 7 db = pymysql.connect( host = "localhost", user = "root", password = "root", port = 3 阅读全文

posted @ 2020-02-12 23:03 哈弗h6 阅读(148) 评论(0) 推荐(0)

python学习5 爬虫老是被封如何解决
摘要:先设置等待时间: 常见的设置等待时间有两种,一种是显性等待时间(强制停几秒),一种是隐性等待时间(看具体情况,比如根据元素加载完成需要时间而等待)图 1 是显性等待时间设置,图 2 是隐性。 第二步,修改请求头: 识别你是程序还是网友浏览器浏览的重要依据就是 User-Agent,比如网友用浏览器浏 阅读全文

posted @ 2020-02-11 23:23 哈弗h6 阅读(241) 评论(0) 推荐(0)

python4
摘要:一、使用cookie登录 1.直接把cookie复制下去,然后手动放到请求头 2.http模块包含一些关于cookie的模块,通过他们我们可以自动使用cookie (1)cookieJar 管理存储cookie,向传出的http请求添加cookie;cookie存储在内存中,CookieJar实例回 阅读全文

posted @ 2020-02-10 22:56 哈弗h6 阅读(213) 评论(0) 推荐(0)

python学习3 爬取新型肺炎病例数据
摘要:import time, json, requests import csv #文件名称 ExcelName = 'E:/2.9日疫情状况.csv' #当前日期时间戳 number = format(time.time() * 100, '.0f') url = 'https://view.inew 阅读全文

posted @ 2020-02-09 23:39 哈弗h6 阅读(404) 评论(0) 推荐(0)

python学习2
摘要:代码的组织和缩进 Python 语言直接通过缩进来组织 代码块。“缩进”成为了 Python 语法强制的规定。缩进时,几个空格都是允许的,但是数目必须统一。我们通常采用“四个空格”表示一个缩进。 注释和行连接符 #:行注释 ’’’块注释’’’(3个单引号) \:行连接符 对象 Python 中,一切 阅读全文

posted @ 2020-02-08 22:39 哈弗h6 阅读(238) 评论(0) 推荐(0)

python学习1
摘要:.find_all(name,attrs,recursive,string,**kwargs) name:对标签名称的检索字符串attrs:对标签属性值的检索字符串,可标注属性检索recursive:是否对子孙全部检索,默认为Truestring <>....</>中字符串区域的检索字符串 soup 阅读全文

posted @ 2020-02-07 22:46 哈弗h6 阅读(140) 评论(0) 推荐(0)

spark学习第五天
摘要:map(t => t.split(",")(0))表示:lines这个RDD中每个元素被split()函数拆分成3个字符串,保存到数组中,然后,把数组中的第1个元素(即学生名字字段的值)取出来放到新的RDD中。 distinct()表示:去重操作,即把重复的学生名字去掉,只保留一个。 count() 阅读全文

posted @ 2020-02-06 21:48 哈弗h6 阅读(127) 评论(0) 推荐(0)

spark第四天
摘要:今天继续安装spqrk Spark安装 在Spark官网:http://spark.apache.org/downloads.html 下载Spark 并在修改Spark的配置文件spark-env.sh添加输入下列命令: export SPARK_DIST_CLASSPATH=$(/usr/loc 阅读全文

posted @ 2020-02-05 09:54 哈弗h6 阅读(145) 评论(0) 推荐(0)

spark第三天
摘要:1.安装 Hadoop 和 Spark 进入 Linux 系统,参照本教程官网“实验指南”栏目的“Hadoop 的安装和使用”,完 成 Hadoop 伪分布式模式的安装。完成 Hadoop 的安装以后,再安装 Spark(Local 模式)。 2.HDFS 常用操作 使用 hadoop 用户名登录进 阅读全文

posted @ 2020-02-03 21:59 哈弗h6 阅读(121) 评论(0) 推荐(0)

spark学习第二天
摘要:3.实验 1. 计算级数 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn,直到 Sn 刚好大于或等于 q 为止,其中 q 为大于 0 的整数,其值通过键盘输入。 例 如 , 若 q 的 值 为 50.0 , 则 输 出 应 为 : Sn=50.416695 。 请 将 源 文 件 保 存 阅读全文

posted @ 2020-02-02 23:12 哈弗h6 阅读(195) 评论(0) 推荐(0)

spark学习第一天
摘要:(1)Java代码太繁琐。在大数据应用场景中,不太适合使用Java,因为,完成同样的任务,Scala只需要一行代码,而Java则可能需要10行代码;而且,Scala语言可以支持交互式编程,大大提高了程序开发效率,而Java则不支持交互式执行,必须编译以后运行。(2)Python语言并发性能不好。在并 阅读全文

posted @ 2020-02-01 21:29 哈弗h6 阅读(98) 评论(0) 推荐(0)

导航