03 2020 档案

摘要:这周做的东西还是相应的少点,学习了tensorflow的相关内容,对环境的安装以及了解耗费了一部分时间,好在还是成功安装了,之后进行了相关的学习。 时间 第六周 编程时间 约13h 编程代码量 约500行 学习内容 机器学习,tensorflow算法学习。 阅读全文
posted @ 2020-03-29 20:26 九离 阅读(116) 评论(0) 推荐(0)
摘要:这周接着上次的数据清洗,进行了机器学习的分类处理,以及相关的数据处理,行业上下游分析等 时间 第五周 编程时间 约30h 编程代码量 约2400行 学习内容 行业分类处理以及行业上下游分析可视化 阅读全文
posted @ 2020-03-22 23:21 九离 阅读(96) 评论(0) 推荐(0)
摘要:这一周承接上一周的数据清洗工作,将相关的地域维度进行了标准化,并且将应用行业等信息进行了补充,这周主要是数据清洗工作,以及做了数据的可视化工作。 时间 第四周 编程时间 约30h 编程代码量 约2400行 学习内容 行业数据清洗以及数据可视化 阅读全文
posted @ 2020-03-15 19:16 九离 阅读(103) 评论(0) 推荐(0)
摘要:今天还是阅读《大型网站技术架构》,经过这几天的阅读,我对性能方面知道,一个系统的性能的好坏体现在它响应请求的平均时间,以及处理请求的数量。而提高系统的性能就是对如何减少反映时间或者是更有效地利用资源使系统处理速度变快。 缓存 无论是web端还是应用服务器,都提到了一个缓存,可以将一些经常用到的数据或 阅读全文
posted @ 2020-03-15 16:30 九离 阅读(131) 评论(0) 推荐(0)
摘要:今天看了大型网站技术架构的第四章,讲了一个高性能架构的网站是怎样的? 这里面提到用户感受到的性能和开发人员感受到的性能。用户感受的性能就是 直观的网站的反应时间,这时间是用户发送请求服务器解析传值的时间,但是除 此之外,计算机性能,网络水平的差异也是影响响应时间的重要因素。在开发人 员无法解决用户身 阅读全文
posted @ 2020-03-14 21:51 九离 阅读(139) 评论(0) 推荐(0)
摘要:今天一天在和机器学习打交道,因为数据确实太脏了,所以进行有点困难,今天通过使用jieba——python的第三方库完成了,关键词的提取。明天将继续完成应用行业的完善。 阅读全文
posted @ 2020-03-13 23:44 九离 阅读(118) 评论(0) 推荐(0)
摘要:今天阅读了《大型网站技术架构》的相关性能方面的例子,作者给出了很多提高系统性能的方法,从多个角度减少响应请求的时间。以web段为示例。 1、使用浏览器缓存 事先将一些静态的资源,将其在web端进行缓存,也就是预加载,达到减少响应时间的效果。而某些时候,静态文件需要发生改变时,可以改变文件名,并生成一 阅读全文
posted @ 2020-03-13 16:13 九离 阅读(176) 评论(0) 推荐(0)
摘要:首先这是我阅读《大型分布式网站架构设计与实践》之后所想到的一些自己打感受。 首先,我认为六大质量属性都是软件的必不可少的组成部分,这六个部分也并不是独立的每个部分,可用性、可修改性、性能、安全性、易用性、可测试性这些是一个整体,任何一部分出现问题必然面临这整个系统或者整个软件的崩溃。要说分开,只能说 阅读全文
posted @ 2020-03-12 20:50 九离 阅读(685) 评论(0) 推荐(0)
摘要:今天完成了相关地域维度的清洗,其中包括地域修改为国家标准,以及对应得地域区块代码填充完整,使用的是百度地图的接口,明天将完成相关行业部分的清洗。 阅读全文
posted @ 2020-03-12 19:52 九离 阅读(170) 评论(0) 推荐(0)
摘要:这周前几天将大数据的实验的相关环境进行了配置,其中包括实验三和四是对日志的采集。在周四之后进行了相关的数据的清洗,完成了一个数据的清洗工作。 时间 第三周 编程时间 约25h 编程代码量 约1000行 学习内容 kettle大数据清洗工作 阅读全文
posted @ 2020-03-08 14:42 九离 阅读(79) 评论(0) 推荐(0)
摘要:首先我们先来说性能战术。 性能战术首先是要做到对系统性能的高度利用,官方话语是在一定时间内,到达系统事件生成的一个响应。性能战术包括资源需求、资源管理、资源仲裁。 资源需求: 需求的两个特性:1、资源流中的事件之间的事件间隔。2、每个请求所消耗的资源。 就是在资源请求的时候,尽可能减少请求的时间,这 阅读全文
posted @ 2020-03-02 16:27 九离 阅读(200) 评论(0) 推荐(0)
摘要:时间 第二周 编程时间 约30h 编程代码量 约1400行 学习内容 安装相关大数据的实验 阅读全文
posted @ 2020-03-01 08:39 九离 阅读(89) 评论(0) 推荐(0)