02 2020 档案

二周总结
摘要：前提条件： 首先本地需要安装好 jdk 、 maven 、 python的基础环境，如果安装过程有问题可以参考百度对应的教程，这里就不多说了。 环境资源：https://github.com/alibaba/DataX/blob/master/userGuid.md DataX源码下载DataX 源 阅读全文
posted @ 2020-02-29 12:35 竹林清竹 阅读(108) 评论(0) 推荐(0)
《 架构即未来》读后感2
摘要：关于该书第二章，这本书不是纯技术的类的书，概念性的内容也比较多，如果不学以致用加深理解，读完后就很容易忘记。第二章的内容写的是可扩展性技术组织的角色，下图为第二章的大概： 失败的影响 这一节主要以系统容量规划做为例子，说了失败影响的三种情况。无责任人，无规划，这种情况事情肯定做不成；有相应的责任人或 阅读全文
posted @ 2020-02-27 11:24 竹林清竹 阅读(167) 评论(0) 推荐(0)
一周总结
摘要：这周做得主要是关于疫情的下钻，以及爬虫的一些学习，之前的爬虫学习中，爬取方法比较原始，很多网站都不用了，爬不出数据，只能再学学其他方式了 阅读全文
posted @ 2020-02-23 12:39 竹林清竹 阅读(91) 评论(0) 推荐(0)
《架构即未来》读后感
摘要：这本书与其他不同，说的整个企业的架构，技术架构作为它其中的一部分，也是讲的宏观的。在开始一章中主要还是写的架构中人的作用，无论在任何工作中，人都是最重要的因素，如何在一个组织架构中用好人力资源，决定着工作最大化的产出。不管一个人技术有多么牛，如果他不能和其它人有很好的合作，那么他/她的存在就对团队的 阅读全文
posted @ 2020-02-22 20:00 竹林清竹 阅读(270) 评论(0) 推荐(0)
淘宝网之质量属性
摘要：淘宝网之质量属性 2020-2-22 淘宝网是亚太地区较大的网络零售、商圈由阿里巴巴集团在2003年创立。淘宝网是中国深受欢迎的网购平台，拥有近5亿的注册用户数，每天有超过6000万的固定访客，同时每天在线商品数已经超过了8亿件，平均每分钟售出4.8万件商品。下面将简单介绍一下以淘宝网为例，描述质量 阅读全文
posted @ 2020-02-22 11:08 竹林清竹 阅读(134) 评论(0) 推荐(0)
在javascript中 setInterval()、clearInterval()、clearTimeout()等等常用的函数的含义
摘要：setInterval() 方法可按照指定的周期（以毫秒计）来调用函数或计算表达式。setInterval() 方法会不停地调用函数，直到 clearInterval() 被调用或窗口被关闭。由 setInterval() 返回的 ID 值可用作 clearInterval() 方法的参数。clea 阅读全文
posted @ 2020-02-20 22:45 竹林清竹 阅读(256) 评论(0) 推荐(0)
使用C3P0 连接池
摘要：今天一天一直都在搞C3P0 连接池，改了半天代码，碰到N个问题，最后jar一换，问题解决，悲伤 在昨天开始用C3P0 连接池时，学习教程并未给出相应的jar包版本，就在网上下了一个，有可能是版本不合适的原因吧，一直报错 如：Caused by: java.lang.ClassNotFoundExce 阅读全文
posted @ 2020-02-15 23:12 竹林清竹 阅读(74) 评论(0) 推荐(0)
C3P0 连接池
摘要：使用C3P0 连接池，但ComboPooledDataSource存在问题，解决中 阅读全文
posted @ 2020-02-14 23:58 竹林清竹 阅读(70) 评论(0) 推荐(0)
爬取进行中
摘要：找了几个网站爬取数据都有反爬机制，在抗争一天 阅读全文
posted @ 2020-02-12 22:15 竹林清竹 阅读(86) 评论(0) 推荐(0)
新型肺炎实时动态
摘要：进行新型肺炎实时动态前端动态图的开发，通过借鉴echarts官网中的实例进行改编而成， 这次发现官网中有些实例好像是错的，但是在官网上是可以运行的，改了半天才改好，其他不多说，第一版前端 阅读全文
posted @ 2020-02-11 21:51 竹林清竹 阅读(273) 评论(0) 推荐(0)
大学排名数据爬取
摘要：网址：http://www.qianmu.org/ranking/1528.htm import requests from lxml import etree import lxml resp=requests.get('http://www.qianmu.org/2018QS%E4%B8%96% 阅读全文
posted @ 2020-02-10 21:40 竹林清竹 阅读(191) 评论(0) 推荐(0)
python BeautifulSoup基本用法
摘要：在进行python爬取小说的学习中发现很多人用BeautifulSoup正学习中 1. 自定义测试html 2. 从html文本中获取soup 3. soup.select()函数用法 (1) 获取指定标签的内容 (2) 获取指定id的标签的内容（用’#’） (3) 获取指定class的标签的内容（ 阅读全文
posted @ 2020-02-09 22:09 竹林清竹 阅读(314) 评论(0) 推荐(0)
爬虫爬取
摘要：from bs4 import BeautifulSoup import requests import xlwt def getHouseList(url): house = [] headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WO 阅读全文
posted @ 2020-02-08 22:00 竹林清竹 阅读(250) 评论(0) 推荐(0)
SEVEN python环境jieba分词的安装 以即热词索引
摘要：由于项目需要，使用jieba分词库 点击项目，默认设置，选择项目翻译点击右侧 + ， 查询jieba ，点击左下角安装 还有一个放法（此方法未使用） 首先上githup下载jieba分词库 然后加压到任意目录 打开cmd命令行窗口并切换到jieba目录下 运行python setup.py inst 阅读全文
posted @ 2020-02-07 19:41 竹林清竹 阅读(210) 评论(0) 推荐(0)
SIX Spark Streaming 编程初级实践
摘要：Flume 官网下载 Flume1.7.0 安装文件，下载地址如下： http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 下载后，把 Flume1.7.0 安装到 Linux 系统的“/usr/ 阅读全文
posted @ 2020-02-06 18:47 竹林清竹 阅读(263) 评论(0) 推荐(0)
FIVE Spark SQL 编程初级实践
摘要：编程实现将 RDD 转换为 DataFrame 将数据复制保存到 ubuntu 系统/usr/local/spark 下，命名为 employee.txt，实现从 RDD 转换得到 DataFrame，并按 id:1,name:Ella,age:36 的格式,打印出 DataFrame 的所有数据。 阅读全文
posted @ 2020-02-05 21:29 竹林清竹 阅读(225) 评论(0) 推荐(0)
FOUR spark-shell 交互式编程
摘要：编写独立应用程序实现数据去重 目录为/usr/local/spark/mycode/remdup，在当前目录下新建一个目录 mkdir -p src/main/scala，然后在目录/usr/local/spark/mycode/remdup/src/main/scala 下新建一个 remdup. 阅读全文
posted @ 2020-02-04 21:00 竹林清竹 阅读(288) 评论(0) 推荐(0)
THREE SPAKR
摘要：spark安装配置的步骤 1、网址：http://spark.apache.org/downloads.html 2、解压 sudo tar -zxf ../spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/ 3、对解压后的重命名为spark $ cd 阅读全文
posted @ 2020-02-03 19:08 竹林清竹 阅读(167) 评论(0) 推荐(0)
TWO python学习
摘要：今天主要绘图画法，根据教程引导的绘制了海龟绘图——坐标系问题，并画出奥运五环 并对python中数据类型的转换有了些学习，对时间表示_unix时间点_毫秒和微秒_time模块等等学习 对于绘图一项来说，绘制多点坐标_汇出折线图_计算距离等，有些新颖，以前尚未接触 阅读全文
posted @ 2020-02-02 21:17 竹林清竹 阅读(138) 评论(0) 推荐(0)
ONE PYTHON学习
摘要：今天通过哔哩哔哩上的学习教程进行学习，最初学习的是交互式的编程绘图，但是使用了python模块中的os, 其用来调用系统命令，可跨平台使用，学习用来绘制图形，但是有些难度，就先从一些基础的学了下，对python 中的一些常量变量（中文可当），标识符等以及id\type等求法进行了学习、print(i 阅读全文
posted @ 2020-02-01 22:44 竹林清竹 阅读(190) 评论(0) 推荐(0)