2020 年 1月 14 日随笔档案 - 吴裕雄

吴裕雄--天生自然PYTHON爬虫：爬取某一大型电商网站的商品数据

摘要：首先观察、分析网站网址：https://touch.qunar.com 接下按F12进入浏览器开发者模式，并且点击自由行选项进入到自由行频道，如下图： Request URL: https://dujia.qunar.com/golfz/destination/tejiaLeft?num=6& 阅读全文

posted @ 2020-01-14 19:40 吴裕雄阅读(1959) 评论(0) 推荐(0)

吴裕雄--天生自然PYTHON爬虫：安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

摘要： 1、下载MongoDB 官网下载:https://www.mongodb.com/download-center#community 上面这张图选择第二个按钮上面这张图直接Next 把bin路径添加到path中，如下图：在安装路径下自己创建一个文件mongo.conf，配置内容如下： #数据库路阅读全文

posted @ 2020-01-14 15:42 吴裕雄阅读(536) 评论(0) 推荐(0)

吴裕雄--天生自然python机器学习实战：K-NN算法约会网站好友喜好预测以及手写数字预测分类实验

摘要：实验设备与软件环境硬件环境：内存ddr3 4G及以上的x86架构主机一部系统环境：windows 软件环境：Anaconda2(64位)，python3.5，jupyter 内核版本：window10.0 实验内容和原理（1）实验内容：使用k近邻算法改进约会网站的配对效果。海伦使用约会网址寻阅读全文

posted @ 2020-01-14 14:50 吴裕雄阅读(464) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：pvuv统计案例理论

摘要：实验目的复习pv、uv的概念和原理了解pv、uv的实际意义和获取方法实验原理前面我们已经基于mapreduce进行数据的etl处理，实验有很多不足之处，这次实验我们是基于url数据进行pv和uv的统计。pv的意思是page view ，uv的意思是user view，分别代表页面点击量和用户阅读全文

posted @ 2020-01-14 14:32 吴裕雄阅读(384) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：pig简介

摘要：实验目的了解pig的该概念和原理了解pig的思想和用途了解pig与hadoop的关系实验原理 1.Pig 相比Java的MapReduce API，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。Pig还提供阅读全文

posted @ 2020-01-14 14:30 吴裕雄阅读(671) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：ETL案例

摘要：实验目的熟悉hadoop生态系统初步了解大数据点击流分析业务学会使用hadoop进行数据分析统计实验原理 hadoop主要有三部分，hdfs做数据存储、mapreduce做数据计算、yarn做资源调度。在企业生产环境下，对数据做统计需要结合hadoop三个部分综合运用，中间还要使用kafka 阅读全文

posted @ 2020-01-14 14:28 吴裕雄阅读(464) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：hbase简介

摘要：实验目的了解hbase的概念通过安装hbase了解hbase的原理了解hbase与hadoop的关系复习hadoop和zookeeper的运行实验原理 hbase是bigtable的开源山寨版本。hbase建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介阅读全文

posted @ 2020-01-14 14:21 吴裕雄阅读(267) 评论(0) 推荐(0)

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow：构建一个手写数字图片的神经网络

摘要： from keras.datasets import mnist (train_images, train_labels),(test_images, test_labels) = mnist.load_data() print(train_images.shape) print(train_lab 阅读全文

posted @ 2020-01-14 14:11 吴裕雄阅读(306) 评论(0) 推荐(0)

2020年1月14日