• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
 






天生自然

 
 

Powered by 博客园
博客园 | 首页 | 新随笔 | 联系 | 订阅 订阅 | 管理
上一页 1 ··· 130 131 132 133 134 135 136 137 138 ··· 276 下一页

2020年1月13日

吴裕雄--天生自然PYTHON爬虫:用API爬出天气预报信息
摘要: 天气预报网址:https://id.heweather.com/,这个网站是需要注册获取一个个人认证后台密钥key的,并且每个人都有访问次数的限制,这个key就是访问API的钥匙。 这个key现在是要自己创建的,名称自己写,key值可以不写,创建的时候会自动生成。 接下来就是要阅读这个API文档。 阅读全文
posted @ 2020-01-13 11:34 吴裕雄 阅读(492) 评论(0) 推荐(0)
 
吴裕雄--天生自然PYTHON爬虫:爬虫攻防战
摘要: 我们在开发者模式下不仅可以找到URL、Form Data,还可以在Request headers 中构造浏览器的请求头,封装自己。服务器识别浏览器访问的方法就是判断keywor是否为Request headers下的User-Agent,因此我们只需要构造这个请求头的参数。创建请求头部信息即可。 h 阅读全文
posted @ 2020-01-13 11:04 吴裕雄 阅读(211) 评论(0) 推荐(0)
 

2020年1月12日

吴裕雄--天生自然PYTHON爬虫:使用BeautifulSoup解析中国旅游网页数据
摘要: import requests from bs4 import BeautifulSoup url = "http://www.cntour.cn/" strhtml = requests.get(url) soup = BeautifulSoup(strhtml.text,"lxml") #下面的 阅读全文
posted @ 2020-01-12 22:53 吴裕雄 阅读(427) 评论(0) 推荐(0)
 
吴裕雄--天生自然python爬虫:使用requests模块的get和post方式抓取中国旅游网站和有道翻译网站翻译内容数据
摘要: import requests url = 'http://www.cntour.cn/' strhtml = requests.get(url) print(strhtml.text) URL='http://fanyi.youdao.com/translate?smartresult=dict& 阅读全文
posted @ 2020-01-12 22:32 吴裕雄 阅读(301) 评论(0) 推荐(0)
 

2020年1月9日

吴裕雄--天生自然HADOOP操作实验学习笔记:协同过滤算法
摘要: 实验目的 初步认识推荐系统 学会用mapreduce实现复杂的算法 学会系统过滤算法的基本步骤 实验原理 前面我们说过了qq的好友推荐,其实推荐算法是所有机器学习算法中最重要、最基础、最复杂的算法,一个推荐系统的架构,需要综合考虑离线计算、实时计算。需要用到的技术可能还有Flume、Kafka、Re 阅读全文
posted @ 2020-01-09 10:39 吴裕雄 阅读(566) 评论(0) 推荐(0)
 
吴裕雄--天生自然HADOOP操作实验学习笔记:pagerank算法
摘要: 实验目的 了解PageRank算法 学会用mapreduce解决实际的复杂计算问题 实验原理 1.pagerank算法简介 PageRank,即网页排名,又称网页级别、Google左侧排名或佩奇排名。 pagerank是Google排名运算法则(排名公式)的一部分,pagerank是Google用于 阅读全文
posted @ 2020-01-09 01:09 吴裕雄 阅读(396) 评论(0) 推荐(0)
 
吴裕雄--天生自然HADOOP操作实验学习笔记:qq好友推荐算法
摘要: 实验目的 初步认识图计算的知识点 复习mapreduce的知识点,复习自定义排序分组的方法 学会设计mapreduce程序解决实际问题 实验原理 QQ好友推荐算法是所有推荐算法中思路最简单的,我们利用的思想就是好友的好友很有可能是自己的好友,而共同好友越多,说明两个人认识的可能性越大。其实这个想法属 阅读全文
posted @ 2020-01-09 00:53 吴裕雄 阅读(958) 评论(0) 推荐(0)
 
吴裕雄--天生自然HADOOP操作实验学习笔记:Wor的Count程序的编写
摘要: 实验目的 理解mapreduce的工作原理 理解Partitioner的书写方法 理解GroupingComparator的书写方法 实验原理 我们已经学习了hadoop的大部分基础知识,剩下的就是利用hadoop解决实际的业务问题。首先我们回顾一下mapreduce的工作过程: 数据通过Input 阅读全文
posted @ 2020-01-09 00:43 吴裕雄 阅读(253) 评论(0) 推荐(0)
 

2020年1月8日

吴裕雄--天生自然HADOOP操作实验学习笔记:hbase微博案例
摘要: 实验目的 熟悉hbase表格设计的方法 熟悉hbase的javaAPI 通过API理解掌握hbase的数据的逻辑视图 了解MVC的服务端设计方式 实验原理 上次我们已经初步设计了学生选课案例的,具体功能还不完善,但是实现方式都是在已经设计好的表格之上,调用hbase已有的API,本次我们将会实现一个 阅读全文
posted @ 2020-01-08 23:31 吴裕雄 阅读(371) 评论(0) 推荐(0)
 
吴裕雄--天生自然HADOOP操作实验学习笔记:hbase学生选课案例
摘要: 实验目的 复习hbase的shell操作和javaAPI操作 了解javaWeb项目的MVC设计 学会dao(数据库访问对象)和service层的代码编写规范 学会设计hbase表格 实验原理 前面我们已经了解hbase的shell操作、javaAPI操作,并且能够使用hive操作hbase表格(实 阅读全文
posted @ 2020-01-08 22:48 吴裕雄 阅读(860) 评论(0) 推荐(0)
 
上一页 1 ··· 130 131 132 133 134 135 136 137 138 ··· 276 下一页