费弗里

摘要： 一、引言 爬取过大众点评的朋友应该会遇到这样的问题，在网页中看起来正常的文字，在其源代码中变成了下面这样： 究其原因，是因为大众点评在内容上设置的特别的反爬机制，与某些网站替换底层字体文件不同，大众点评使用随机替换的SVG图片来替换对应位置的汉字内容，使得我们使用常规的手段无法获取其网页中完整的文字 阅读全文

摘要： 一、简介 R中的ggplot2是一个非常强大灵活的数据可视化包，熟悉其绘图规则后便可以自由地生成各种可视化图像，但其默认的色彩和样式在很多时候难免有些过于朴素，本文将要介绍的ggthemr包专门针对原生ggplot2图像进行美化，掌握它之后你就可以创作出更具特色和美感的数据可视化作品。 二、基础内容 阅读全文

摘要： 一、简介 retry是一个用于错误处理的模块，功能类似try-except，但更加快捷方便，本文就将简单地介绍一下retry的基本用法。 二、基本用法 retry: 作为装饰器进行使用，不传入参数时功能如下例所示： 我们编写了每次运行都会通过raise报错的自定义函数demo()，利用默认参数的re 阅读全文

摘要： 一、简介 tqdm是Python中专门用于进度条美化的模块，通过在非while的循环体内嵌入tqdm，可以得到一个能更好展现程序运行过程的提示进度条，本文就将针对tqdm的基本用法进行介绍。 二、基本用法 tqdm: tqdm中的tqdm()是实现进度条美化的基本方法，在for循环体中用tqdm() 阅读全文

摘要： 一、简介 pandas中的ExcelFile()和ExcelWriter()，是pandas中对excel表格文件进行读写相关操作非常方便快捷的类，尤其是在对含有多个sheet的excel文件进行操控时非常方便，本文就将针对这两个类的使用方法展开介绍； 二、ExcelFile() 在使用ExcelF 阅读全文

摘要： 一、简介 pymysql是Python中专门用来操控MySQL数据库的模块，通过pymysql，可以编写简短的脚本来方便快捷地操控MySQL数据库，本文就将针对pymysql的基本功能进行介绍； 二、操控数据库 2.1 连接数据库 利用pymysql.connect(host,user,passwo 阅读全文

摘要： 一、简介 接着几个月之前的（数据科学学习手札31）基于Python的网络数据采集（初级篇），在那篇文章中，我们介绍了关于网络爬虫的基础知识（基本的请求库，基本的解析库，CSS，正则表达式等），在那篇文章中我们只介绍了如何利用urllib、requests这样的请求库来将我们的程序模拟成一个请求网络服 阅读全文

摘要： 一、简介 Scala中的模式匹配类似Java中的switch语句，且更加稳健，本文就将针对Scala中模式匹配的一些基本实例进行介绍： 二、Scala中的模式匹配 2.1 基本格式 Scala中模式匹配的基本格式如下： data match { case ... => 执行语句 case ... = 阅读全文

摘要： 一、简介 Scala作为一门函数式编程与面向对象完美结合的语言，函数式编程部分也有其独到之处，本文就将针对Scala中关于函数式编程的一些常用基本内容进行介绍； 二、在Scala中定义函数 2.1 定义函数 和Python相似，Scala中函数的定义和方法（类中的函数称为方法）都以关键词def开始， 阅读全文

摘要： 一、简介 最近在暑期实习，在数据挖掘的主业之外，也帮助同事做了很多网络数据采集的内容，接下来的数篇文章就将一一罗列出来，来续写几个月前开的这个网络数据采集实战的坑。 二、马蜂窝评论数据采集实战 2.1 数据要求 这次我们需要采集的数据是知名旅游网站马蜂窝下重庆区域内所有景点的用户评论数据，如下图所示 阅读全文