会走的树

2019年8月25日

摘要： piplines的使用取消setings.py文件内管道的注释，开启数据管道，使得爬取到的数据可以传送过来。初始代码解释利用重写spider的方法实现功能多个管道处理实现数据流水线处理创建SpiderdmPipeline_1类注册SpiderdmPipeline_1类并设置与资源调度阅读全文

posted @ 2019-08-25 21:50 会走的树阅读(187) 评论(0) 推荐(0)

Scrapy安装和项目创建

摘要：安装说明 scrapy安装需要安装一些第三方依赖库，依赖库的安装与需要和Python版本，Windows位数，所需的电脑插件有关。参考信息：Python3.6，Windows10 64位相关软件下载：链接：https://pan.baidu.com/s/1Vzx8GGeojmUzMSZEx 阅读全文

posted @ 2019-08-25 21:49 会走的树阅读(385) 评论(0) 推荐(0)

2019年8月19日

安装window下的redis，redis可视化管理工具

摘要： https://www.cnblogs.com/chengxs/p/9090819.html 阅读全文

posted @ 2019-08-19 23:59 会走的树阅读(476) 评论(0) 推荐(0)

eclipse环境下如何配置tomcat，并且把项目部署到Tomcat服务器上

摘要： https://blog.csdn.net/weixin_41704733/article/details/79871950 阅读全文

posted @ 2019-08-19 23:30 会走的树阅读(178) 评论(0) 推荐(0)

使用IntelliJ IDEA配置Tomcat（入门）

摘要： https://www.cnblogs.com/Knowledge has no limit/p/7240585.html 阅读全文

posted @ 2019-08-19 23:29 会走的树阅读(138) 评论(0) 推荐(0)

关于hive异常：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor

摘要： https://blog.csdn.net/hhj724/article/details/79094138 阅读全文

posted @ 2019-08-19 23:27 会走的树阅读(11004) 评论(0) 推荐(0)

完整过程解决 ERROR 1045 (28000): Access denied for user 'mysql'@'localhost' (using password: NO)

摘要： https://blog.csdn.net/nel0511/article/details/13091163 阅读全文

posted @ 2019-08-19 23:25 会走的树阅读(202) 评论(0) 推荐(0)

Hadoop伪分布式配置

摘要：系统:Centos6.5 创建需要的文件夹安装jdk 配置环境变量 Hadoop2.7.3伪分布式配置 yarn配置阅读全文

posted @ 2019-08-19 15:21 会走的树阅读(4028) 评论(0) 推荐(0)

Spark_scala_Maven项目创建

摘要： IDEA创建WordCount Maven项目创建WordCount源文件 words.text 内容 WordCount源码说明参考： https://www.cnblogs.com/studyNotesSL/p/11367751.html pom.xml源码选择 Enables Aut 阅读全文

posted @ 2019-08-19 14:56 会走的树阅读(886) 评论(0) 推荐(0)

2019年8月18日

tesseract-ocr的安装及使用

摘要： https://blog.csdn.net/qq_37193537/article/details/81335165 阅读全文

posted @ 2019-08-18 18:24 会走的树阅读(169) 评论(0) 推荐(0)

解决selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in P

摘要： https://blog.csdn.net/qq_26200629/article/details/86141131 阅读全文

posted @ 2019-08-18 18:21 会走的树阅读(4856) 评论(0) 推荐(0)

python第三方库资源

摘要： https://www.cnblogs.com/YangtzeYu/p/7858182.html 阅读全文

posted @ 2019-08-18 16:34 会走的树阅读(237) 评论(0) 推荐(0)

kafka伪分布式配置

摘要： http://dblab.xmu.edu.cn/blog/1096 2/ 安装kafka 修改zookeeper.properties 修改server.properties 测试kafka 阅读全文

posted @ 2019-08-18 14:27 会走的树阅读(227) 评论(0) 推荐(0)

2019年8月17日

Sqoop伪分布式配置

摘要：阅读全文

posted @ 2019-08-17 12:58 会走的树阅读(353) 评论(0) 推荐(0)

Spark伪分布式配置

摘要：阅读全文

posted @ 2019-08-17 11:31 会走的树阅读(510) 评论(0) 推荐(0)

Hive伪分布式配置

摘要： "安装MySQL" 安装HIve 配置环境变量使用hive默认的元数据使用MySQL作为元数据 Linux远程连接MySQL (5.1.41版本) 启动hive 参考: "大数据技术原理与应用第十四章基于Hadoop的数据仓库Hive 学习指南" "关于hive异常：Unable to in 阅读全文

posted @ 2019-08-17 10:50 会走的树阅读(589) 评论(0) 推荐(0)

MySQL配置及常见问题解决

摘要：本机安装MySQL (非Linux core版本) MySQL默认连接端口：3306 卸载已经安装使用yum安装MySQL 启动mysql服务解决初始密码问题 sqoop导入MySQL中文乱码的问题 Linux core连接MySQL 添加MySQL的主机IP映射安装MySQL的客户端阅读全文

posted @ 2019-08-17 10:46 会走的树阅读(408) 评论(0) 推荐(0)

Spark-WordCount

摘要： words.txt 数据阅读全文

posted @ 2019-08-17 10:43 会走的树阅读(232) 评论(0) 推荐(0)

Spark-Dataframe操作

摘要：准备代码使用SQL语句查询查看数据加载数据到数组获取指定字段的统计信息获取n行数据条件查询去除重复数据同字段数据组合(unionAll) 同字段数据行组合(join) 阅读全文

posted @ 2019-08-17 10:39 会走的树阅读(1124) 评论(0) 推荐(0)

2019年8月14日

Spark-RDD

摘要：头代码 RDD创建保存RDD数据 RDD数据类型转换 RDD逻辑操作方法去重分组累积运算(reduce) 筛选RDD元素拆分RDD的Map 统计个数选取元素排序 RDD合并 RDD分区分区运算阅读全文

posted @ 2019-08-14 15:49 会走的树阅读(247) 评论(0) 推荐(0)

公告