随笔分类 - 日常
摘要:使用AWS SageMaker进行机器学习项目 本文主要介绍如何使用AWS SageMaker进行机器学习项目。 1. 题目 使用的题目为阿里天池的“工业蒸汽量预测“,题目地址为: https://tianchi.aliyun.com/competition/entrance/231693/intr
阅读全文
摘要:数据湖 数据湖的产生是为了存储各种各样原始数据的大型仓库。这些数据根据需求,进行存取、处理、分析等。对于存储部分来说,开源版本常见的就是 hdfs。而各大云厂商也提供了各自的存储服务,如 Amazon S3,Azure Blob 等。 而由于数据湖中存储的数据全部为原始数据,一般需要对数据做ETL(
阅读全文
摘要:1. 启动Kafka Server bin/kafka-server-start.sh config/server.properties & 2. 创建一个新topic bin/kafka-topics.sh --create --zookeeper xxxx --replication-facto
阅读全文
摘要:itchat是一个开源的微信个人号接口,使用它我们可以很方便的访问我们个人微信号里的信息。itchat的github地址如下: https://github.com/littlecodersh/itchat 在通过 pip install itchat安装此模块后,我们即可以通过使用python访问
阅读全文