摘要: 从控制台写入数据并将其写回控制台是一个方便的起点,但您可能希望使用其他来源的数据或将数据从Kafka导出到其他系统。对于许多系统,您可以使用Kafka Connect导入或导出数据,而不是编写自定义集成代码。 Kafka Connect是Kafka附带的工具,可以向Kafka导入和导出数据。它是一个 阅读全文
posted @ 2019-07-10 16:32 Grizabella🌸 阅读(1728) 评论(0) 推荐(0) 编辑
摘要: 提前准备: 安装jdk-8u201-linux-x64.tar.gz环境 安装zk集群,也可以采用kafka自带的zk,这里我使用的是自己创建的zk集群 服务器IP: zk1:192.168.1.2 zk2:192.168.1.3 zk3:192.168.1.4 kafka:192.168.1.5 阅读全文
posted @ 2019-07-10 16:19 Grizabella🌸 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 数据格式为: riqi,total1,total22019-06-01,62192,6272019-06-02,546240,5462019-06-03,6603,65972019-06-04,5943,5942019-06-05,61289,61282019-06-06,65090,6500201 阅读全文
posted @ 2019-07-02 17:37 Grizabella🌸 阅读(233) 评论(0) 推荐(0) 编辑
摘要: pandas.DataFrame.plot() 在0.23.4版本的pandas中,pandas.DataFrame.plot()中常用的参数有以下几个 x:横坐标上的标签,一般是DataFrame中某个column的名称,默认为None y:纵坐标上要显示的column,如果不指定column,则 阅读全文
posted @ 2019-06-24 18:25 Grizabella🌸 阅读(516) 评论(0) 推荐(0) 编辑
摘要: 在许多应用中,数据很少取自文本文件,因为用这种方式存储大量数据文件很低效,基于SQL的关系型数据库使用很广泛,此外还有一些非SQL(如NOSQL)型数据库也变得非常流行,数据库的选择通常取决于性能,数据完整性以及应用程序的伸缩性需求。 将数据从SQL加载到DataFrame非常简单,此外pandas 阅读全文
posted @ 2019-06-15 20:52 Grizabella🌸 阅读(3039) 评论(0) 推荐(0) 编辑
摘要: 因为其简单的文件交互语法、直观的数据结构,以及诸如元组打包解包之类的便利功能,python在文本和文件处理方面已经成为一门简单的语言。 pandas提供了一些用于将表格型数据读取为DataFrame对象的函数,以下对他们进行了总结,其中read_csv和read_table可能是你今后用的最多的。 阅读全文
posted @ 2019-06-10 17:59 Grizabella🌸 阅读(617) 评论(0) 推荐(0) 编辑
摘要: pandas有一个Panel数据结构,可以看做为三维版的DataFrame。 基于ix的标签索引被推广到了三个维度,因此我们可以选取指定日期和日期范围的所有数据。 另一个用于呈现面板数据的办法是堆积式的DataFrame形式。 DataFrame有一个to_panel方法,他是to_frame的逆运 阅读全文
posted @ 2019-06-09 20:11 Grizabella🌸 阅读(2307) 评论(0) 推荐(0) 编辑
摘要: 人们经常想要将DataFrame的一个或多个列当作行索引来用,或者可能希望将行索引当成DataFrame的列。 DataFrame的set_index函数会将其一个或多个列转换为行索引,并创建 一个新的DataFrame。 默认情况下,那些列会在DataFrame中移除,但是也可以将其保留下来。 r 阅读全文
posted @ 2019-06-09 14:51 Grizabella🌸 阅读(273) 评论(0) 推荐(0) 编辑
摘要: 有时你需要重新调整某个轴上面的级别顺序,swaplever接受两个级别编号或者名称,并返回一个互换了级别的新对象。 而sortlever(或者sort_index(1)则根据单个级别中的值对数据进行排序,交换级别时,常常用到sortlever,这样最终结果就是有序的了。 许多对DataFrame和S 阅读全文
posted @ 2019-06-09 14:31 Grizabella🌸 阅读(891) 评论(0) 推荐(0) 编辑
摘要: 层次化索引是pandas的一项重要功能,他使你能在一个轴上拥有多个(两个以上)索引级别,抽象点说,它能使你以低维度形式处理高纬度数据,我们先来看一个简单的例子,创建一个Series,并用一个由列表或数组组成的列表作为索引。 这就是带有MultiIndex索引的Series的格式化输出形式,索引之间的 阅读全文
posted @ 2019-06-08 21:07 Grizabella🌸 阅读(304) 评论(0) 推荐(0) 编辑