Golang 读取 Parquet 文件

1. 简介

Parquet 是一种高效的列式存储格式，广泛用于大数据处理场景，如 Apache Spark、Hive 和 Hadoop 生态系统。它具有高效的压缩和编码特性，非常适合存储和查询大规模数据。

Golang 通过 github.com/xitongsys/parquet-go 库可以方便地读取和写入 Parquet 文件。本文将介绍如何使用 Golang 读取 Parquet 文件，并提供代码示例。

---

2. 目录

1. 安装 parquet-go
2. 读取 Parquet 文件
3. 解析 Parquet 数据
4. 处理嵌套数据结构
5. 最佳实践
6. 小结
7. 参考资料

---

3. 安装 parquet-go

首先，我们需要安装 parquet-go 库：

go get github.com/xitongsys/parquet-go

---

4. 读取 Parquet 文件

4.1 读取简单的 Parquet 文件

使用 parquet-go 读取 Parquet 文件可以通过 parquet.Reader 进行操作，以下是一个基础示例：

package main

import (
	"fmt"
	"log"
	"os"

	"github.com/xitongsys/parquet-go/reader"
	"github.com/xitongsys/parquet-go/source/local"
)

// 定义与Parquet文件匹配的数据结构
type Person struct {
	Name string `parquet:"name=name, type=UTF8"`
	Age  int32  `parquet:"name=age, type=INT32"`
}

func main() {
	// 打开本地Parquet文件
	fr, err := local.NewLocalFileReader("data.parquet")
	if err != nil {
		log.Fatalf("无法打开Parquet文件: %v", err)
	}
	defer fr.Close()

	// 创建Parquet文件读取器
	pr, err := reader.NewParquetReader(fr, new(Person), 4)
	if err != nil {
		log.Fatalf("无法创建Parquet读取器: %v", err)
	}
	defer pr.ReadStop()

	// 读取数据
	num := int(pr.GetNumRows()) // 获取文件的总行数
	records := make([]Person, num)

	if err = pr.Read(&records); err != nil {
		log.Fatalf("读取Parquet数据失败: %v", err)
	}

	// 打印读取的数据
	for _, record := range records {
		fmt.Printf("Name: %s, Age: %d\n", record.Name, record.Age)
	}
}

4.2 代码解析

1. 打开文件：使用 local.NewLocalFileReader 读取本地 Parquet 文件。
2. 创建读取器：使用 reader.NewParquetReader 解析 Parquet 文件，并指定 Person 结构体作为数据格式。
3. 读取数据：调用 pr.Read(&records) 读取所有数据，并存储到 records 切片中。
4. 输出数据：遍历 records 并打印数据。

---

5. 解析嵌套数据结构

如果 Parquet 文件包含嵌套数据，例如：

{
  "id": 1,
  "name": "Alice",
  "address": {
    "city": "New York",
    "zip": "10001"
  }
}

我们需要在 Golang 结构体中定义嵌套结构：

type Address struct {
	City string `parquet:"name=city, type=UTF8"`
	Zip  string `parquet:"name=zip, type=UTF8"`
}

type Person struct {
	ID      int32   `parquet:"name=id, type=INT32"`
	Name    string  `parquet:"name=name, type=UTF8"`
	Address Address `parquet:"name=address"`
}

在读取时，parquet-go 会自动解析嵌套结构，读取方式与前述示例相同。

---

6. 最佳实践

• 批量读取数据：使用 pr.Read() 而不是逐行读取，以提高效率。
• 并发处理：Parquet 文件支持并行读取，使用 reader.NewParquetReader(fileReader, schema, numGoRoutine) 中的 numGoRoutine 来控制并发度。
• 检查文件模式：某些 Parquet 文件可能带有压缩（如 Snappy、Gzip），确保 parquet-go 版本支持这些格式。
• 资源管理：调用 pr.ReadStop() 释放资源，避免内存泄漏。

---

7. 小结

本文介绍了如何使用 parquet-go 读取 Parquet 文件，包括：

• 安装 parquet-go
• 读取基础 Parquet 文件
• 处理嵌套数据结构
• 提供最佳实践

Golang 通过 parquet-go 提供了高效的 Parquet 读写能力，非常适合大规模数据处理应用。

---

8. 参考资料

1. GitHub - parquet-go
2. Apache Parquet 官网
3. Parquet 数据格式介绍
4. Parquet 中文文档