随笔分类 - Python开发
通过Python完成数据的读取、处理、清洗、写入等操作
摘要：1、安装依赖 pip install oracledb pandas openpyxl 2、下载 Oracle Instant Client （1）从 Oracle 官网 选择与操作系统匹配的版本（如 19c 或 21c） 下载地址： Oracle Instant Client - Free t
阅读全文
摘要：1、安装依赖 pip install sshtunnel psycopg2 openpyxl pandas 2、实现代码： import pandas as pd import psycopg2 from openpyxl import load_workbook from openpyxl.sty
阅读全文
摘要：1、安装依赖 pip install sshtunnel pyodbc openpyxl pandas 2、安装 DB2 ODBC 驱动 我使用的DB2版本是10.5，下载的ODBC驱动文件如下： ibm_data_server_driver_package_win64_v10.5.exe 3、完
阅读全文
摘要：1、安装依赖 pip install pymysql pandas openpyxl sshtunnel 2、完整代码 import pymysql import pandas as pd from openpyxl import load_workbook from openpyxl.styles
阅读全文
摘要：有很多时候在连接数据库时，都需要通过一个跳板机进行跳转才能连接上数据库，在数据库连接工具中一般称之为“SSH隧道”。 1、安装依赖 pip install sshtunnel pyodbc pandas openpyxl 2、安装 ODBC Driver for SQL Server msodbcs
阅读全文
摘要：完整代码： import pyodbc import pandas as pd from openpyxl import load_workbook from openpyxl.styles import Border, Side, PatternFill, Font, Alignment from
阅读全文
摘要：问题描述： 执行如下代码时出现报错问题，输出的内容本应为中文，但是输出为乱码。 #coding=utf8 import pymssql import pandas as pd # 数据库连接配置 config = { "server": host, "port": port, "user": use
阅读全文
摘要：一、环境准备与库安装 pip install pymysql pandas openpyxl 二、完整实现代码 导出MySQL数据库的表结构到Excel import pymysql import pandas as pd from openpyxl import load_workbook fro
阅读全文
摘要：本文没有使用Faker，而是自己根据需求编写函数生成随机的数据，然后插入MySQL表中。 1.MySQL表 CREATE TABLE `t_trans_detail` ( `product` varchar(20) DEFAULT NULL COMMENT '产品', `trans_time` da
阅读全文
摘要：背景 在软件需求、开发、测试过程中，有时候需要使用一些测试数据，针对这种情况，我们一般要么使用已有的系统数据，要么需要手动制造一些数据。由于现在的业务系统数据多种多样，千变万化。在手动制造数据的过程中，可能需要花费大量精力和工作量，此项工作既繁复又容易出错，比如要构造一批用户三要素(姓名、手机号、身
阅读全文
摘要：一、数据结构基础 Series 与 DataFrame 的区别 Series 是一维标签数组，只能存储单一类型数据；DataFrame 是二维表格型数据结构，不同列可以存储不同数据类型。 Series 由 值（values） 和 索引（index） 组成； DataFrame由多个列（Serie
阅读全文
摘要：什么是lambda表达式 lambda 表达式是一个匿名函数，lambda表达式基于数学中的λ演算得名，直接对应于其中的lambda抽象，是一个匿名函数，即没有函数名的函数。 lambda表达式常用来声明匿名函数，即没有函数名字的临时使用的小函数，常用在临时需要一个类似于函数的功能但又不想定义函数的
阅读全文
摘要：一、什么是Pandas库 （1）、Pandas 应用 Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Excel 导入数据。 Pandas 可以对各种数据进行运算操作，比如归并、再成形、选择，还有数据清洗和数据加工特征。 Pandas 广泛应用在学术、金融、统计学等各个数据分析领域。
阅读全文
摘要：以下是 Python 中 break、pass 和 continue 三者的核心区别及使用场景总结： 一、功能区别 关键字作用适用场景 break 立即终止当前循环（包括 for 和 while），跳出循环体执行后续代码。 当满足特定条件需提前结束循环时使用，如遍历中查找到目标值后终止
阅读全文
摘要：基础部分 1.列出 5 个常用 Python 标准库？ os：提供了不少与操作系统相关联的函数 sys: 通常用于命令行参数 re: 正则匹配 math: 数学运算 datetime: 处理日期时间 2.Python 内建数据类型有哪些？ int、bool、 str、 list、 tuple、 di
阅读全文
摘要：Python 作为一种功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是一些广泛使用的 Python 库，涵盖了从数据科学、机器学习到网络爬虫等多个领域： 1．数值计算与科学计算 NumPy：用于科学计算的基础包，提供了高性能的多维数组对象和用于数组操作的工具。 SciP
阅读全文
摘要：实现功能：通过openpyxl读取Excel，并将数据写入MySQL表中。 说明： Excel中首行必须为表中的字段名称。因为向MySQL插入数据使用的是Insert 语句，插入的字段就是读取第一行的数据。 Python代码： import pymysql from openpyxl import
阅读全文
摘要：Openpyxl介绍 在数据处理和分析的过程中，Excel文件由于其直观的表格形式以及易操作的特点，被广泛应用于各个行业和领域。而Python作为一种强大的编程语言，自然也提供了多种处理Excel文件的库。其中，openpyxl库就是专门用于读写.xlsx文件的Python库。本文将详细介绍如何使用
阅读全文
摘要：实现功能： Pandas读取Excel中数据写入MySQL的表中。 MySQL表结构： CREATE TABLE `test_excel_to_mysql` ( `ast_id` varchar(100) DEFAULT NULL , `equip_name` varchar(100) DEFAUL
阅读全文
摘要：背景 在数据中台中，有时为了核对数据，需要每天批量统计MySQL数据库中表的数据量，但是DMS中没有周期调度功能。 MySQL创建表 --统计的表清单 CREATE TABLE `dws_table_list` ( `table_name` varchar(255) DEFAULT NULL, `f
阅读全文
浙公网安备 33010602011771号