信息系统数据转换与迁移

摘要

2023年6月我参与了XXX学校教务系统的开发与实施工作，担任系统分析设计师。该系统主要实现学校教学发展新要求、满足学生、教师和管理人员完成教学任务数字化管理，学生、教师使用方便，完成各种功能，管理人员可以及时掌握教学过程和教学结果，每个学生有自己个性化的学习需求，每位教师根据教学方案围绕学生个性化的学习需求由教务系统形成完善的教学计划，管理人员获得到准确的教学报告。本文结合作者的工作实践，以教务系统为例，讨论教务系统开发与实施过程中数据转换与迁移过程，包括数据的抽取、数据转换和数据迁移后的校验等三项活动。

正文

2023年之前XXX学校,已经使用了10多年的教务系统已经不能满足学校新的教学需求,原来教务系统使用到现在在价值和技术特点为：低水平和低价值。主要问题体现在(1)学校学生规模为2万左右，在线选课效率低；(2)学校数据大脑建设，对接老的教务系统数据，不能满足数据标准化需求;(3)学校教学管理发生变化，不能满足一生一方案教学需求。为了试应新的变化，学校在2023年初通过公开招标采购了XXX公司的新教务系统，项目金额为120万元，项目周期为8个月，满足学校新的教学需求，适应学校教学工作的多样化。

信息系统的数据迁移与转换过程中大致包括数据抽取、数据转换和迁移后的数据校验等三项活动，活动的内涵目标是实现老系统历史数据无缝对接到新教务系统，使用者查询老系统数据可以在新系统中进行，不必到老系统中查询。活动要点主要包括数据抽取，抽取数据前要做好目标表和原始表数据项结构对照匹配，原始表数据量大小评估，便于数据同步到新系统；数据转换工作是在数据抽取完成以后进行，对于同样的数据表述，老系统表内数据可能和新系统表内数据表述不同，这里就需要进行转换，比如性别，老系统数据为“男”、“女”，新系统按照数据标准表对应关系为”1“和”2“表示，同时对应元数据表对1和2进行说明。数据转换工作就是把老系统中的性别的数据按照元数据标准进行数据转换；迁移后的数据校验是在数据转换完成以后进行，主要是对部分转换过来的数据进行检查校验，对数据的完整性和可用性进行校验，比如迁移后的教学周期表出现一些异常数据，这个时候需要联系教务处系统管理员对这些数据进行校验确认。同时需要考虑老教务系统中非关系型文档数据与关系型数据的对应关系，为后面数据迁移做准备。

根据建设要求，本项目实施周期为8个月，数据转换和迁移工作作为项目的重要组成部分，在项目规划时数据规划迁移集成工作已经开始，1把现有老教务备份出来，组成一个测试环境；2通过需求调研获取老教务数据库说明书，确定表和数据字段类型的含义，对于一些不能确认数据表含义的字段，项目组提出结合数据库审计系统，通过在线观摩，参与业务实践跟踪SQL获取更进一步详细的字段信息；3根据获取到的数据，构建原系统的数据模型，并与新教务系统数据模型进行关系映射，以期望有些必要的数据表实现数据抽取转换与加载到新的数据表中，参与到OLTP联机事务处理中来 ；4 对于一些获取到海量数据，比如历年学生选课信息表，10多年来达到千万以上，新教务系统提供OLAP联机分析平台，可有对历史数据进行分析处理；5 对于一些过程性数据，也一起同步到新教务系统的OLAP联机分析平台中，便于以后溯源；6 数据迁移过来以后，按照数据元确定的数据标准，需要对原始数据转换，转换为新教务系统可以使用的数据，例如学生基础信息，教师基础信息，校历信息等；

7 迁移数据完成以后，需要对数据进行校验，校验数据包含：数据类型校验，数据长度校验，范围校验，唯一性校验、存在性校验和格式校验，以及自定义业务规则校验等，把发现问题的数据和客户商议如何进行转换或者忽略处理或者抛弃处理等；8 以上工作都完成以后，新教务系统可以试运行，试运行期间把发现的数据问题再次整理，并进行迭代处理，一直到客户满意，形成新的教务数据标准。在以上工作中可能遇到如下问题需要处理：1 原始数据表数据库说明文档不全或者不对，这时可以采取联系原厂进行确认，在联系不到原厂家或者原厂家不配合时，项目组提出结合数据库审计系统，通过在线观摩，参与业务实践跟踪SQL执行过程获取更进一步详细的字段信息，这也可以更进一步理顺原系统数据表字段含义；2对于大量数据的表，单纯通过同步软件例如：Kettle或者Oracle DI工具进行数据同步可能存在一定困难，需要把表数据按照一定的规则进行垂直切分或者水平切分；3 对于部分转换并同步过来的数据，可能不满足客户需求，项目开发人员的理解可能和客户的理解存在二义性，这个时候就需要和客户进行沟通，校验出客户认可的数据，这个时候沟通协调是一项重要的工作；3 数据转换工作需要细致，对每一个数据表字段都要仔细梳理，包括字段名称能，字段类型，字段范文，字段含义，字段是否是外键，字段是否为空等，确保新老数据模型的一致性和可用性，完成数据的对接；4 数据抽取时机的确认，项目启动时进行一次数据抽取，进行数据的抽取转换和校验工作，在各项工作都以完成以后，随着项目的推进，在客户都认可新系统各项功能的情况下，确定后最终的数据抽取时间，完成新系统上线和调试工作。项目上线使用是一个里程碑，各项工作特别是数据工作一定要仔细完成，满足客户的需求。

新教务系统部署主要在学校的超融合平台上完成，数据库分2台独立物理机部署，Keepalive+nginx+redis 实现应用端负载均衡满足大量学生同时进行选课操作；数据库Oracle读写分离；新教务系统采用构件开发模式，公司在教育领域多多年的开发维护经验，满足学校新的业务需求，在合同规定的范围内以及成本可控的范围内进行可控的需求定制性更改（例如用户提出增补毕业生实习报告功能开发，用户提出和教学资源平台的成绩完成学分认定工作等）。

2024年3月新教务系统已经开始上线使用，目前运行情况正常，所有操作系统均采用信创华为EulerOS操作系统，性能达到需求要求，数据转换工作完成。项目验收时得到同事和领导的一致好评。尽管项目取得了成功，但我也看到了不足之处。首先目前国家要求数据库产品信创产品的适配，虽然公司前期也完成了信创产品的适配工作，但是为了确保项目按时完成，项目团队和校方商议还是采用稳妥的部署实施模式进行，后期根据校方需要，完成数据库信创适配。通过此次项目的顺利实施，我在数据对接，数据标准化，数据校验等方面收获很大，同时也对信创适配高性能高并发软硬件结合方面取得了很多收获，为我以后的工作提供了很大的帮助。软件架构和网络安全技术日新月异，也在不断的激发我学习进步的信心，为以后能够应对更多样更复杂的工作做好准备。