摘要: -- 1 Apache Airflow 文档 AirFlow 对编程人员来讲就是一个平台,用于进行日程安排和监控。但是还在卵化期,严格来说,不是一个完整的成品。 阅读全文
posted @ 2017-07-24 09:31 soar.pang 阅读(255) 评论(0) 推荐(0)
摘要: -- 1 .在windows 环境中安装Mysql 会按照到默认的C盘当中,如何修改呢--? -- 2. 如何只安装客户端不安装Mysql 数据库服务 --? -- 3. 表的特殊列,默认采用函数值 --? 阅读全文
posted @ 2017-07-20 10:59 soar.pang 阅读(160) 评论(0) 推荐(0)
摘要: -- 1. 异常提示情况如下: 需要解决为什么引起死锁 -- 叹气 原因: 在使用Celery 启用了 配置参数 CELERYD_CONCURRENCY = 10 表示开了10块线程池。 有好处,可以快速并行的开启10 个Work ,相互不干扰的同时进行程式。 但是对于以上我的程式是更新SQL se 阅读全文
posted @ 2017-07-20 10:56 soar.pang 阅读(654) 评论(1) 推荐(0)
摘要: -- 1. 前提Mysql 已经安装在Ubuntu中 -- 2. 防火墙已经关闭 命令确认防护墙状态 -- 3.问题如果Ubuntu是基于Docker容器的环境,是否需要把Docker做端口映射? 解决方案: --1 Mysql 默认不允许远端访问,需要修改配置文件 /etc/mysql 下注释部分 阅读全文
posted @ 2017-07-18 10:26 soar.pang 阅读(412) 评论(0) 推荐(0)
摘要: -- 1 日志文件增长过快,未进行任务计划截断备份 造成文件过大199G 左右,而可用空间不足8% -- 2 日志备份之前,需要一次完整备份 再进行截断备份 出现可用空间99% 此时可以选择收索数据库到给定大小。Log文件中空的部分就会被释放 -- 3 在数据库中提供了维护计划里面数据库收索的,自动 阅读全文
posted @ 2017-07-12 14:53 soar.pang 阅读(276) 评论(0) 推荐(0)
摘要: --1 安装好SQL Server 2016 --2 安装.Net 3.5 由于SQL Server 2016 安装不提示强制安装.NET 3.5 但是还是需要安装,数据库发送邮件会使用.NET 3.5 提供的内容,如果不安装.NET 3.5 那么mail不能正常发送 Windows Server 阅读全文
posted @ 2017-07-11 12:42 soar.pang 阅读(1171) 评论(0) 推荐(0)
摘要: GetDate()是获取当前时间 1.例如获取年月类似 201706 需要改为语句: Select Datename(year,GetDate())+Datename(month,GetDate()) 阅读全文
posted @ 2017-06-30 10:50 soar.pang 阅读(6366) 评论(1) 推荐(0)
摘要: 目标:两组数据比对,A 来源Excel ,B 来源 Sql server DB ,比对合并,取值放入目标 C 中 首先使用工具SSIS包 一,以数据源 A 为准核对B 中是否有A 的数据和计算等动作 那么确认获取A 数据源并转换为正确的格式 注意: Excel获取的时候需要确认对应的版本,Excel 阅读全文
posted @ 2017-06-30 10:00 soar.pang 阅读(735) 评论(0) 推荐(0)
摘要: 一. 使用环境Ubuntu 安装Hadoop需要的软件 命令: $ sudo apt-get install ssh $ sudo apt-get install rsync 提示错误: 错误原因: 由于python2 和python 3之间的关系出现的错误,需要先卸载再安装 1.修改python为 阅读全文
posted @ 2017-06-26 15:06 soar.pang 阅读(141) 评论(0) 推荐(0)
摘要: 一.Windows server 2016 是肯定要安装的, 关于如何启动容器功能那就是控制面板中增加与删除里面的启用了,很多地方可以百度到 二. 安装Ubuntu hadoop 等 待续 注意: 由于docker 是在windows环境中的,所以pull 镜像时,要特别注意,是否为支持window 阅读全文
posted @ 2017-06-26 09:10 soar.pang 阅读(1073) 评论(0) 推荐(0)