上一页 1 2 3 4 5 6 ··· 16 下一页

2020年4月2日

flume传输日志文件到HDFS过程讲解

摘要:Flume定义: Flume是Cloudera提供的一个高可用的、高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构, 灵活简单。 为什么选用Flume 主要作用: 实时读取服务器本地磁盘的数据, 将数据写入到HDFS Flume的组织架构 最简单的组织架构, 单agent F 阅读全文

posted @ 2020-04-02 21:41 孔扎根 阅读(2288) 评论(1) 推荐(0) 编辑

2019年11月11日

python3在极端网络波动下的智能判断下载

摘要:作者: 孔扎根 简介: 工作13余载,现任高级爬虫工程师,在工作中积累了丰富的数据库、ETL及python开发方面的经验。 座佑铭:美的东西都喜欢, 好的东西都想要, 美好的东西是我追求的目标 Python是一种跨平台的计算机编程语言。是一种面向对象的动态类型语言,Python的设计哲学是“优雅”、 阅读全文

posted @ 2019-11-11 19:17 孔扎根 阅读(647) 评论(0) 推荐(0) 编辑

2019年10月12日

python3 结束子线程

摘要:最近公司内部网络经常出问题,奇慢无比,导致人脸检测程序在下载图片时经常卡住,为了不影响数据的核对, 决定在网络不佳图片下载超时后放弃下载,继续执行后续程序。 于是整理出解决思路如下: 1、在线程中完成图片下载任务 2、设置图片下载超时的时间 3、当下载超时后线束下载线程, 执行后续任务 为了便于演示 阅读全文

posted @ 2019-10-12 18:59 孔扎根 阅读(5077) 评论(0) 推荐(0) 编辑

2019年9月27日

正则表达式

摘要:1、re.match 语法: re.match(pattern, string, flags=0) 功能: 在字符串的起始位置匹配一个模式, 符合条件的模式不在起始位置也返回None 测试字符串: restr = '''<div class="viewad-topMeta"><div class=" 阅读全文

posted @ 2019-09-27 17:22 孔扎根 阅读(122) 评论(0) 推荐(0) 编辑

2019年8月8日

kafka Auto offset commit faild reblance

摘要:今天在使用python消费kafka时遇到了一些问题, 特记录一下。 场景一、 特殊情况: 单独写程序只用来生产消费数据 开始时间: 10:42 Topic: t_facedec Partition: 1 程序启动: 168 启动consumer, 158启动consumer, windows机器p 阅读全文

posted @ 2019-08-08 11:12 孔扎根 阅读(797) 评论(0) 推荐(0) 编辑

2019年8月6日

安装包问题

摘要:一 、 安装rcssmin方法'''pip install wheelpip install rcssmin --install-option="--without-c-extensions"pip install rjsmin --install-option="--without-c-extensions"''' 阅读全文

posted @ 2019-08-06 17:48 孔扎根 阅读(109) 评论(0) 推荐(0) 编辑

2019年7月22日

身份证头像截取

摘要:今天练习一下身份证头像的截取功能,,做个备忘 环境: 操作系统: windows python: 3.5.3, opencv, dlib 1、用法 python source_pic.jpg dest_pic.jpg 提供一个源图片名 生成的目标文件名 2、身份证图片截取过程中发现, 在45度范围内 阅读全文

posted @ 2019-07-22 15:03 孔扎根 阅读(820) 评论(0) 推荐(1) 编辑

2019年7月3日

web表单

摘要:1、配置 使用Flask-WTF, 它集成了WTForms并且完美地集成到了flask. 在microblog根目录下创建一个文件,存储flask扩展的所有配置,CSRF_ENABLED用于激活跨站点请求伪造, SECRET_KEY用于激活CSRF时生成一个加密的令牌, 来验证一个表单。 配置文件的 阅读全文

posted @ 2019-07-03 17:13 孔扎根 阅读(196) 评论(0) 推荐(0) 编辑

2019年6月28日

模板与继承与控制语句

摘要:一、模板渲染 1、网页模板可以实现应用程序与网页布局的逻辑分开, 让你专注于pyhon代码的开发 2、网页模板已经有了, 那如何渲染它呢? 引入render_template包即可。 3、看一下渲染是否成功 二、控制语句 {% if %} {% endif %} : 条件 {% for %} {% 阅读全文

posted @ 2019-06-28 18:13 孔扎根 阅读(93) 评论(0) 推荐(0) 编辑

虚拟环境安装及Hello World

摘要:学习文章引自: http://www.pythondoc.com/flask-mega-tutorial/helloworld.html 1、安装项目需要的工具包 2、创建项目涉及到的相关目录 3、编辑初始化脚本, 导入Flask包, 生成名称为App的应用,导入视图(之后可以做为全局变量直接调用A 阅读全文

posted @ 2019-06-28 17:25 孔扎根 阅读(125) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 ··· 16 下一页

导航