随笔分类 - 每日一技
记录学习 Python、Linux、HTML、CSS、JS 等遇到的错误
摘要：需求：一次插入多条，获取每条记录的自增 ID # coding=utf-8 import traceback import pymysql db = pymysql.connect( host='localhost', port=3306, user="root", password="pwd",
阅读全文
摘要：需求：spark 可以直接使用 textFile 读取 HDFS，但是不能判断 hdfs 文件是否存在，不过 pyspark 可以调用 java 程序，因此可以调用 FileSystem来实现： # coding=utf-8 from pyspark import SparkContext sc =
阅读全文
摘要：散列表（Hash table，也叫哈希表），是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表 # coding=utf-8 """ 需求：读取文件，每行为一段 j
阅读全文
摘要：该爬虫是将本地一批 query（待翻译的文本），通过 bing 翻译的接口进行翻译，采用的是 asyncio 协程进行并发抓取。 问题：该爬虫因代理问题导致抓取任务失败，之前的做法是将失败的 query 写入另一个文件中，手续手动重新抓取，虽然也能解决但是不够智能也过于繁琐。 需求：实现失败自动重抓
阅读全文
摘要：现有两张数据表：A、B： # A 表，只有 id 有唯一索引（primary key） id、name、description、age... # B 表，只有 id 有唯一索引（primary key） id、task_id、index_name、status、final_status... 问题：
阅读全文
摘要：1. CentOS 7 运行yum时出现/var/run/yum.pid已被锁定,PID为xxxx的另一个程序正在运行的问题解决 解决办法： ，删除文件后再次运行 yum 可用。 2. CentOS7 使用 ifconfig命令 ENS33没有IP地址的解决办法 解决办法：
阅读全文
摘要：原因 使用局部钩子函数 对 username、email 字段进行验证时，未返回，具体请参考 函数源码。 解决 局部钩子函数一定要记得带上返回值，全局钩子函数也是一样：
阅读全文
浙公网安备 33010602011771号