2018年5月21日
sqoop import/export使用经验
摘要： 一.先创建一个小表(test_01)进行测试(主节点IP:169.254.109.130/oracle服务器IP:169.254.109.100) 1.测试连接oracle; sqoop list-tables --connect jdbc:oracle:thin:@169.254.109.100/ 阅读全文
posted @ 2018-05-21 11:34 Dozn 阅读(1193) 评论(0) 推荐(0)
2018年5月15日
hive 查看表结构和属性
摘要： 1.查看数据库/表 show databases/tables; 2.切换数据库 use database_name; 3.查看表结构 desc table_name; 4.查看表详细属性 desc formatted test; 阅读全文
posted @ 2018-05-15 11:48 Dozn 阅读(59915) 评论(2) 推荐(2)
2018年5月8日
Oracle-两表关联更新和插入
摘要： 需求： 表a(com_name,stock_code,com_sacle,mark,market_location,company_name) 表b(com_name,stock_code,com_sacle) 如果a.stock_code=b.stock_code 把b.com_name,b.co 阅读全文
posted @ 2018-05-08 15:50 Dozn 阅读(3462) 评论(0) 推荐(0)
2018年3月29日
Python读取 csv文件中文乱码处理
摘要： 字符串在Python内部的表示是unicode编码，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。 decode的作用是将其他编码的字符串转换成unicode编码，如str1.de 阅读全文
posted @ 2018-03-29 10:11 Dozn 阅读(12247) 评论(0) 推荐(1)
2018年3月16日
python+selenium webdriver.firefox()方式配置浏览器设置
摘要： webdriver.firefox() 爬虫需求： (其实是输入参数可获取.zip/pdf 文件，然后点击下载) ——但是firefox浏览器有Bug，点击下载之后会有弹出窗口,需要你点击确定,这怎么能成，所以 百度一把：得知需要修改firefox的配置文件mimeTypes.rdf ——搜索栏输入 阅读全文
posted @ 2018-03-16 15:29 Dozn 阅读(1961) 评论(0) 推荐(0)