随笔分类 - 知识点整理
摘要：需求场景 拆分方法 方法一 df=df.drop('cont', axis=1).join(df['cont'].str.split('/', expand=True).stack().reset_index(level=1, drop=True).rename('tag')) 方法二 df=df[
阅读全文
摘要：Hive元数据相关配置 hive的配置 下面是Hive元存储”的存储位置为MySQL数据库，必要的配置。包括连接URL，驱动类，数据库账号以及密码 <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://m
阅读全文
摘要：序言 一般微信公众号文章里面的音乐是没有下载按钮的，如果我们需要下载该怎么办呢？ 下面是完整的音乐链接和解析下载步骤 微信公众号文章链接： https://mp.weixin.qq.com/s?__biz=MzA5NTg0MzMyNg==&mid=2652963841&idx=4&sn=08b730
阅读全文
摘要：简介 Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系
阅读全文
摘要：数据导出 hbase 的数据导出的时候，可以导出到Hdfs，或者本地文件系统。默认导出到HDFS 导出到HDFS hbase org.apache.hadoop.hbase.mapreduct.Export tablename hdfs:///exportpath 导出到本地文件系统 hbase o
阅读全文
摘要：scala 中使用SimpleDateFormat对时间进行格式化
阅读全文
摘要：获取 html 执行js得到整个HTML，这里得到的是纯html文件 html = driver.execute_script("return document.documentElement.outerHTML") 获取完整的网页信息 一般一个网页会包括 html、js、css 图片、Flash动
阅读全文
摘要：hbase删除数据每次都要传入一的rowkey，然后按行删除数据，所以我们删除一列只需要获取到这一列数据的行号就行了。 from happybase import Connection CLIENT=Connection(host='xxxxxxxx',port=xxxxx) table=CLIEN
阅读全文
摘要：firefox设置selenium无界面 from selenium import webdriver options = webdriver.FirefoxOptions() options.set_headless() driver=webdriver.Firefox(firefox_optio
阅读全文
摘要：使用正则表达式去除htm标签，只取出标签里面的文本内容
阅读全文
摘要：包名 规范 一般是小写字母、数字、点组成 不能以数字开头 不能使用关键字 示例 com.公司名.项目名.模块名 com.guigu.oa.model com.sina.user 类名 规范 数字、字母、下划线、美元符号组成 一般以大写字母开头 一般使用驼峰命名法 不能使用关键字 示例 Person
阅读全文
摘要：使用nodejs编写后台从数据库中读取数据，再渲染到前端html文件用Echart画图 nodejs后台 var express = require('express'); var swig = require('swig'); var app = express(); var mysql=requ
阅读全文
摘要：简介 JSM是java消息服务应用程序接口，是一个java平台中面向消息中间件（MOM）的API，用于两个应用程序之间，或分布式系统中发送消息，进行异步通讯。 体系架构 JSM由以下元素组成： JSM提供者、JMS客户、JMS生产者、JMS消息、JMS队列、JMS主题 JMS提供者：连接面向消息中间
阅读全文
摘要：Nodejs在进行渲染前端文件的时候，可以使用ejs或者swig渲染引擎 下面是两种方法来进行渲染html文件 方式一：使用ejs渲染引擎 后台JS文件 var express=require('express'); var ejs=require('ejs'); app=express(); //
阅读全文
摘要：导入代理列表 把随机的IP列表定义在settings.py文件里面 PROXIES=['http://180.119.43.106:4228', 'http://106.56.246.104:4237', 'http://118.79.56.240:4278', 'http://223.215.17
阅读全文
摘要：序言 我们在进行请求的时候，一般会设置虚拟的UserAgent，但是每次手动去设置很麻烦，而且同一个UserAgent访问次数多了，也很容易被屏蔽，所有我们需要大量的UserAent去供我们发起请求。 fake-useragent这个库包含了大量的UserAgent可以随意进行替换 安装fake-u
阅读全文
摘要：创建虚拟环境： 安装virtualenv pip insatll virtualenv 创建虚拟环境 vene是你的虚拟环境的名字，virtualenv 会在当前环境创建一个虚拟的pyhon环境 virtualenv vene virtualenv 创建出来的虚拟环境是和原来的python环境是互不
阅读全文
摘要：字符串转换为大写： str.toUpperCase() 字符串转换为小写： str.toLowerCase() 使用map进行全部转换 def main(args: Array[String]): Unit = { /* 将 val names = List("ALice","Bob","Nick"
阅读全文
摘要：查看网卡配置详情信息 ifconfig ethx 其中ethx中的x代表第几块网卡，默认第一块为0 例：查看网卡eth0的配置信息：ifconfig eth0 IP地址的设置 分配一个临时地址 通过ifconfig命令为网卡配置一个临时的ip地址，此命令通常用来测试使用。计算机重新启动的时候IP地址
阅读全文
摘要：python反射 什么是反射? 这是摘自维基百科的解释 在计算机学中，反射（英语：reflection）是指计算机程序在运行时（runtime）可以访问、检测和修改它本身状态或行为的一种能力。[1]用比喻来说，反射就是程序在运行的时候能够“观察”并且修改自己的行为。 和反射还有一个很相似的机制：自省
阅读全文
浙公网安备 33010602011771号