argparse命令行参数的使用

import argparse

def main():

#设置一些参数
    parser = argparse.ArgumentParser()
    parser.add_argument('--device', default='0,1,2,3', type=str, required=False, help='设置使用哪些显卡')
    parser.add_argument('--model_config', default='config/model_config_small.json', type=str, required=False,
                        help='选择模型参数')
    parser.add_argument('--tokenizer_path', default='cache/vocab_small.txt', type=str, required=False, help='选择词库')
    parser.add_argument('--raw_data_path', default='data/train.json', type=str, required=False, help='原始训练语料')
    parser.add_argument('--tokenized_data_path', default='data/tokenized/', type=str, required=False,
                        help='tokenized语料存放位置')
    parser.add_argument('--raw', action='store_true', help='是否先做tokenize')
    parser.add_argument('--epochs', default=5, type=int, required=False, help='训练循环')
    parser.add_argument('--batch_size', default=8, type=int, required=False, help='训练batch size')
    parser.add_argument('--lr', default=1.5e-4, type=float, required=False, help='学习率')
    parser.add_argument('--warmup_steps', default=2000, type=int, required=False, help='warm up步数')
    parser.add_argument('--log_step', default=1, type=int, required=False, help='多少步汇报一次loss，设置为gradient accumulation的整数倍')
    parser.add_argument('--stride', default=768, type=int, required=False, help='训练时取训练数据的窗口步长')
    parser.add_argument('--gradient_accumulation', default=1, type=int, required=False, help='梯度积累')
    parser.add_argument('--fp16', action='store_true', help='混合精度')
    parser.add_argument('--fp16_opt_level', default='O1', type=str, required=False)
    parser.add_argument('--max_grad_norm', default=1.0, type=float, required=False)
    parser.add_argument('--num_pieces', default=100, type=int, required=False, help='将训练语料分成多少份')
    parser.add_argument('--min_length', default=128, type=int, required=False, help='最短收录文章长度')
    parser.add_argument('--output_dir', default='model/', type=str, required=False, help='模型输出路径')
    parser.add_argument('--pretrained_model', default='', type=str, required=False, help='模型训练起点路径')
    parser.add_argument('--writer_dir', default='tensorboard_summary/', type=str, required=False, help='Tensorboard路径')
    parser.add_argument('--segment', action='store_true', help='中文以词为单位')
    parser.add_argument('--bpe_token', action='store_true', help='subword')
    parser.add_argument('--encoder_json', default="tokenizations/encoder.json", type=str, help="encoder.json")
    parser.add_argument('--vocab_bpe', default="tokenizations/vocab.bpe", type=str, help="vocab.bpe")

    args = parser.parse_args()

    print('args:\n' + args.__repr__())

#设置完后接下来可以使用这些参数
    if args.segment:
        from tokenizations import tokenization_bert_word_level as tokenization_bert
    else:
        from tokenizations import tokenization_bert

    os.environ["CUDA_VISIBLE_DEVICES"] = args.device  # 此处设置程序使用哪些显卡

   

required    - 必需参数，通常-f这样的选项是可选的，但是如果required=True那么就是必须的了　

1 sys.argv

如果脚本很简单或临时使用，没有多个复杂的参数选项，可以直接利用sys.argv将脚本后的参数依次读取(读进来的默认是字符串格式)。

import sys
print("输入的参数为:%s" % sys.argv[1])

命令行执行效果：

>python demo.py 1
输入的参数为:1

　　

　使用介绍：

argparse.ArgumentParser（）方法参数须知：一般我们只选择用description

 prog=None     - 程序名

         description=None,    - help时显示的开始文字
          epilog=None,     - help时显示的结尾文字
         parents=[],        -若与其他参数的一些内容一样，可以继承
         formatter_class=argparse.HelpFormatter,     - 自定义帮助信息的格式
         prefix_chars='-',    - 命令的前缀，默认是‘-’
         fromfile_prefix_chars=None,     - 命令行参数从文件中读取
         argument_default=None,    - 设置一个全局的选项缺省值，一般每个选项单独设置
         conflict_handler='error',     - 定义两个add_argument中添加的选项名字发生冲突时怎么处理，默认处理是抛出异常

add_help=True    - 是否增加-h/--help选项，默认是True)

　　

　简单用法：

• 创建 ArgumentParser() 对象
• 调用 add_argument() 方法添加参数
• 使用 parse_args() 解析添加的参数

import argparse
parser = argparse.ArgumentParser()
parser.add_argument("square", help="请输入一个数字", type=int)
parser.add_argument("input_str", help="请输入一个字母", type=str)
args = parser.parse_args()
print(args.square ** 2)
print(args.input_str)

　　

把上面的代码保存到test_argparse.py文件，

1）命令行运行时，不添加参数：在终端运行python3 test_argparse.py ，运行结果如下：

$python3 test_argparse.py 
usage: test_argparse.py [-h] square input_str
test_argparse.py: error: the following arguments are required: square, input_str　　

2）命令行运行时加上-h ，查看帮助：执行python3 test_argparse.py -h,运行结果如下：

$ python3 test_argparse.py -h
usage: test_argparse.py [-h] square input_str

positional arguments:
  square      请输入一个数字
  input_str   请输入一个字母

optional arguments:
  -h, --help  show this help message and exit　

　　3） 命令行运行加上参数，按照提示加上一个数字，一个字母：执行python3 test_argparse.py 10 'hello world！' ,  运行结果如下

$python3 test_argparse.py 10 'hello world！'
100
hello world！　　

4）如果输入的格式不正确，会提示类型不对，例如第1个参数输入一个字符串，运行结果如下：

$ python3 test_argparse.py 'abcd' 11
usage: test_argparse.py [-h] square input_str
test_argparse.py: error: argument square: invalid int value: 'abcd'

现在看下可选参数的用法，所谓可选参数，也就是命令行参数是可选的，废话少说，看下面例子：　　

parser.add_argument("--square", help="display a square of a given number", type=int)
parser.add_argument("--cubic", help="display a cubic of a given number", type=int)

之前已经提到了用type参数就可以指定输入的参数类型。而这个type类型还可以表示文件操作的类型从而直接进行文件的读写操作。

parser.add_argument('file', type=argparser.FileType('r')) # 读取文件 
args = parser.parse_args() 
for line in args.file: 
    print line.strip()

　可以设置默认值

一般情况下会设置一些默认参数从而不需要每次输入某些不需要变动的参数，利用default参数即可实现。

parser.add_argument('filename', default='text.txt')

 

2 argparse

如果参数很多，比较复杂，并且类型不统一，那么argparse可以很好的解决这些问题，下面一个实例解释了argparse的基本使用方法

import argparse
# description参数可以用于描述脚本的参数作用，默认为空
parser=argparse.ArgumentParser(description="A description of what the program does")
parser.add_argument('--toy','-t',action='store_true',help='Use only 50K samples of data')
parser.add_argument('--num_epochs',choices=[5,10,20],default=5,type=int,help='Number of epochs.')
parser.add_argument("--num_layers", type=int, required=True, help="Network depth.")

args=parser.parse_args()
print(args)
print(args.toy,args.num_epochs,args.num_layers)

　　

命令行执行效果：

>python demo.py --num_epochs 10 --num_layers 10
Namespace(num_epochs=10, num_layers=10, toy=False)
False 10 10

 

parser.add_argument('--toy','-t',action='store_true',help='Use only 50K samples of data')

--toy:为参数名称

-t:为参数别称
action='store_true'：参数是否使用，如果使用则为True,否则为False

>python demo.py -t --num_epochs 10 --num_layers 10
Namespace(num_epochs=10, num_layers=10, toy=True)
True 10 10 # 对比和上次执行的区别

help:参数说明

parser.add_argument('--num_epochs',choices=[5,10,20],default=5,type=int,help='Number of epochs.')

choices:候选值，输出参数必须在候选值里面，否如会出现下面的结果：

>python demo.py -t --num_epochs 30 --num_layers 10
usage: demo.py [-h] [--toy] [--num_epochs {5,10,20}] --num_layers NUM_LAYERS
demo.py: error: argument --num_epochs: invalid choice: 30 (choose from 5, 10, 20)

default:默认值，如果不输入参数，则使用该默认值

>python demo.py -t  --num_layers 10
Namespace(num_epochs=5, num_layers=10, toy=True)
True 5 10

int：参数类型

• 实例2

parser.add_argument("--num_layers", type=int, required=True, help="Network depth.")

required:为必选参数，如果不输入，则出现以下错误：

>python demo.py -t --num_epochs 10
usage: demo.py [-h] [--toy] [--num_epochs {5,10,20}] --num_layers NUM_LAYERS
demo.py: error: the following arguments are required: --num_layers　

• 实例3
  -h：输出参数使用说明信息

>python demo.py -h
usage: demo.py [-h] [--toy] [--num_epochs {5,10,20}] --num_layers NUM_LAYERS

A description of what the program does

optional arguments:
  -h, --help            show this help message and exit
  --toy, -t             Use only 50K samples of data
  --num_epochs {5,10,20}
                        Number of epochs.
  --num_layers NUM_LAYERS
                        Network depth.

action='store_true'说明

a.py文件的代码如下：

import argparse
parser = argparse.ArgumentParser()
parser.add_argument('--t', help=' ', action='store_true', default=False)

config = parser.parse_args()

print(config.t)

直接运行python a.py，输出结果False

运行python a.py --t，输出结果True

也就是说，action='store_true'，只要运行时该变量有传参就将该变量设为True。