java---分词器

0. StringTokenizer（不好用）

1. Scanner 扫描器 + 定界符
   结合正则表达式

字符处理，使用linux的 sed 和 awk，或者python比较方便。