中文分词常用算法之基于词典的逆向最大匹配

算法描述：

1. S1为带切分字符串，S2为空，MaxLen为词典中的最大词长
2. 判断S1是否为空，若是则输出S2
3. 从S1右边开始，取出待处理字符串str（其中str的长度小于MaxLen）
4. 查看str是否在词典中，若是则转5，若否则转6
5. S2+=str+”/”,S1-=str,转2
6. 将str最左边的一个字去掉
7. 判断str是否为单字，若是则转5，若否则转4

Java实现代码：

public static List<String> BMM(String text) {
        Stack<String> result = new Stack<String>();
        while (text.length() > 0) {
            int len = MAX_LENGTH;
            if (text.length() < len) {
                len = text.length();
            }
            String tryWord = text.substring(text.length() - len);
            while (!DIC.contains(tryWord)) {
                if (tryWord.length() == 1) {
                    break;
                }
                tryWord = tryWord.substring(1);
            }
            result.push(tryWord);
            text = text.substring(0, text.length() - tryWord.length());
        }
        int len = result.size();
        List<String> list = new ArrayList<String>(len);
        for (int i = 0; i < len; i++) {
            list.add(result.pop());
        }
        return list;
    }

小结：

逆向最大匹配也是中文分词基本算法之一，因为是机械切分，所以它也有分词速度快的有点，最大逆向匹配比起正向最大匹配更符合人们的语言习惯，在上篇提到的“长春市长春节快乐”这句话它能完美的切分，但是它还是有局限性比如在切分“长春药店”、“画上荷花和尚画”这类句字时它的表现就没有正向最大匹配好，所以在此基础上我们可以使用双向最大匹配来解决此类问题。