日语分词工具安装 ginza

# 先升级pip确保能获取预编译wheel
pip install --upgrade pip

# 指定不编译SudachiPy（使用预编译版本）
pip install --prefer-binary sudachipy ja-ginza

import spacy
nlp = spacy.load("ja_ginza")  # 加载模型

text = "令和5年に東京で自然言語処理の勉強会を開催します。"
doc = nlp(text)

# 分词 + 词性标注
for token in doc:
    print(f"{token.text}\t{token.pos_}\t{token.tag_}")