多项式朴素贝叶斯（数据思维赛-安全文本信息抽取）

训练集有四列数据：

 id为序号，sentence_idx为语句的序号，words为从一条语句中解析出的单词，tag为每个word对应的tag标签。

 

test集给出前三列数据，求每一个word对应的tag数据。

 

使用多项式朴素贝叶斯算法解决：

import pandas as pd
from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.metrics import classification_report

# 读取数据
train_data = pd.read_csv('train.csv',converters={i: str for i in range(0, 100)})
test_data = pd.read_csv('test.csv',converters={i: str for i in range(0, 100)})

# 特征工程
vectorizer = CountVectorizer(lowercase=False, token_pattern=r'\b\w+\b')
X_train = vectorizer.fit_transform(train_data['words'])
X_test = vectorizer.transform(test_data['words'])
y_train = train_data['tag']
classes = train_data['tag'].unique().tolist()

# 训练模型
model = MultinomialNB()
model.fit(X_train, y_train)

# 预测标签
y_pred = model.predict(X_test)
tags_data = pd.DataFrame({'id': test_data['id'], 'sentence_idx': test_data['sentence_idx'], 'tag': y_pred})
tags_data.to_csv('result.csv', index=False)