手把手复现NLP期末「综合题」：用Python+最大熵/BERT实战命名实体识别(NER)

从零实现命名实体识别：最大熵与BERT的Python实战对比

第一次接触命名实体识别(NER)任务时，看到BIO标注、特征模板、上下文窗口这些术语总让人望而生畏。更不用说考试题目里那些抽象的最大熵模型公式和BERT的架构图了——它们就像天书一样躺在试卷上，而我们需要用代码让这些概念真正"活"起来。本文将带您用Python完整实现两个NER系统：基于传统机器学习的最大熵模型，以及使用预训练BERT的深度学习方法。通过这个实战项目，您不仅能理解期末考试中的技术要点，更能获得可直接复用的工业级代码。

1. 理解命名实体识别与BIO标注

命名实体识别(NER)是自然语言处理中的经典序列标注任务，旨在识别文本中的人名、地名、组织机构名等实体。假设我们有这样一句话："马云在杭州创立了阿里巴巴"，理想的NER输出应该标注为：

马/B-PER 云/I-PER 在/O 杭/B-LOC 州/I-LOC 创/O 立/O 了/O 阿/B-ORG 里/I-ORG 巴/I-ORG 拉/I-ORG

这里的BIO标注方案是业界标准：

• B-XXX：表示某类实体的开始(Begin)
• I-XXX：表示某类实体的中间或结束(Inside)
• O：表示非实体(Outside)

实际项目中，我们通常使用conll2003数据集进行练习，它包含四种实体类型：PER(人名)、LOC(地点)、ORG(组织机构)和MISC(其他)。让我们用Python加载这个数据集：

from datasets import load_dataset dataset = load_dataset("conll2003") train_data = dataset["train"] print(train_data[0]["tokens"]) print(train_data[0]["ner_tags"])

输出示例：

['EU', 'rejects', 'German', 'call', 'to', 'boycott', 'British', 'lamb', '.'] [3, 0, 7, 0, 0, 0, 7, 0, 0]

注意：标签数字需要映射回BIO格式，例如3对应B-ORG，7对应B-MISC

2. 基于最大熵模型的NER实现

最大熵模型(Maximum Entropy)是传统NER的经典方法，其核心思想是：在满足已知约束条件下，选择熵最大的概率分布。下面我们使用scikit-learn的LogisticRegression（可视为最大熵分类器）来实现。

2.1 特征工程

特征设计是最大熵模型的关键，常见特征包括：

• 当前词及其属性（词形、词性、前缀/后缀等）
• 上下文窗口内的词（通常取前后2-3个词）
• 词形特征（是否全大写、包含数字等）

from sklearn.feature_extraction import DictVectorizer from sklearn.linear_model import LogisticRegression def extract_features(sentence, index): """ 提取单个词的特征 """ word = sentence[index] features = { 'word': word, 'is_capitalized': word[0].isupper(), 'prefix-3': word[:3], 'suffix-3': word[-3:], 'prev_word': '' if index == 0 else sentence[index-1], 'next_word': '' if index == len(sentence)-1 else sentence[index+1], } return features def prepare_sequences(data): """ 将整个数据集转换为特征序列 """ X, y = [], [] for sentence, tags in data: for i in range(len(sentence)): X.append(extract_features(sentence, i)) y.append(tags[i]) return X, y

2.2 模型训练与预测

将特征转换为数值向量并训练模型：

# 准备训练数据 train_sentences = [(example["tokens"], example["ner_tags"]) for example in train_data] X_train, y_train = prepare_sequences(train_sentences[:1000]) # 使用部分数据 # 特征向量化 vectorizer = DictVectorizer(sparse=True) X_train_vec = vectorizer.fit_transform(X_train) # 训练最大熵模型 model = LogisticRegression(max_iter=1000, solver='lbfgs', multi_class='auto') model.fit(X_train_vec, y_train)

评估模型性能时，我们不仅需要看准确率，更要关注实体级别的F1分数：

from sklearn.metrics import classification_report # 在测试集上评估 test_data = dataset["test"] test_sentences = [(example["tokens"], example["ner_tags"]) for example in test_data] X_test, y_test = prepare_sequences(test_sentences[:200]) X_test_vec = vectorizer.transform(X_test) y_pred = model.predict(X_test_vec) print(classification_report(y_test, y_pred, zero_division=0))

典型输出显示，这种方法在PER类型上表现较好，但对LOC和ORG识别效果一般：

precision recall f1-score support 0 0.95 0.98 0.96 3256 1 0.60 0.25 0.35 103 2 0.00 0.00 0.00 75 ...

3. 使用BERT实现现代NER系统

预训练语言模型BERT通过上下文感知的表示大幅提升了NER性能。下面我们使用HuggingFace的Transformers库快速实现BERT-NER。

3.1 数据预处理

BERT需要特定的输入格式和注意力掩码：

from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-cased") def tokenize_and_align_labels(examples): tokenized_inputs = tokenizer( examples["tokens"], truncation=True, is_split_into_words=True ) labels = [] for i, label in enumerate(examples["ner_tags"]): word_ids = tokenized_inputs.word_ids(batch_index=i) previous_word_idx = None label_ids = [] for word_idx in word_ids: if word_idx is None: label_ids.append(-100) elif word_idx != previous_word_idx: label_ids.append(label[word_idx]) else: label_ids.append(-100) previous_word_idx = word_idx labels.append(label_ids) tokenized_inputs["labels"] = labels return tokenized_inputs tokenized_datasets = dataset.map( tokenize_and_align_labels, batched=True, remove_columns=dataset["train"].column_names )

3.2 模型训练

使用BertForTokenClassification进行微调：

from transformers import AutoModelForTokenClassification, TrainingArguments, Trainer model = AutoModelForTokenClassification.from_pretrained( "bert-base-cased", num_labels=9, # conll2003的标签数量 id2label={i: label for i, label in enumerate(label_list)}, label2id={label: i for i, label in enumerate(label_list)} ) training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", learning_rate=2e-5, per_device_train_batch_size=16, per_device_eval_batch_size=16, num_train_epochs=3, weight_decay=0.01, ) trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_datasets["train"], eval_dataset=tokenized_datasets["validation"], tokenizer=tokenizer, ) trainer.train()

3.3 性能对比

下表对比了两种方法在CONLL2003测试集上的表现：

虽然BERT性能更优，但最大熵模型在小数据场景下仍有其价值：

• 最大熵优势：

  • 训练速度快
  • 可解释性强（可分析特征权重）
  • 适合资源受限环境

• BERT优势：

  • 自动学习上下文特征
  • 对OOV(未登录词)处理更好
  • 迁移学习能力强

4. 工程实践中的优化技巧

在实际项目中部署NER系统时，还需要考虑以下优化点：

4.1 处理不平衡标签

NER数据通常严重不平衡（O标签占大多数），可采用这些策略：

from sklearn.utils.class_weight import compute_class_weight class_weights = compute_class_weight( 'balanced', classes=np.unique(y_train), y=y_train ) model = LogisticRegression(class_weight=dict(enumerate(class_weights)))

4.2 领域自适应

当目标领域与训练数据差异较大时：

• 最大熵模型：添加领域特定特征
• BERT模型：继续在领域数据上微调

# 继续预训练BERT的MLM任务 from transformers import AutoModelForMaskedLM mlm_model = AutoModelForMaskedLM.from_pretrained("bert-base-cased") # 在领域文本上训练mlm_model...

4.3 部署优化

生产环境中需要考虑：

# 使用ONNX加速BERT推理 from transformers.convert_graph_to_onnx import convert convert( framework="pt", model="bert-base-cased", output="bert_ner.onnx", pipeline_name="ner" )

5. 扩展应用与进阶方向

掌握了基础NER实现后，可以进一步探索：

多语言NER：

# 使用XLM-Roberta处理多语言文本 from transformers import XLMRobertaTokenizerFast tokenizer = XLMRobertaTokenizerFast.from_pretrained( "xlm-roberta-base", do_lower_case=False )

嵌套实体识别：

• 传统方法：修改标注方案（如BILOU）
• 深度学习方法：使用span-based模型

实时流式处理：

# 使用滑动窗口处理长文本 def chunk_text(text, window_size=128, stride=64): tokens = tokenizer.tokenize(text) for i in range(0, len(tokens), stride): yield tokens[i:i+window_size]

在完成这个项目后，我最大的体会是：考试题目只是知识的一个横截面，真正的学习发生在将概念转化为代码的过程中。当看到自己实现的模型能够正确识别出"Apple"在不同上下文中分别指代水果还是公司时，那种成就感远胜过考试得高分。建议读者尝试用不同的预训练模型（如RoBERTa、DeBERTa）进行实验，观察它们在不同类型实体上的表现差异——这往往能带来比课本更深刻的理解。