学习 NLP 需要的基础知识
1. 数学基础
| 领域 | 关键内容 | NLP 中的用途 |
|---|---|---|
| 线性代数 | 向量、矩阵运算、特征值分解 | 词嵌入表示、矩阵分解（LSA） |
| 概率论与统计 | 条件概率、贝叶斯定理、最大似然估计 | 语言模型、朴素贝叶斯分类 |
| 微积分 | 偏导数、梯度、链式法则 | 神经网络反向传播 |
| 信息论 | 熵、交叉熵、KL 散度 | 损失函数设计、模型评估 |
2. 编程基础
- Python：NLP 领域绝对主流语言
- 核心库：NumPy（数值计算）、Pandas（数据处理）
- NLP 专用库：NLTK、spaCy、jieba、HuggingFace Transformers
- 深度学习框架：PyTorch（首选）、TensorFlow
3. 机器学习基础
- 监督/无监督学习的基本概念
- 常见算法：朴素贝叶斯、SVM、逻辑回归、决策树
- 评估指标：Accuracy、Precision、Recall、F1
- 关键概念：过拟合/欠拟合、交叉验证、特征工程
4. 深度学习基础
- 神经网络基本结构（前馈网络、激活函数）
- 反向传播与优化器（SGD、Adam）
- 关键模型架构：
- RNN / LSTM / GRU：序列建模
- CNN：文本特征提取
- Transformer / Attention：现代 NLP 核心
- 训练技巧：Dropout、Batch Normalization、Learning Rate 调度
5. 语言学基础
- 形态学：词的构成（词根、词缀）、词形还原
- 句法学：词性标注、句法树、依存关系
- 语义学：词义、语义关系（同义、上下位）
- 语用学：上下文对语义的影响
不需要精通语言学，但理解基本概念有助于理解 NLP 任务的目标和难点。
6. NLP 核心概念
- 分词、词性标注、命名实体识别
- 语言模型（N-gram → 神经网络语言模型）
- 词嵌入（Word2Vec、GloVe、BERT）
- 文本表示（BoW、TF-IDF → 分布式表示）
- 预训练模型范式（Pre-training + Fine-tuning）
学习路径建议
数学基础 + Python ↓ 机器学习基础 ↓ NLP 基础任务（分词、分类、NER） ↓ 深度学习 + 序列模型 ↓ Transformer + 预训练模型 ↓ 具体应用（情感分析、机器翻译、问答系统）先掌握传统方法理解原理，再进入深度学习和预训练模型，避免直接从 BERT 开始而缺乏基础理解。
 agent和组件)