公开学习 NLP，一次一篇笔记。

UBC · Overview of NLP and Large Language Models9 站 · 课程已完成

1. 1 先认识这门课 UBC Overview of NLP and Large Language Models：整门课总览 整门 UBC 课程集中在一起：它所属的微证书项目（以及 StrongerBC 补助）、怎么上、讲师、课程网站，以及四个模块怎样变成八篇笔记。
2. 2 NLP 新手？从这里开始 NLP：从语言特点到研究应用 从词句、语境到声音线索，理解自然语言处理能做什么，以及它与访谈研究的联系。
3. 3   基础文本处理：从词的结构到规则匹配 从词的结构、词形处理和正则表达式，理解文本如何成为可分析的材料。
4. 4   文本处理进阶：分词、句子切分与贴标签 从 token、句子边界到词性标注和命名实体识别，理解文本如何被切分并贴上标签。 这条路线上的论文用生成式 Transformer 学习人类疾病的自然史
5. 5   从词义到知识图谱：词位、WordNet、FrameNet 与知识图谱 从词位和词义关系出发，经过 WordNet 与 FrameNet，理解计算机怎样一步步建立知识图谱，以及 UMLS、MeSH 在医学中的作用。
6. 6   语言模型的基础：概率 从字母和单词的频率出发，经过条件概率与二元模型，理解简单语言模型怎样给句子打分、又怎样一个词一个词地生成句子。
7. 7   神经语言模型：从词向量到反向传播 从语言模型的基本功能出发，经过词嵌入、神经元、激活函数和反向传播，理解神经网络怎样学会预测下一个词。
8. 8   大语言模型：token、注意力、提示与推理 从 token、更长的前文和注意力机制三点改进出发，经过 Transformer 与 GPT、Llama 两大家族，理解提示、上下文学习、思维链和专门训练来推理的模型。
9. 9   大语言模型的问题与改进：幻觉、偏差、对齐与可解释性 从幻觉和过时信息出发，经过 FActScore、DoveScore 与 RAG，再到 RLHF、偏差的缓解和可解释性，理解大语言模型的问题从哪里来、又能怎样改进。

UBC · Extraction and Analysis of Clinical Documents目前 3 站

1. 1 先认识这门课 UBC Extraction and Analysis of Clinical Documents：课程介绍 UBC 第二门 NLP 课程总览：它在微证书里的位置、怎么上、谁来讲、四个模块，以及我学完模块一后的第一印象。
2. 2 医疗 NLP 能用在哪里？临床文档、患者的声音与癌症就医历程 为什么医疗需要 NLP：临床文档与患者写的文字、NLP 任务的四大类、其他语言与语音，以及一段癌症就医历程留下的孤立报告，计算机要从中读出关注字段，还要读懂否定。
3. 3 NLP 在 BC 癌症登记处：从病理报告流水线到隐私保护 BC 癌症登记处怎样读每年 100 万份病理报告：为什么关键词规则读不懂“未见癌症证据”，一条让正则、小模型和 LLM 各司其职的流水线，以及模型为什么会泄露病人数据、要先做匿名化。
4. 4 急诊室里的酒精负担
   · 下一站 ·下一站我在“用 NLP 揭示急诊室里的酒精负担”一课的笔记

Stanford · Probability for Artificial Intelligence目前 3 站

1. 1 先认识这门课 斯坦福 Probability for AI：课程介绍 一门讲现代 AI 背后概率的斯坦福免费课：谁在教、每十名学生一位志愿老师的模式、每周的小组课，以及六周的安排。
2. 2 概率公理：补集、或事件与独立性 从概率符号的读法出发，经过柯尔莫哥洛夫三大公理、补集与“或”规则、条件概率，到独立性：什么时候两个概率可以直接相乘，什么时候加入条件会改变这一点。
3. 3 随机变量与三种常见分布：从 PMF 到 AI 水印 从随机变量和概率质量函数出发，经过期望与方差，到伯努利、二项和泊松三种分布，再看改变词的概率怎样给 AI 生成的文字加上水印。
4. 4 概率模型
   · 下一站 ·下一站我在 Probability for AI 第二周第二课的笔记