字里医间Paper to Practice
卡通形象 Elle 在挥手 / Elle, the cartoon host, waving

一名健康研究者的学习笔记本 / A health researcher's notebook

公开学习 NLP，一次一篇笔记。

I'm learning NLP in public, one note at a time.

每篇笔记都从一页手写开始：我重新整理、对照资料核实，再做成短视频。论文也一样：先读懂方法，再想它对实践意味着什么。 / Each note starts as a handwritten page. I redraw it, check it against the sources, and turn it into a short video. Papers get the same treatment: methods first, then what they could mean for practice.

沿学习路线走 / Follow the learning path浏览笔记与论文 / Browse notes and papers
最新视频 / latest video NLP 在 BC 癌症登记处：病理报告与隐私保护 NLP010 · NLP 在 BC 癌症登记处：病理报告与隐私保护

学习路线 / The learning path

每门课一行。每一站是一篇笔记、一张全景图和一个视频。 / One row per course. Each stop is a note, its big picture and a video.

UBC · Overview of NLP and Large Language Models9 站 · 课程已完成 / 9 stops · course complete

  1. 1 先认识这门课 / start with the course UBC Overview of NLP and Large Language Models：整门课总览 整门 UBC 课程集中在一起：它所属的微证书项目（以及 StrongerBC 补助）、怎么上、讲师、课程网站，以及四个模块怎样变成八篇笔记。
  2. 2 NLP 新手？从这里开始 / new to NLP? start here NLP：从语言特点到研究应用 从词句、语境到声音线索，理解自然语言处理能做什么，以及它与访谈研究的联系。
  3. 3   基础文本处理：从词的结构到规则匹配 从词的结构、词形处理和正则表达式，理解文本如何成为可分析的材料。
  4. 4   文本处理进阶：分词、句子切分与贴标签 从 token、句子边界到词性标注和命名实体识别，理解文本如何被切分并贴上标签。 这条路线上的论文 / a paper on this path用生成式 Transformer 学习人类疾病的自然史
  5. 5   从词义到知识图谱：词位、WordNet、FrameNet 与知识图谱 从词位和词义关系出发，经过 WordNet 与 FrameNet，理解计算机怎样一步步建立知识图谱，以及 UMLS、MeSH 在医学中的作用。
  6. 6   语言模型的基础：概率 从字母和单词的频率出发，经过条件概率与二元模型，理解简单语言模型怎样给句子打分、又怎样一个词一个词地生成句子。
  7. 7   神经语言模型：从词向量到反向传播 从语言模型的基本功能出发，经过词嵌入、神经元、激活函数和反向传播，理解神经网络怎样学会预测下一个词。
  8. 8   大语言模型：token、注意力、提示与推理 从 token、更长的前文和注意力机制三点改进出发，经过 Transformer 与 GPT、Llama 两大家族，理解提示、上下文学习、思维链和专门训练来推理的模型。
  9. 9   大语言模型的问题与改进：幻觉、偏差、对齐与可解释性 从幻觉和过时信息出发，经过 FActScore、DoveScore 与 RAG，再到 RLHF、偏差的缓解和可解释性，理解大语言模型的问题从哪里来、又能怎样改进。

UBC · Extraction and Analysis of Clinical Documents目前 3 站 / 3 stops so far

  1. 1 先认识这门课 / start with the course UBC Extraction and Analysis of Clinical Documents：课程介绍 UBC 第二门 NLP 课程总览：它在微证书里的位置、怎么上、谁来讲、四个模块，以及我学完模块一后的第一印象。
  2. 2 医疗 NLP 能用在哪里？临床文档、患者的声音与癌症就医历程 为什么医疗需要 NLP：临床文档与患者写的文字、NLP 任务的四大类、其他语言与语音，以及一段癌症就医历程留下的孤立报告，计算机要从中读出关注字段，还要读懂否定。
  3. 3 NLP 在 BC 癌症登记处：从病理报告流水线到隐私保护 BC 癌症登记处怎样读每年 100 万份病理报告：为什么关键词规则读不懂“未见癌症证据”，一条让正则、小模型和 LLM 各司其职的流水线，以及模型为什么会泄露病人数据、要先做匿名化。
  4. 4 急诊室里的酒精负担
    · 下一站 / coming next ·    下一站 / Next stop我在“用 NLP 揭示急诊室里的酒精负担”一课的笔记

Stanford · Probability for Artificial Intelligence目前 3 站 / 3 stops so far

  1. 1 先认识这门课 / start with the course 斯坦福 Probability for AI：课程介绍 一门讲现代 AI 背后概率的斯坦福免费课：谁在教、每十名学生一位志愿老师的模式、每周的小组课，以及六周的安排。
  2. 2 概率公理：补集、或事件与独立性 从概率符号的读法出发，经过柯尔莫哥洛夫三大公理、补集与“或”规则、条件概率，到独立性：什么时候两个概率可以直接相乘，什么时候加入条件会改变这一点。
  3. 3 随机变量与三种常见分布：从 PMF 到 AI 水印 从随机变量和概率质量函数出发，经过期望与方差，到伯努利、二项和泊松三种分布，再看改变词的概率怎样给 AI 生成的文字加上水印。
  4. 4 概率模型
    · 下一站 / coming next ·    下一站 / Next stop我在 Probability for AI 第二周第二课的笔记

我的笔记本 / my notebook

NLP010 · NLP 在 BC 癌症登记处：从病理报告流水线到隐私保护BC 癌症登记处怎样读每年 100 万份病理报告：为什么关键词规则读不懂“未见癌症证据”，一条让正则、小模型和 LLM 各司其职的流水线，以及模型为什么会泄露病人数据、要先做匿名化。NLP009 · 医疗 NLP 能用在哪里？临床文档、患者的声音与癌症就医历程为什么医疗需要 NLP：临床文档与患者写的文字、NLP 任务的四大类、其他语言与语音，以及一段癌症就医历程留下的孤立报告，计算机要从中读出关注字段，还要读懂否定。PAI002 · 随机变量与三种常见分布：从 PMF 到 AI 水印从随机变量和概率质量函数出发，经过期望与方差，到伯努利、二项和泊松三种分布，再看改变词的概率怎样给 AI 生成的文字加上水印。UBC10 · UBC Extraction and Analysis of Clinical Documents：课程介绍UBC 第二门 NLP 课程总览：它在微证书里的位置、怎么上、谁来讲、四个模块，以及我学完模块一后的第一印象。PAI001 · 概率公理：补集、或事件与独立性从概率符号的读法出发，经过柯尔莫哥洛夫三大公理、补集与“或”规则、条件概率，到独立性：什么时候两个概率可以直接相乘，什么时候加入条件会改变这一点。UBC00 · UBC Overview of NLP and Large Language Models：整门课总览整门 UBC 课程集中在一起：它所属的微证书项目（以及 StrongerBC 补助）、怎么上、讲师、课程网站，以及四个模块怎样变成八篇笔记。PAI00 · 斯坦福 Probability for AI：课程介绍一门讲现代 AI 背后概率的斯坦福免费课：谁在教、每十名学生一位志愿老师的模式、每周的小组课，以及六周的安排。NLP008 · 大语言模型的问题与改进：幻觉、偏差、对齐与可解释性从幻觉和过时信息出发，经过 FActScore、DoveScore 与 RAG，再到 RLHF、偏差的缓解和可解释性，理解大语言模型的问题从哪里来、又能怎样改进。NLP007 · 大语言模型：token、注意力、提示与推理从 token、更长的前文和注意力机制三点改进出发，经过 Transformer 与 GPT、Llama 两大家族，理解提示、上下文学习、思维链和专门训练来推理的模型。NLP006 · 神经语言模型：从词向量到反向传播从语言模型的基本功能出发，经过词嵌入、神经元、激活函数和反向传播，理解神经网络怎样学会预测下一个词。NLP005 · 语言模型的基础：概率从字母和单词的频率出发，经过条件概率与二元模型，理解简单语言模型怎样给句子打分、又怎样一个词一个词地生成句子。NLP004 · 从词义到知识图谱：词位、WordNet、FrameNet 与知识图谱从词位和词义关系出发，经过 WordNet 与 FrameNet，理解计算机怎样一步步建立知识图谱，以及 UMLS、MeSH 在医学中的作用。NLP003 · 文本处理进阶：分词、句子切分与贴标签从 token、句子边界到词性标注和命名实体识别，理解文本如何被切分并贴上标签。NLP002 · 基础文本处理：从词的结构到规则匹配从词的结构、词形处理和正则表达式，理解文本如何成为可分析的材料。NLP001 · NLP：从语言特点到研究应用从词句、语境到声音线索，理解自然语言处理能做什么，以及它与访谈研究的联系。

我批注过的论文 / papers I've annotated

三种商用人工智能算法独立判读筛查乳腺 X 线片的外部评估 · Paper to Practice斯德哥尔摩一支独立团队在 8805 例筛查检查（739 例癌症、8066 名健康对照）上盲法运行了 3 款商用乳腺 X 线 AI 算法。表现最好的 AI-1 的 AUC 为 0.956；在与第一阅片医生相同的 96.6% 特异度下，其敏感度为 81.9%，第一阅片医生为 77.4%。AI-1 与第一阅片医生组合检出的癌症最多（敏感度 88.6%），但特异度降至 93.0%。先读方法，再看它对实践的意义 → / methods first, then what it means for practice →用生成式 Transformer 学习人类疾病的自然史 · Paper to PracticeDelphi-2M 把 GPT 架构用到了健康记录上：它在 402,799 名 UK Biobank 参与者上训练，读取一个人的诊断史，预测 1,256 种疾病和死亡的发生率与发生时间，并能模拟未来的健康轨迹。内部验证的平均 AUC 为 0.76，不重新训练直接用于丹麦 193 万人的登记数据时为 0.67。先读方法，再看它对实践的意义 → / methods first, then what it means for practice →

更多论文陆续加入：先读懂方法。 / more papers coming: methods first.

我在用的工具 / Tools I use

学习中真正在用的软件，放到真实的课程任务里试一试。 / Software I actually use while learning, tried on real course work.

Buzz：离线语音转文字，用一段模拟问诊录音实测一款免费、离线运行的 Whisper 软件，用模拟问诊录音实测：怎么安装和使用，Tiny 和 Large-v3-Turbo 各听到了什么，以及转写错误怎样带进 LLM 写的病历摘要。

看视频版笔记 / Watch the notes

@ellenlp4health

NLP 在 BC 癌症登记处：病理报告与隐私保护NLP010 · 6:36医疗 NLP 能用在哪里？临床文档与癌症就医历程NLP009 · 7:11随机变量：PMF、二项、泊松与 AI 水印PAI002 · 6:08用 NLP 处理临床记录：UBC 课程介绍UBC10 · 3:53概率符号英文怎么读PAI001 · 6:11概率公理：补集、“或”与独立PAI001 · 5:11在 UBC 学 NLP：一名健康研究者的课程回顾UBC00 · 4:11学习 AI 背后的数学：斯坦福免费课程 PAIPAI00 · 4:30大语言模型为什么会幻觉：FActScore、RAG、RLHF 与偏差NLP008 · 6:00大语言模型：token、注意力、提示与推理NLP007 · 5:33Buzz 实测：免费离线转录，对比 Whisper 小模型与大模型Tools I Use · 3:59神经语言模型：从词向量到反向传播NLP006 · 4:15JAMA 论文：AI 能读乳腺 X 线片吗？Paper to Practice · 3:05语言模型怎样预测下一个词NLP005 · 3:55从词义到知识图谱NLP004 · 4:29Token 与标签NLP003 · 3:48基础文本处理NLP002 · 3:21Nature 论文：AI 预测疾病风险Paper to Practice · 3:42NLP：从语言到研究应用NLP001 · 2:37
原图 / Original ↗