Understanding Byte Pair Encoding (BPE) in Large Language Models
Understanding Byte Pair Encoding (BPE) in Large Language Models
已浏览 3 次2024年12月25日
substack.com
**斯坦福这场2小时讲座的核心内容总结**（演讲者为斯坦福讲师，主要讲解大语言模型LLM的底层技术逻辑）：演讲者用非常硬核、系统的方式，把ChatGPT、Claude等主流大模型的“底层核心逻辑”彻底拆解，重点围绕**训练目标、Tokenizer、评估方法、数据**四个核心模块展开，全程干货密集，几乎没有废话。### 1. **核心训练机制（Loss函数）**- LLM的本质是**下一个token预测**（next token prediction）。- 使用**交叉熵损失（cross-entropy loss）**来训练，目标是**最大化文本的似然度（likelihood）**。- 简单说：模型每一步都在学习“给定前面内容，下一个最可能的词是什么”，通过不断最小化损失来实现。### 2. **Tokenizer（分词器）**- 为什么不用单词或字符直接分？因为**token要更通用、更高效**。- 主流方法是**Byte Pair Encoding (BPE)**： - 从大语料开始，先每个字符一个token； - 反复合并出现频率最高的相邻token对，形成常见子序列作为最终tok
1:44:17
**斯坦福这场2小时讲座的核心内容总结**（演讲者为斯坦福讲师，主要讲解 …
已浏览 78.9万 次1 周前
x.com渡边君
台大资讯 深度学习之应用 ｜ ADL 5.1： BPE (Byte-Pair Encoding) Tokenization 如何将字词切成小单元
33:38
台大资讯 深度学习之应用 ｜ ADL 5.1： BPE (Byte-Pair Encoding) To…
已浏览 27 次2 周前
bilibili小尹不吱声
Byte Pair Encoding | CS336
0:44
Byte Pair Encoding | CS336
1 个月前
YouTubeaiconcept2reel
LLM Subword Tokenizer Explained: Byte-Pair Encoding (BPE) with HuggingFace and OpenAI
4:57
LLM Subword Tokenizer Explained: Byte-Pair Encoding (BPE) with Hu…
已浏览 66 次4 周前
YouTubeAI Simply Explained with Tiyasa
Explaining BPE Byte Pair Encoding
4:45
Explaining BPE Byte Pair Encoding
5 天之前
YouTubeTech Market Explained
AI Doesn’t Read Words 😳 | Tokenization Explained Simply #tokenization #llm #BytePairEncoding
2:58
AI Doesn’t Read Words 😳 | Tokenization Explained Simply #to…
已浏览 319 次2 个月之前
YouTubeSimplfyTech
6:23
Byte Pair Encoding (BPE) Explained: Solving the Rare Word …
已浏览 6 次2 个月之前
YouTubeWhite Paper Decoder
17:30
Tokenization Explained - The 2016 paper behind every LLM
已浏览 39 次1 个月前
YouTubeThe Rabit Hole Dev
0:48
What is Tokenization?
已浏览 1.8万 次2 周前
YouTubecodebasics
3:37
BPE Tokenization Algorithm | The Secret Behind GPT & Transformer…
已浏览 301 次8 个月之前
YouTubeCOMPILE KARO
47:45
80、Byte Pair Encoding 源码逐行讲解
已浏览 4870 次2024年7月17日
bilibilideep_thoughts
32:50
还不会 BPE 分词？这个视频让你彻底搞懂！
已浏览 843 次2025年4月6日
bilibiliTallis-wu
15:28
【西湖大学 张岳老师｜自然语言处理在线课程 第十六章 - 4节】BPE（Byt…
已浏览 1457 次2022年11月14日
bilibiliWestlakeNLP
6:20
Encoder Decoder Network - Computerphile
已浏览 15.7万 次2018年6月13日
YouTubeComputerphile
1:00
Byte Pair Encoding (Subword Tokenization Method in NLP) #Sho…
已浏览 3761 次2021年6月22日
YouTubeTechViz - The Data Science Guy
7:25
Bytes and Bytearray tutorial in Python 3
已浏览 6.9万 次2018年9月5日
YouTubeDevDungeon
29:14
Text Classification Using BERT & Tensorflow | Deep Learning Tutori…
已浏览 19.4万 次2021年8月28日
YouTubecodebasics
15:35
什么是BPE算法Byte-Pair Encoding
已浏览 7078 次2023年5月2日
bilibiliwharton0
15:34
110.XHDX_[14.4.1]--BPE（Byte-Pair Encoding）编码
已浏览 38 次11 个月之前
bilibili闻博解码
19:54
Natural Language Processing With Python and NLTK p.1 Tokenizing …
已浏览 83.8万 次2015年5月1日
YouTubesentdex
10:46
Representing Numbers and Letters with Binary: Crash Course Compu…
已浏览 217万 次2017年3月15日
YouTubeCrashCourse
14:45
NLP - Tokenization
已浏览 5 次3 个月之前
YouTubeNathan Rigoni
10:28
ChatGPT - Explained!
已浏览 8万 次2022年12月12日
YouTubeCodeEmporium
3:50
WordPiece Tokenization
已浏览 2.8万 次2021年11月15日
YouTubeHugging Face
3:28
WordPiece Tokenization in NLP
已浏览 4592 次2022年7月30日
YouTubeTechViz - The Data Science Guy
23:07
L27: Byte pair encoding
已浏览 7380 次2024年12月26日
YouTubeIIT Madras - B.S. Degree Programme
7:23
Word Piece And Byte Pair Encoding (Natural Language Processing at …
已浏览 2201 次2022年4月7日
YouTubeGreg Durrett
12:28
Byte Pair Encoding Word Segmentation
已浏览 6198 次2021年5月25日
YouTubeAKAdemy
0:22
BPE Explained: Key to LLM Tokenization
已浏览 50 次2 个月之前
YouTubeNavaDisha
观看更多视频
静态缩略图占位符