Byte Pair Encoding NLP - 搜索视频

Understanding Byte Pair Encoding (BPE) in Large Language Models

Understanding Byte Pair Encoding (BPE) in Large Language Models

已浏览 3 次2024年12月25日

**斯坦福这场2小时讲座的核心内容总结**（演讲者为斯坦福讲师，主要讲解大语言模型LLM的底层技术逻辑）：演讲者用非常硬核、系统的方式，把ChatGPT、Claude等主流大模型的“底层核心逻辑”彻底拆解，重点围绕**训练目标、Tokenizer、评估方法、数据**四个核心模块展开，全程干货密集，几乎没有废话。### 1. **核心训练机制（Loss函数）**- LLM的本质是**下一个token预测**（next token prediction）。- 使用**交叉熵损失（cross-entropy loss）**来训练，目标是**最大化文本的似然度（likelihood）**。- 简单说：模型每一步都在学习“给定前面内容，下一个最可能的词是什么”，通过不断最小化损失来实现。### 2. **Tokenizer（分词器）**- 为什么不用单词或字符直接分？因为**token要更通用、更高效**。- 主流方法是**Byte Pair Encoding (BPE)**： - 从大语料开始，先每个字符一个token； - 反复合并出现频率最高的相邻token对，形成常见子序列作为最终tok

**斯坦福这场2小时讲座的核心内容总结**（演讲者为斯坦福讲师，主要讲解大语言模型LLM的底层技术逻辑）：演讲者用非常硬核、系统的方式，把ChatGPT、Claude等主流大模型的“底层核心逻辑”彻底拆解，重点围绕**训练目标、Tokenizer、评估方法、数据**四个核心模块展开，全程干货密集，几乎没有废话。### 1. **核心训练机制（Loss函数）**- LLM的本质是**下一个token预测**（next token prediction）。- 使用**交叉熵损失（cross-entropy loss）**来训练，目标是**最大化文本的似然度（likelihood）**。- 简单说：模型每一步都在学习“给定前面内容，下一个最可能的词是什么”，通过不断最小化损失来实现。### 2. **Tokenizer（分词器）**- 为什么不用单词或字符直接分？因为**token要更通用、更高效**。- 主流方法是**Byte Pair Encoding (BPE)**： - 从大语料开始，先每个字符一个token； - 反复合并出现频率最高的相邻token对，形成常见子序列作为最终tok

已浏览 78.9万次2 周前

台大资讯深度学习之应用｜ ADL 5.1： BPE (Byte-Pair Encoding) Tokenization 如何将字词切成小单元

台大资讯深度学习之应用｜ ADL 5.1： BPE (Byte-Pair Encoding) Tokenization 如何将字词切成小单元

已浏览 27 次2 周前

bilibili小尹不吱声

Byte Pair Encoding | CS336

Byte Pair Encoding | CS336

YouTubeaiconcept2reel

LLM Subword Tokenizer Explained: Byte-Pair Encoding (BPE) with HuggingFace and OpenAI

LLM Subword Tokenizer Explained: Byte-Pair Encoding (BPE) with HuggingFace and OpenAI

已浏览 66 次4 周前

YouTubeAI Simply Explained with Tiyasa

Explaining BPE Byte Pair Encoding

Explaining BPE Byte Pair Encoding

YouTubeTech Market Explained

AI Doesn’t Read Words 😳 | Tokenization Explained Simply #tokenization #llm #BytePairEncoding

AI Doesn’t Read Words 😳 | Tokenization Explained Simply #tokenization #llm #BytePairEncoding

已浏览 319 次2 个月之前

YouTubeSimplfyTech

Byte Pair Encoding (BPE) Explained: Solving the Rare Word Problem in NMT

已浏览 6 次2 个月之前

YouTubeWhite Paper Decoder

Tokenization Explained - The 2016 paper behind every LLM

已浏览 39 次1 个月前

YouTubeThe Rabit Hole Dev

What is Tokenization?

已浏览 1.8万次2 周前

YouTubecodebasics

BPE Tokenization Algorithm | The Secret Behind GPT & Transformers 🚀| Arvind Sir

已浏览 301 次8 个月之前

YouTubeCOMPILE KARO

80、Byte Pair Encoding 源码逐行讲解

已浏览 4870 次2024年7月17日

bilibilideep_thoughts

还不会 BPE 分词？这个视频让你彻底搞懂！

已浏览 843 次2025年4月6日

bilibiliTallis-wu

【西湖大学张岳老师｜自然语言处理在线课程第十六章 - 4节】BPE（Byte-Pair Encoding）编码

已浏览 1457 次2022年11月14日

bilibiliWestlakeNLP

Encoder Decoder Network - Computerphile

已浏览 15.7万次2018年6月13日

YouTubeComputerphile

Byte Pair Encoding (Subword Tokenization Method in NLP) #Shorts

已浏览 3761 次2021年6月22日

YouTubeTechViz - The Data Science Guy

Bytes and Bytearray tutorial in Python 3

已浏览 6.9万次2018年9月5日

YouTubeDevDungeon

Text Classification Using BERT & Tensorflow | Deep Learning Tutorial 47 (Tensorflow, Keras & Python)

已浏览 19.4万次2021年8月28日

YouTubecodebasics

什么是BPE算法Byte-Pair Encoding

已浏览 7078 次2023年5月2日

bilibiliwharton0

110.XHDX_[14.4.1]--BPE（Byte-Pair Encoding）编码

已浏览 38 次11 个月之前

bilibili闻博解码

Representing Numbers and Letters with Binary: Crash Course Computer Science #4

已浏览 217万次2017年3月15日

YouTubeCrashCourse

NLP - Tokenization

已浏览 5 次3 个月之前

YouTubeNathan Rigoni

ChatGPT - Explained!

已浏览 8万次2022年12月12日

YouTubeCodeEmporium

WordPiece Tokenization

已浏览 2.8万次2021年11月15日

YouTubeHugging Face

WordPiece Tokenization in NLP

已浏览 4592 次2022年7月30日

YouTubeTechViz - The Data Science Guy

L27: Byte pair encoding

已浏览 7380 次2024年12月26日

YouTubeIIT Madras - B.S. Degree Programme

Word Piece And Byte Pair Encoding (Natural Language Processing at UT Austin)

已浏览 2201 次2022年4月7日

YouTubeGreg Durrett

Byte Pair Encoding Word Segmentation

已浏览 6198 次2021年5月25日

BPE Explained: Key to LLM Tokenization

已浏览 50 次2 个月之前

YouTubeNavaDisha

Byte Pair Encoding Tokenization in NLP

已浏览 9570 次2022年7月23日

YouTubeTechViz - The Data Science Guy

展开