起始问题r-knowledge-20260908-p037

Tokenizer 在大模型中做什么？

What is the tokenizor in the below code?

from mlx_lm import generate, load
from mlx_lm.models.cache import load_prompt_cache, make_prompt_cache, save_prompt_cache

model, tokenizer = load("mlx-community/Qwen2.5-32B-Instruct-4bit")

返回分支图 ↗提交本题答案

这一版的回答 1

回答 01社区回答2026-09-08

_本次整理（2026-09-08），非原对话逐字回答。_

_本次整理（2026-09-08），非原对话逐字回答。_ 这段代码中的 **tokenizer 是与模型配套的文本编码器和解码器**。它把字符串按词表和切分规则转换成 token ID 序列；模型生成新的 ID 后，再由它转换回可读文字。一个 token 可能是词、词片段、字符或字节相关片段，不等于固定一个汉字或一个…

生成上下文未知0 个追问阅读全文 →

关联内容 0

建议关联 ↗

关联连接不同内容，不改变原来的追问路径。社区关联表达提交者的判断，不代表平台核实。

还没有收录的关联。你可以提出一条连接及其理由。