Mistral 的 Decoder-only、MoE 与“领域专家”分别是什么意思?

1 个问题1 份回答整棵树 · 全部版本语言模型MoE模型架构
起始问题

提问原文

mistral small 是 decoder only 架构还是 moe 架构?

我看到 mistral 的报告里有这么一句话:

Fine-tuning for specialized domains: Mistral Small 3.1 can be fine-tuned to specialize in specific domains, creating accurate subject matter experts.

这是什么意思?是在暗示 moe 架构吗?

(编辑说明:保留原两轮提问;厂商英文为原问引文节录,省略不影响架构疑问的行业举例。)

这一版的回答 · 1

回答 1 · 社区回答_本次整理(2026-09-08),非原对话逐字回答。_ Decoder-only 与 MoE 不是二选一,而是两个不同的分类维度。 Decoder-only 描述语言模型怎样按因果顺序处理上下文、预测后续 token;Dense/MoE 描述某些子层是否让所有 toke阅读全文 →