起始问题r-knowledge-20260908-p068

Mistral 的 Decoder-only、MoE 与“领域专家”分别是什么意思?

mistral small 是 decoder only 架构还是 moe 架构?

我看到 mistral 的报告里有这么一句话:

Fine-tuning for specialized domains: Mistral Small 3.1 can be fine-tuned to specialize in specific domains, creating accurate subject matter experts.

这是什么意思?是在暗示 moe 架构吗?

(编辑说明:保留原两轮提问;厂商英文为原问引文节录,省略不影响架构疑问的行业举例。)

语言模型MoE模型架构

这一版的回答 1

回答 01社区回答2026-09-08

_本次整理(2026-09-08),非原对话逐字回答。_

_本次整理(2026-09-08),非原对话逐字回答。_ **Decoder-only 与 MoE 不是二选一,而是两个不同的分类维度。**Decoder-only 描述语言模型怎样按因果顺序处理上下文、预测后续 token;Dense/MoE 描述某些子层是否让所有 token 共用一个前馈网络,或由路由器选择专家…

生成上下文未知0 个追问阅读全文 →

关联内容 0

建议关联 ↗

关联连接不同内容,不改变原来的追问路径。社区关联表达提交者的判断,不代表平台核实。

还没有收录的关联。你可以提出一条连接及其理由。