MiniMax发长文回应“模型无法说出马嘉祺”
每经AI快讯，长文5月9日，模型马嘉MiniMax官微发长文回应M2系列模型无法说出马嘉祺一事，无法提供了对“嘉祺识别”问题的说出完整排查过程和技术思考。MiniMax表示，长文其从分词器版本对齐、模型马嘉embedding统计分布、无法语义近邻检索、说出预训练与后训练模型的长文few-shot对比实验、后训练数据频次统计以及对全词表lm_head变化幅度的模型马嘉排序扫描等多个维度进行了排查。最终定位到的无法原因是：“嘉祺”在分词器中被合并为一个独立token，但该token在后训练数据中出现频次极低，说出导致模型在后训练中逐渐遗忘了对该token的长文生成能力。
每日经济新闻
本文地址：http://www.dbgfu.com/news/99c52599375.html
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。