世界AI指导者英伟达（Nvidia）开源了超弱小模型——Llama-3.1-Nemotron-70B-Instruct。
依据测试数据显示，这个模型曾经击败GPT-4o、GPT-4turbo、Gemma-2、Gemini-1.5、Claude-3.5 sonnet等140多个开闭源模型，仅次于OpenAI颁布的最新模型o1。
Nemotron的基础模型是基于Llama-3.1-70B开发而成，这个没什么离奇。但在训练的环节经常使用了一种新的混合训练方法，将Bradley-Terry和Regression一同用于训练鼓励模型。
值得一提的是，英伟达把Nemotron的训练数据集也开源了，这关于开发同类型或超越Nemotron的模型十分关键，由于这个是经常使用混合训练方法的关键所在。
开源地址：
数据集：
在线demo：
有网友示意，英伟达热衷于始终开源超强模型，一方面有少量资金资助他们的科研人员研发，另外关键目标还是为了卖GPU以及造就开出现态。而Meta附丽他的社交帝国，在商业化和资金方面都不愁。
最愁的便是那些大模型初创企业了，钱拼不过这些巨头，商业落地和名望更不用提。所以，很多小企业或者会由于巨头的碾压，很快会出现资金断裂等各种疑问。
很快乐看到AI畛域的竞争，正在以惊人的速度推启动业向前开展。
这可是重磅开源。
为了新模型，买两个4090爽一下吧。
模型是收费的，但运转的配件可未收费啊。
我正在测试这个模型，我是一个初级AI用户说说经常使用心得：在商业写作方面，仿佛比Claude3和ChatGPT痴呆一些。但它依然会犯一些失误，相比于个别的3.1 70b Instruct，确实更痴呆。
Nvidia可以以1000倍更低的老本成功这一点。假设Nvidia真的原意这么做，那么将无人能与之竞争。
翻新混合训练方法
在训练大模型的环节中，为了确保模型在实践经常使用中能够准确地理解并遵照用户的揭示指令，准确启动翻译、文本生成、问答等义务，鼓励模型施展了很关键的作用，关键经过为模型的输入打分，指点模型生成更高品质的回答来成功。
目前，干流的鼓励模型方法关键有Bradley-Terry和Regression两种： Bradley-Terry格调的鼓励模型来源于统计学中的排名实践，经过最大化被选用照应和被拒绝照应之间的鼓励差距。这种方法强调在给定的揭示下，用户会选用哪个照应，从而为模型提供了一种间接的、基于偏好的反应。
Regression则自创了心思学中的评重量表，经过预测特定揭示下照应的分数来训练模型。这种方法准许模型对照应的品质启动更粗疏的评价，但或者不如基于偏好的方法直观。
但这两种方法都有显著的缺陷， Bradley-Terry须要用户在两个照应当选用一个；而回归格调的模型须要评分数据，用户须要为每个照应打分才干协助模型优化功能 。所以，英伟达间接把两个模型的好处放在一同经常使用来处置这个难题。
首先是须要开发一个蕴含评分和偏好注释的数据集HELPSTEER2-PREFERENCE。钻研人员是在HELPSTEER2基础上减少偏好注释。
这些偏好注释不只包括用户在两个照应当选用一个的偏好方向，还包括用户对这种偏好的强度评分。为了确保数据的品质和可解释性，还要求注释者为他们的偏好提供书面说明。
在训练这种新型混合方法时，钻研人员经常使用AdamW优化器来训练模型，经过引入权重衰减和梯度裁剪来提高训练的稳固性和效率。
为了进一步提高模型功能，经常使用了ExPO在训练环节中对模型的权重启动外推，可以进一步提高模型的功能。可以使模型在训练时愈加关注那些差异较大的照应答，从而提高模型的辨别才干。
此外，钻研人员还启动了宽泛的超参数搜查，以找到最佳的学习率和KL处罚项。这些超参数关于模型的训练至关关键，由于它们间接影响到模型的收敛速度和最终功能。
HELPSTEER2-PREFERENCE数据集
为了开发这个多元化满足新的混合训练方法数据集，在数据注释的环节中，每一对回应都经过3—5名标注者的评价。这些标注者须要从多个维度对每个回应启动评分，包括有用性、准确性、连接性、复杂性和冗长水平等。为了更好地理解面前的要素， 标注者还须要提供冗长的文字说明，解释为何选用了某个回应作为更好的答案 。这种方法不只增强了数据的透明度，也为后续剖析提供了丰盛的高低文消息。
钻研人员还经常使用了严厉的数据预处置步骤来保障数据品质。例如，他们会识别出每个义务中相似度最高的三个偏好注释，而后取这三个注释的平均值并四舍五入到最凑近的整数，以此作为该义务的全体偏好得分。
同时，为了扫除那些标注者意见分歧较大的样本，钻研人员们会过滤掉那些注释之间差异超越必定范围的义务。这些措施独特作用，有效优化了数据的牢靠性和分歧性。
依据测试数据显示，经常使用HELPSTEER2-PREFERENCE数据集训练的模型功能十分强，在RewardBench评测中到达了94.1的高分，超越了同期简直一切其余模型的体现。
原文链接: