如影随形

googleDeepMind优化AI模子新思绪，计算效力与推理才

发布时间：2024-12-30 08:35编辑：[db:作者]浏览（132）

12 月 28 日新闻，谷歌 DeepMind 团队最新推出了“可微缓存加强”（Differentiable Cache Augmentation）的新方式，在不显明额定增添盘算累赘的情形下，能够明显晋升年夜言语模子的推感性能。名目配景IT之家注：在言语处置、数学跟推理范畴，年夜型言语模子（LLMs）是处理庞杂成绩弗成或缺的一局部。盘算技巧的加强着重于使 LLMs 可能更无效地处置数据，天生更正确且与高低文相干的呼应，跟着这些模子变得庞杂，研讨职员尽力开辟在牢固盘算估算内运转而不就义机能的方式。优化 LLMs 的一年夜挑衅是它们无奈无效地跨多个义务停止推理或履行超越预练习架构的盘算。以后进步模子机能的方式波及在义务处置时期天生旁边步调，但价值是增添耽误跟盘算效力低下。这种限度妨碍了他们履行庞杂推理义务的才能，特殊是那些须要更长的依附关联或更洼地猜测正确性的义务。名目先容“可微缓存加强”（Differentiable Cache Augmentation）采取一个经由练习的协处置器，经由过程潜伏嵌入来加强 LLM 的键值（kv）缓存，丰盛模子的外部影象，要害在于坚持基本 LLM 解冻，同时练习异步运转的协处置器。全部流程分为 3 个阶段，解冻的 LLM 从输入序列天生 kv 缓存；协处置器应用可练习软令牌处置 kv 缓存，天生潜伏嵌入；加强的 kv 缓存反应到 LLM，天生更丰盛的输出。在 Gemma-2 2B 模子长进行测试，该方式在多个基准测试中获得了明显结果。比方，在 GSM8K 数据集上，正确率进步了 10.05%；在 MMLU 上，机能晋升了 4.70%。别的，该方式还下降了模子在多个标志地位的迷惑度。谷歌 DeepMind 的这项研讨为加强 LLMs 的推理才能供给了新的思绪。经由过程引入外部协处置器加强 kv 缓存，研讨职员在坚持盘算效力的同时明显进步了模子机能，为 LLMs 处置更庞杂的义务摊平了途径。【起源：IT之家】 　　申明：新浪网独家稿件，未经受权制止转载。 -->