transformer评测（transformer系列）
本文目录一览：
- 1、ICML2024高分!魔改注意力,让小模型能打两倍大的模型
- 2、多项评测排名第一!大连理工和微软亚研院提出目标跟踪算法STARK
- 3、deepseek与陆豆包对比
- 4、Transformer的无限之路:位置编码视角下的长度外推综述
- 5、谷歌揭秘大模型不会数r原因:嵌入维度是关键,不止分词器问题
ICML2024高分!魔改注意力,让小模型能打两倍大的模型
ICML2024高分论文提出DCFormer框架，通过动态组合多头注意力（DCMHA）改进Transformer核心机制，使小模型性能可比拟两倍规模的传统Transformer模型。
改进了Transformer的核心机制注意力，小模型也能与大模型媲美！这篇ICML 2024高分论文，由彩云科技团队研发的DCFormer框架，以替换多头注意力模块（MHA）为目标，提出了可动态组合的多头注意力（DCMHA）。
多项评测排名第一!大连理工和微软亚研院提出目标跟踪算法STARK
1、大连理工大学与微软亚洲研究院合作，推出了一种名为STARK的全新跟踪框架，该框架在短时跟踪与长时跟踪任务中表现出色。
2、STARK目标跟踪算法确实在多项评测中排名第一。具体表现如下：在TrackingNet数据集上：STARK以80%的AUC成绩位列第一。在GOT10K数据集上：使用GOT10K训练的数据，STARK以68%的AO成绩成为榜首。在LaSOT数据集上：STARK以61%的AUC成绩排名第一。
3、中科院计算所的科研资源、产业合作网络和就业优势更突出；若侧重国际前沿技术研究、跨国企业资源或全球化职业发展，微软亚洲研究院的国际化环境、技术落地能力和全球影响力更具吸引力。两者均代表国内外计算机领域的顶尖水平，需根据个人职业规划、研究兴趣及长期发展目标综合权衡。
4、在微软产品（如Office、Bing、Azure、Cortana）中落地了多个研究成果。学术影响：长期位列全球计算机科学研究机构前列（曾多年在CSRankings亚太区排名第一）。MSRA发展时间线 1998年：微软亚洲研究院在北京正式成立，首任院长李开复，聚焦计算机视觉、语音识别、自然语言处理等领域。
deepseek与陆豆包对比
1、DeepSeek与豆包在技术架构、功能场景、社区生态及性能特点上存在显著差异，用户可根据需求选择更适合的模型。技术架构与模型类型豆包采用Transformer架构结合稀疏专家（MoE）技术，总参数规模达数百亿至千亿级，激活参数约为稠密模型的1/7，支持多模态能力（如视觉理解、图像生成），定位为闭源商用模型。
2、结论：技术实力层面：DeepSeek 更强，尤其是在纯文本任务上的专业性和深度。
3、All in 战略：腾讯通过全产品线接入DeepSeek，展现了其在AI领域的全面投入，形成“技术+流量+场景”的闭环生态。总结：腾讯元宝的成功并非偶然，而是快速响应、资源整合、用户洞察和生态优势共同作用的结果。
4、月18日，微信搜索接入DeepSeek灰度测试后，一度由于涌入大量用户导致服务器过载，腾讯紧急调用基于自研混元大模型的AI产品元宝支援微信搜索，提供更多入口，三天后腾讯元宝超越字节豆包，冲到中国区苹果免费应用下载排行榜第二。
5、降低AI幻觉与提升准确率：针对职业教育细分学科中大模型专业知识缺乏导致的AI幻觉问题，高顿基于DeepSeek、豆包等基础模型，通过构建交叉式测评集和用户数据飞轮工程创新等深度微调，已在金融财会考证CPA、CFA等学科取得SOTA（State-of-the-Art，即最优效果），在核心考点解析中实现97%以上的准确率。
Transformer的无限之路:位置编码视角下的长度外推综述
原因是APE将不同位置映射到不同嵌入，外推需推断未见过的嵌入，且模型易对有限位置编码过拟合。
谷歌揭秘大模型不会数r原因:嵌入维度是关键,不止分词器问题
1、谷歌研究发现大模型不会数数的主要原因是嵌入维度不足，而非简单的分词器（tokenizer）问题，词汇量超过嵌入维度会显著降低计数能力。 以下是具体分析：嵌入维度与计数能力的核心关系Transformer的计数机制依赖于将每个词映射为独立的正交向量，通过向量加法统计词频。
2、Meta开源LLaMa，股价蹭蹭往上涨。Google也许看到了Meta开源的好处，终于放下身段，开源Gemma大语言模型，从技术报告的内容和生态细节来看，诚意满满，值得点赞！这下大语言模型领域可谓是热闹非凡，群雄混战的时刻到来了，OpenAI会不会被迫开源GPT-4呢？让我们拭目以待。言归正传。
3、复杂动作生成：大规模数据训练显著提升动作复杂度，支持多维度生成任务。
