热门搜索:  主君的太阳

天梯

腾讯混元发布首个AI科学家Hyra!简单有效,能递归自我改进_我的网站

国庆请假休29天

一 |     专注AIGC技术的专业社区,关注大语言模型(LLM)的发展和应用落地,聚焦LLM及AI技术的市场研究和开发者生态,欢迎关注!               递归自我改进与自动化研究正成为 AI 领域最活跃的前沿问题。    

北京时间8月2日凌晨,在WTA1000多伦多站资格赛中,郑钦文以3比6、4比6完败于泰国选手塔拉鲁迪,遭遇本赛季第六次“一轮游”。上一次她止步资格赛还要追溯到2021年的斯特拉斯堡站。Agent 们正在开放式科学发现里超过人类。赛前,因车祸休养数月的功勋教练里巴重回场边,师徒二人过去一周在多伦多封闭训练中重点打磨发球落点与关键分处理——恰恰是本场输球的两个命门。这样的结果,比输球本身更令人担忧。因多人退赛,现世界排名第123位的郑钦文压哨递补进入多伦多站资格赛,且只赢一场就能跻身正赛。多伦多之旅也被外界认为是其提升世界排名的良机。         Google DeepMind 的 AlphaEvolve 把 4×4 复数矩阵乘法压到 48 次标量乘法,Together AI 用一群 Agent 把 11 维 kissing number 下界从 593 推到 604,Karpathy 的 autoresearch 给了极简自动训练研究框架。不过,资格赛的对手塔拉鲁迪绝非泛泛之辈。这位身高仅1米71的22岁球员是资格赛2号种子、泰国头号女单,有着扎实的底线相持和极低的非受迫性失误,今年上升势头极为凶猛,本赛季已斩获38胜15负,手握伊斯坦布尔和奥斯汀两座WTA125冠军,温网闯入第二轮,现世界排名第78位。面对这样一位状态正佳的对手,郑钦文本应以稳定的发球建立优势、以多变的进攻撕开防线——但全场46%的一发进球率、零破发点的尴尬数据,恰恰说明她最锋利的武器全部哑火。         腾讯混元刚刚发布了首个 AI 科学家 Hyra(Hunyuan Research Agent,混元研究 Agent),定位是能递归自我改进的研究型 Agent。         它用一套极简脚手架,跑通了十多个自我改进和自动化研究场景里的真实任务。第一盘第6局被破,第二盘第5局双误送出发球局,两盘走势惊人相似:僵持、被破、无力回破。         Hyra 把智能和算力换成可验证的成果,AI for AI、AI for Science、AI for Fun 三条线都有具体产出,部分数学题和 GPU 内核优化还刷新了业内已知最好成绩。

二 | 全场接一发仅得2分,意味着在对手的发球局她几乎无法构成威胁。当赖以生存的进攻体系全面失灵时,比赛便成了一场慢性失血的消耗战。

三 | 郑钦文赖以成名的,是一套“高风险、高回报”的进攻哲学——以暴力发球开路,以极限落点施压,用摧枯拉朽的攻势压制对手。         Hyra 长什么样          Hyra 的设计哲学来自 Rich Sutton 那篇经典的 The Bitter Lesson(苦涩的教训),框架尽量轻,给 Agent 留足动作空间。         拿到一个任务描述,Hyra 会跑一个持续循环,从过往经验里找灵感,迭代出更好的方案。经验包括执行日志、评估器反馈、源代码、之前方案留下的工件。循环一直跑,直到 Agent 自己决定停下或者算力预算耗尽,最后交回最优解。

四 | 这套打法曾帮她闯入大满贯决赛、拿下奥运金牌、跻身世界前四。         上图是 Hyra Harness 的核心循环。Context Agent 维护经验库,不断往任务队列里加新的灵感上下文。

五 | 但问题在于,这套体系的容错空间极小,需要力量、步伐、手感三者精密咬合。多个 Proposal Agent 从队列取灵感,写出更好的方案。

六 | 每个方案以 solve.sh 为入口,在隔离沙箱里跑一遍拿到分数,再把工件交回经验库。华盛顿站她轰出14记ACE和35个制胜分,却也送出46个非受迫性失误;到了多伦多,发球这一根基一旦松动,后续的战术链条便全面断裂。更致命的是,当这套“A计划”失效时,她缺少行之有效的B计划——既无法通过安全球过渡寻找机会,也缺乏切削变化打乱对手节奏。全场面对对手稳定的底线回球,她始终未能找到破局之策。比技术更难以弥合的,是心态上的裂痕。赛季初她多次承认“比赛心态急躁,总想依靠两三拍进攻终结对手”,急躁导致失误,失误加剧急躁,恶性循环。         具体看,Context Agent(上下文 Agent)维护一个 Experience Bank(经验库,简称 EB),记录所有方案和评估结果,再把 EB 里的素材合成为 Inspiration(灵感)丢进任务队列。

七 | 到了华盛顿站,她又说“整场比赛都很平静”——但平静的结果是“没能再多逼自己一把”。每个灵感是一坨上下文,可能含代码、文件、工件、日志,把探索过程里学到的东西打包传递下去。从急躁到平静过头,看似两极,实则如同一枚硬币的两面,她正在失去对关键分的掌控感。         多个 Proposal Agent(提案 Agent)从任务队列拿灵感,反思后写出一个新方案,落到 solution/ 目录里,入口是 solve.sh。

八 | 方案在隔离沙箱里跑一遍,拿到分数,再把结果送回 EB。

九 | 输掉这场资格赛后她直言:“现阶段我的赛场状态和心气都存在很大问题。         整个系统是异步的生产者-消费者管线。”“心气没了”——这句话比任何技术统计都刺眼。Context Agent 持续填灵感,提案 Agent 消费队列,方案在沙箱跑评估后回传 EB。信号量控制并发,让方案质量随时间稳定提升。         任务连评估器都没有时,Hyra 会升级成双层循环。先从任务描述生成一个初始评估器,内层循环拿它反复改进方案。         内层结束后,Hyra 用 EB 里攒下的经验去改评估器,让评估代码更高效,降低 reward hacking(奖励作弊)风险,加上更细颗粒度的反馈。排名从世界第4跌至第123位,法网、温网接连一轮游,本赛季6次“一场出局”——每一场失利都在加重心理负担。当一位以进攻见长的球员在场上失去侵略性,失去敢赢的决心,技术上的调整便无从谈起。里巴回来了,这当然重要。但这场失利清晰地表明:郑钦文的困境,不是换一个人站在场边就能解决的。下一轮用升级后的评估器重开。         举个具体例子。她需要重新审视那套曾带给她一切、如今却成为枷锁的打法,更需要找到一种方式——在急躁与平静之间,重新锚定自己的内心。任务是设计一个世界冠军级别的国际象棋 AI,初始评估器可能用随机生成的对手群搞 Elo 评级。循环跑下去,那些随机对手会被 EB 里记录的更强 AI 替掉,评估器和方案一起往上进化。

十 | 从巅峰到谷底,这条路她走过了。如何走回来,才是真正的考验。         AI 训 AI,跑赢同行          基础模型研发本身有大量可执行、可评估、可迭代的研究环,是 Research Agent 最天然的应用场景。

。训练配方、数据策略、训练和推理系统、底层 kernel、评估框架,都需要研究员提假设、写代码、跑实验、看反馈再改。Research Agent 能把每次成功和失败都变成可复用经验,迭代速度远超人工。

十一 |          Hyra 在 Recursive 公开的三个任务上做了对比测试,NanoChat Autoresearch、NanoGPT Speedrun、SOL-ExecBench,分别对应固定预算训练、训练加速、GPU kernel 优化。

十二 | 沿用 Recursive 的任务定义、评估协议和初始方案,公平较量。         三个任务都跑赢 Recursive。注意几个任务已经被研究社区反复打磨过,基线本身已经很强。         NanoChat 上,Hyra 要在固定预算里平衡模型架构、优化器设计、学习率策略、数据流和执行效率,最后把 Validation BPB 压到 0.9015。

十三 |          NanoGPT Speedrun 是社区精修过的加速榜,提升空间很小,Hyra 把达到 3.28 验证损失的时间从 77.5 秒压到 76.4 秒。         SOL-ExecBench 上,Hyra 联合优化 235 个 GPU kernel 的真实负载,Mean SOL 做到 0.771。

十四 |          三个任务覆盖训练算法、训练系统、底层 kernel,同一套研究环能跨不同反馈环境继续产出可执行、可验证的改进。         搜索越强,评估器越早被钻空子。         NanoChat 里有个方案把因果语言模型改成接近双向注意力的结构,让未来 token 提前泄露,BPB 假性变低。SOL-ExecBench 里有个方案在正确性检查时缓存输出,在计时阶段跑空 kernel,分数好看但没真正解题。         光优化最终分数不够,评估本身必须进研究环。方案搜索越强,评估器和验证管线得跟着进化,才能把真进步和 reward hacking 区分开。         AI for AI 还有一个隐性闭环。

十五 | 强 Research Agent 加速模型、训练系统、基础设施的研发,更扎实的 AI 系统反过来又把下一代 Research Agent 推得更强。         科学难题上的新答案          数学这块,Hyra 收集了 55 个开放数学问题,来自 EinsteinArena 和 Erich's Packing Center 等来源,很多几十年没动过。Hyra 在其中 29 个上拿到了新的最优已知结果。         它还会从实验数据里挖规律。给它 1749 到 1932 年的月度太阳黑子数据,Hyra 找到了一个能预测黑子数的递推关系,在 1932 到 2026 年近一个世纪的样本外数据上 R² 达到 0.77。         同样思路可以分析 AI 模型训练日志,挖出 scaling law(缩放定律),反过来指导训练配方设计。         除了挖规律,Hyra 还能直接设计科学和工程工件。三个代表性例子。         第一个是超小 Transformer。

十六 | Hyra 设计了一个只有 15 个可训练参数的 Transformer,能做两个 10 位数相加。比 AdderBoard 上 36 个参数的公开纪录少 58.3%。Hyra 能在严格资源约束下联合搜索模型架构和计算机制,对研究神经网络极限和模型压缩有参考价值。

十七 |          第二个是量子计算里的 qubit routing(量子比特路由)。逻辑量子比特要映射到物理芯片上有限的耦合拓扑,非相邻比特之间的操作通常需要插入 SWAP 门,带来双比特门开销和噪声。         Hyra 设计的路由算法在 IBM Q20 上比经典 SABRE 方法提升 44.4%。同一个 24-CX 路由窗口里,SABRE 插了 15 个 SWAP,Hyra 一个没用,把 CX 等价双比特门从 69 个压到 24 个,降幅 65.2%。双比特门少,执行时间短,累积误差也小。         第三个是药物设计。PARP1 是 DNA 损伤修复里的关键酶,和同源重组修复缺陷的肿瘤细胞有合成致死效应,是精准肿瘤学里的热门靶点。Hyra 拿到 PARP1 结合口袋,生成有稳定结合的类药候选分子。从布洛芬出发,Hyra 设计出一个得分 -10.60 的分子,超过了已上市 PARP 抑制剂 olaparib(奥拉帕利)的 -9.77,综合了对接打分和类药性。

十八 |          还能玩出点花来          除了搞模型和搞科学,Hyra 在游戏、设计、内容创作等开放域也能玩。这类任务通常没有唯一正确答案,靠自对弈、自评估、用户反馈不断打磨策略和工件。         第一个是黑白棋(Othello)机器人。Hyra 通过自对弈不断改进。评估器搞双循环赛,新候选方案和 EB 里高分机器人对战,按 Elo 保留前 k 名,对手池越来越强。策略从 minimax 搜索进化成 AlphaZero 风格 PUCT 加 MCTS 的混合打法。最终机器人在 Botzone 平台 730 个参赛作品里排第三,对手大多是北大计算机系学生。         第二个是从单张 2D 参考图生成 3D 结构。VLM(视觉语言模型)当评委,按剪影、比例、结构完整性、材质、视觉相似度打分。

十九 | Hyra 反复修改建模代码和渲染参数,多轮探索后产出的模型比 Claude Code 的 Goal 模式更接近参考图,也更符合人类审美偏好。         第三个是给一段旋律做多乐器编曲。内层循环用规则评估器检查和声、和弦进行、节奏密度、音区冲突等指标。外层循环根据用户反馈调整评估器,慢慢学到那些很难事先形式化的偏好。7 轮迭代下来,同一段旋律从保守的、像赞美诗一样的四声部编配,长成有减和弦、六和弦、灵活节奏和丰富配器的多乐器版本。         反馈来自对手、视觉模型或真实用户时,Hyra 也能把模糊目标转成可迭代搜索的过程。评估标准跟不上的时候,求解器和评估器在双层循环里一起进化。         Hyra 团队自己也说,目前这些 demo 还只是初步成果。下一步要做的是定义更有价值、有持续改进空间的任务。除了公开榜单,腾讯的产品系统、真实 AI 研发流水线、科学和工业场景,都可以变成可执行、可验证、有清晰反馈的问题。

| 这样能跑起来 scaffold–data–model 三者的循环进化。         更好的脚手架催生更强的模型,更强的模型反过来又把脚手架和发现推到新高度。未来几代 Hy 模型甚至一些腾讯产品,都会和 Hyra 一起协同进化。         参考资料:          https://hy.tencent.com/research/hyra。

Current article:http://m63xlq6.tuncuansazhuandengqiaofen.bond/wcn/20260826/73585.html

Published on:03:14:31