英文:Test-time Training 分类:frontier
在推理阶段针对当前输入做少量参数更新或状态适应,让模型临时记住并利用本次任务信息。它与上下文学习的区别是真正改动了权重,被视为长上下文的一种替代路线。
前沿方向的技术探索通常从理论假设开始,经过小规模验证、规模化训练、再到产品化。关键挑战包括:算力可扩展性、数据质量天花板、推理时计算(Test-time Compute)与安全对齐。
从达特茅斯会议(1956)提出AI概念,到专家系统、统计学习、深度学习,再到如今的大模型与AGI探索,AI经历了多次寒冬与复兴;当前正处于算力与数据共同驱动的爆发期。
前沿技术商业化通常需要3-5年成熟期,早期投资者关注技术壁垒与团队;企业用户则应关注成熟度曲线,避免在炒作期过度投入。