
笃行钻研,在科研探索中成长
邹佳吕同学在科研工作中展现了学习刻苦、肯钻研的精神。他将这份精神投入到人工智能的不同前沿领域,在解决具体问题的过程中,不断锤炼自己的科研能力,收获了成长与感悟。
初探科研:以AI赋能芯片设计
刚进入实验室时,邹佳吕同学选择的研究方向是人工智能在芯片设计(EDA)领域的应用。他聚焦于一个具体难题:如何利用人工智能方法,在芯片放置阶段预测可能出现的拥塞情况,以此提高芯片设计的流程效率。
这是一个具有挑战性的课题。传统的电路图结构复杂,如何让AI模型高效理解并处理这种数据是关键。在研究过程中,他发现既有的方法在处理大规模电路时存在局限。为了寻求突破,他开始思考是否可以转变视角,不局限于传统的图结构,而是将电路简化为“点的集合”来处理。
沿着这个思路,他着手设计和验证。经过反复的实验和模型迭代,他提出了CircuitFormer方法。该方法在芯片放置拥塞评估任务上取得了良好的效果,被证明是当时一种高效的评估手段。这段经历让他认识到,在科研中,当传统路径受阻时,转换思维角度、大胆假设、小心求证是推动研究前进的有效途径。其撰写的相关论文《Circuit as set of points》被CCF A类会议NeurIPS 2023收录。
拓展视野:探索高效多模态与应用落地
在EDA领域取得初步成果后,邹佳吕同学并未停止探索的脚步。他敏锐地关注到AI领域的新进展,特别是统一多模态模型的发展趋势。他注意到,以Transformer为基础的模型在处理长序列时面临计算瓶颈。为此,他将目光投向了新兴的状态空间模型Mamba架构。
他探索性地提出了OmniMamba模型,这是一种基于Mamba的高效、统一的多模态学习框架。该方法致力于在单个模型中统一处理多模态的理解与生成任务,并利用Mamba架构在处理长序列数据时的线性复杂度优势,为多模态领域提供了一个兼具高效性与通用性的骨干网络方案。
与此同时,他对将技术应用于解决实际问题抱有浓厚兴趣。他与实验室同学合作,针对疲劳驾驶这一社会安全问题,共同开发了《基于局部特征学习的高效率疲劳检测系统》。该作品在第十八届“挑战杯”全国大学生课外学术科技作品竞赛揭榜挂帅专项赛中,荣获全国一等奖。这次竞赛经历让他更深刻地体会到科研成果的社会价值。
聚焦难题:深耕自动驾驶
基于对交通安全的关注和技术积累,邹佳吕同学选择投身于自动驾驶领域的研究。他瞄准了行业的一个痛点:自动驾驶模型训练高度依赖海量的人工标注数据,而数据标注成本高昂、耗时漫长。
他开始研究无监督预训练方法,希望能找到一种高效利用大规模无标注数据的方式。他提出了MIM4D方法,该方法创新性地利用掩码图像建模(MIM)和神经辐射场(NeRF)的思路,引导模型从无标注的多视角视频中学习时空一致的场景表征,有效缓解了对人工标注的依赖。经过其方法预训练后的模型,在迁移到多个下游任务时表现良好。根据此方法撰写的论文《Masked Modeling with Multi-View Video for Autonomous Driving Representation Learning》被CCF A类期刊International Journal of Computer Vision (IJCV)接收。
在自动驾驶领域,他继续纵深探索。针对端到端驾驶模型在决策安全性和鲁棒性上的挑战,他着手改进基于Diffusion的驾驶方法DiffusionDrive。他创新性地将强化学习引入到扩散模型中,提出了DiffusionDriveV2方法。该方法利用GRPO的强化学习算法,通过强化学习的奖励信号来微调扩散模型的策略,使其在生成驾驶轨迹时能更好地规避风险、提升安全性,为实现更鲁棒的端到端自动驾驶提供了新的思路。
结语
从芯片设计到多模态,再到自动驾驶的深度探索;从理论模型到竞赛实践,邹佳吕同学在不同的科研课题中,始终保持着踏实钻研的态度。他勇于面对挑战,积极寻找解决思路,在这一过程中不仅收获了学术成果,更积累了宝贵的科研经验,展现了稳步成长的科研足迹