大模型之家讯 9月23日，杭州第19届亚运会即将隆重开幕。届时，广大观众不仅将迎来一届“中国特色、亚洲风采、精彩纷呈”的体育盛会，也将享受一次极具未来感的科技盛宴。“智能”是本届杭州亚运会的办赛理念之一，作为杭州亚运会官方智能视觉服务独家供应商，商汤科技依托“大装置+大模型”，不仅以AI+AR黑科技打造了覆盖多场景、虚实融合的实景AR观亚运体验，还依托商汤琼宇SenseSpace领先的NeRF技术，构建了可在虚拟空间中沉浸式感受亚运氛围的亚运数实空间。通过“亚运AR服务平台”，广大市民观众可尽情体验商汤大模型技术带来的一系列好玩有趣、便捷实用的智能服务项目，在富有杭州特色且极具感官冲击的交互体验中，沉浸感受“智能亚运”的科技氛围。
实景AR观亚运，多场景虚实融合体验贯穿全场
从大街小巷到场馆社区，如今的杭州处处隐藏着商汤打造的惊喜“彩蛋”。观众在手机小程序“智能亚运一站通”中选择“AR服务”进入“亚运AR服务平台”，即可开启亚运黑科技的探索之旅。例如，在西湖、拱宸桥、良渚、市民中心、青少年活动中心广场，观众通过手机扫描倒计时打卡装置，亚运吉祥物“江南忆”便会从天而降和市民互动合影。在场馆附近，“AR亚运之声”将让观众如同亲临“江南忆”的演唱会现场，一同为亚运欢呼喝彩。在场馆入口处，“江南忆”更会带来声情并茂的“AR亚运迎宾秀”，热情欢迎来自五湖四海的新老朋友。
对于前来杭州奥体中心场馆群和黄龙体育中心场馆群观看比赛的观众，商汤“AR场馆导航”将扮演专属“指路人”。通过这项服务，观众只需跟着地面上投射出的虚拟箭头和文字指示，就能准确辨别方向，轻松找到进出口、座位、卫生间等地点。无论是室内外还是跨楼层，“AR场馆导航”都能无缝切换，即便方位感再差，也能通行无忧。
在奥体中心场馆群、黄龙体育中心场馆群、中国杭州电竞中心等多处场馆中，观众还可通过亚运“AR智能屏”查询各种赛程和场馆信息，一站式规划“亚运之行”，同时还能与吉祥物“虚实合拍”，甚至来一场游戏PK一决高下，留下专属的亚运记忆。观众亦可戴上“AR眼镜”，在映衬于实景之上的虚拟世界中，领略西湖文化、拱宸春色和良渚遗址及足球、举重、摔跤等多种运动项目的视听盛宴，并可与亚运会吉祥物进行互动，身临其境地感受杭州亚运文化的魅力。
此外，商汤还将虚实融合的视觉体验延伸到出行场景，特别打造“AR智能巴士”，并在亚运运动员村和媒体村提供接驳服务。和普通巴士不同，这款商汤科技基于SenseMARS火星混合现实平台和自研L4级自动驾驶解决方案打造的AR智能巴士，可以精准识别车道线、交通信号灯状态，智能预测行人、车辆的运动方向，并做出及时、有效的决策和路径规划，从而实现在特定站点自动停留接驳乘客，并通过完全自主的导航和驾驶，沿固定线路将乘客点对点地安全送达至目的地。AR智能巴士车窗被一块超大屏幕代替，将杭州的实时街景与西湖风景、拱辰春色、良渚遗址等杭州特色美景及亚运主题虚拟元素巧妙融合，如同打破时空界限，给乘客带来“移步换景”的未来智能出行体验，感受“智能亚运”的无穷魅力和最美杭州的人文情怀。
这些赛场内外的一系列AR互动体验，均需高精度的AI算法支撑。然而，亚运场馆空间广、复杂度高，且存在大量相似场景、弱纹理、动态场景，同时还要满足夜间环境下的AR应用需要，给实时性和准确性带来诸多挑战。对此，商汤利用海量场景数据积累，采用自研深度特征模型，可在不同光照环境下检测到稳定的视觉特征，结合空间几何和多传感器信息，以及高效鲁棒的特征匹配方案，最终在保证高并发的同时有效解决了上述挑战。
亚运数实空间，足不出户感受亚运现场氛围
在提供线下实景AR观亚运体验的同时，商汤还创新打造了线上虚拟空间沉浸式体验“亚运数实空间”，让大家足不出户，通过手机便可在亚运场馆的数字世界中感受真实亚运的现场氛围。在亚运数实空间中，“江南忆”将化作金牌导游，带领观众漫游杭州。观众不仅可以在高空视角鸟瞰宏伟壮阔的亚运馆群全貌，还可以通过自由视点实时漫游的方式在三维空间中穿梭“大莲花”、“小莲花”、游泳馆等标志性的亚运场地，在欣赏艺术感、科技感和运动感并存的建筑设计的同时，享受“亚运迎宾秀、亚运之声、亚运知识科普”等互动体验。
商汤大装置SenseCore和“日日新”SenseNova大模型体系下的商汤琼宇SenseSpace大规模实景3D内容生成平台，为亚运数实空间提供了亚运场馆群场景NeRF模型的高质量重建支持。凭借领先的隐式神经辐射场（NeRF）技术，商汤琼宇可支持平方公里级城市场景的三维数字化复刻生成，具有厘米级重建精度，可还原场景的真实细节和光照效果；同时支持对复刻生成的场景NeRF模型进行再编辑和再创作，将数字化重建推向了全新高度。
为响应亚运场馆竣工的时间要求，商汤还高效解决了场馆数据采集和重建工作等挑战。通过全新的多源数据联合重建和NeRF模型拼接技术，商汤创新性地将不同时间段和不同片区的场馆影像进行融合重建和拼接，形成完整的亚运场馆NeRF实体全貌，首次做到了2平方公里场馆群跨区域、跨时间段、跨光照变化的联合三维复刻与融合，在为亚运积极贡献新内容的同时也实现了自身技术的突破和创新。不仅如此，通过商汤琼宇重建的城市实景三维模型，未来也可以作为城市数字资产用于更多数字孪生应用场景。
打破次元局限，开启生动、沉浸式的互动体验，商汤科技以实景AR观亚运和亚运数实空间实现了线上线下的双向融合，以数实融合赋能杭州亚运。通过推动AI技术与大众体育的创新交融，商汤科技期待以创新技术激发大众热情，传递亚运精神，助力杭州亚运“精彩启航”。
原创文章，作者：志斌，如若转载，请注明出处：http://damoai.com.cn/archives/973
