新民客户端

飞入寻常百姓家

下载APP

中国诗词与人工智能的双向奔赴 我国首部文生视频AI动画片《千秋诗颂》开播

中国诗词与人工智能的双向奔赴 我国首部文生视频AI动画片《千秋诗颂》开播飞入寻常百姓家
来源:新民晚报   作者:郜阳   2024-02-26 19:43:00


图说:国画大师风格视觉效果 采访对象供图(下同)

新民晚报讯(记者 郜阳)2月26日晚,我国首部文生视频AI动画片《千秋诗颂》在中央广播电视总台央视综合频道(CCTV-1)开播。首批播出的动画片将呈现《咏鹅》《春夜喜雨》等六首脍炙人口的古诗,通过讲述李白、杜甫、孟浩然等诗人的经典作品和人生故事,在寓教于乐的同时,生动地呈现了中华文化和东方审美。

用动画的形式演绎古诗词屡见不鲜,《千秋诗颂》有何创新之处?记者了解到,《千秋诗颂》由大模型赋能,生成式人工智能(AIGC)辅助制作,集合了中央广播电视总台海量视听数据与上海人工智能实验室的技术优势,应用实验室视频生成大模型书生·筑梦、文生视频框架AnimateDiff及多项可控图像生成、图像驱动等技术,让中国古诗词“活”了起来,呈现出独具底蕴的东方审美。

上海人工智能实验室的书生通用大模型体系拥有强大的语言能力、宽广的知识体系以及优秀的开放世界理解和内容生成能力。得益于此,双方于去年7月联合推出的央视听媒体大模型打造出独特的风格和强项——中国审美,因而能够准确理解“国风、唐代、写意、工笔画”等传统文化词汇,并能按照概念描述为《千秋诗颂》生成工笔、水墨等国画风格的美术素材。

节目技术总指导、上海人工智能实验室领军科学家林达华介绍,为了让央视听媒体大模型具备理解古诗词的能力,节目导演与科研人员对大模型“投喂”了大量精准数据并进行训练,使其可精确生成符合历史依据的人物、建筑、场景等美术图,美术风格符合中华传统文化的水墨、工笔等风格化传统审美。

连贯流畅的转场镜头、曲折生动的故事情节、秀美隽永的高清画面,对于动画作品而言缺一不可。在央视听媒体大模型中,输入多段视频或图片素材,即可自动生成转场动画,实现不同场景和视频之间的“丝滑”连接。基于独创的主题一致性模块,央视听大模型生成的动画还可实现“多机位”效果,保持故事情节的连贯和起伏。

图说:央视听媒体大模型能“看懂”风格参考,根据实拍图生成场景

自发布以来,央视听媒体大模型结合人工智能领域新近技术不断迭代,进一步微调基础模型,提升模型的可控性。制作团队不仅能够通过提示词进行画面内容生成,还可以使用风格参考图、构图草图等方式对生成内容进行更加精细打磨,还原真实历史,保留栩栩如生的动画表现力。

据介绍,在同等预算条件下,按照传统动画制作流程计算,《千秋诗颂》至少需要8个月时间,依托大模型后,制作周期缩短至4个月。目前,这项应用仍处于产研结合阶段,未来大模型研发成熟后,制作周期和动画精细度都会加速迭代升级。

“目前,我国视频生成模型与Sora等世界先进技术还存在一定差距,但在中华文化的理解以及和媒体编创流程的融合上,逐渐显露出重要的特色优势。”林达华分析,“这类产研结合的新技术发展模式,将使得我国的技术发展走出差异化的道路,并且形成文化特色。”

上海人工智能实验室表示,《千秋诗颂》是一场中国诗词与人工智能的双向奔赴之旅, 是一次用新质生产力再次点燃“思想+艺术+技术”创新火炬的尝试。

编辑:任天宝
举报

看评论

推荐阅读