AIGC在趣丸科技广告素材场景下赋能业务的探索实践

谈及未来的挑战与规划,阮陈贵表示,目前趣丸科技已经做到了元数据的素材洞察。未来,趣丸科技将重点探索所有数据与投放平台整体数据之间的联动,希望在优化师提出需求时,让系统清晰地告诉他们这个需求应该用什么数据、用哪些片段、用哪几帧,甚至用哪几秒,让广告位投放达到最优标准。

本文整理自趣丸科技资深研发工程师阮陈贵在【WOT2023·深圳站】大会上的主题分享,更多精彩内容及现场PPT,请关注51CTO技术栈公众号,发消息【WOT2023PPT深圳】即可直接领取。

嘉宾 | 阮陈贵

编辑 | 张诚

出品 | 51CTO技术栈(微信号:blog51cto)

2023年11月24日-25日,51CTO主办的“WOT全球技术创新大会2023·深圳站”成功召开。在《AIGC赋能业务》专题论坛中,趣丸科技资深研发工程师阮陈贵带来了《AIGC在趣丸科技广告素材场景下赋能业务的探索实践》主题分享,详细介绍了AIGC技术在多模态素材上发挥的作用,AIGC如何为广告投放业务赋能,以及趣丸科技的AIGC的实践应用。

1、AIGC赋能广告行业数据营销和创意场景

广告行业拥有巨大的市场份额。艾瑞公布的数据显示,广告市场占总体GDP的1%,并且还在持续地增长。AIGC的兴起,将会对数字营销内容和创意场景进行赋能,包括文生文、文生图、音频、视频、跨模态等。

阮陈贵在分享中表示,AIGC对应的文案、图片、视频、音频,能够非常好地与广告匹配,是天然为广告业务而生。对于多模态技术,则能够更好地匹配广告业务。为此,趣丸科技开展了AIGC在广告行业中的相关探索。

据介绍,AIGC在广告业务的深层应用中,生成图片和内容理解是比较重要的两个方面。谈到内容理解,阮陈贵认为,把图片、文本、视频等内容提供给AI,AI不但能够帮助人们对图片进行解析,还能够理解文本中的情感信息、理解视频中音频所包含的信息等等,通过AI整理形成人们所需要的内容。

洞察生成内容,反向作用再去生成内容,这个过程便是趣丸科技对AIGC在内容理解更深层次的应用。

2、趣丸科技的程序化广告投放与素材特点

阮陈贵表示,产品投放包括准备期、测试期、拓量期、稳定期、衰减期五个阶段,涵盖广告投放的整个生命周期。素材与广告是一体化的,理解素材的业务特点就是了解广告投放生命周期的过程。由于广告投量越来越大,投放玩法越来越多样,这就需要大量的素材,包括文本、图片、视频等素材。因此,素材在广告投放生命周期中扮演着重要的作用。

基于此,趣丸科技开发了名为“起飞”的智能投放系统,从基础版本到智能化,再到素材智能化,该系统进行了五年时间的持续迭代。

图片

图片

阮陈贵表示,我们希望能够把所有素材用智能化的方式搭建广告,并不断地观察数据是不是符合预期,并与媒体进行交互,进行转化管理。通过打造智能化生成素材——素材监测——媒体效果反馈,将信息与媒体资源进行打通与整合,并形成闭环,最终作用于素材本身。

趣丸科技将素材方向分为信息流广告和新媒体广告。所谓信息流广告,就是在朋友圈中看到的各种硬广和软广。大部分硬广会把视频、封面、文本组成一个创意包进行展示,并不会指定特定内容。新媒体广告是指那些小众或者更加垂直领域的内容,这类广告会通过推荐产品的形式来吸引用户。

随着产品体量越来越大,素材需求量也变得更大。而素材制作过程繁琐,也带来了人手不足和产能不足的问题。除此之外,还会出现大量历史素材无法高效利用的问题。如何利用AIGC解决这些问题,成为趣丸科技重点探讨的方向。

3、基于AIGC技术的广告素材生成产品方案

从素材数量上进行区分,趣丸科技将其分为常态化素材和探索素材。所谓常态化素材,就是能够用固定范式进行归纳的素材形式。探索素材是原生类型素材、是指新的产品和新的投放模式。

阮陈贵认为,AIGC的突破点在于素材的结构化。

为此,趣丸科技通过产品方案增强AIGC业务效果,并利用AIGC辅助生产,打通了内容制作需求、素材收集、创意化生产、流程化生产、使用反馈的数据闭环。一方面,对于相对固定范式的内容生产,实现了全自动化、多线程操作,大幅提升了效率;另一方面,通过引入AIGC辅助人工设计师创作,帮助设计师完成元素材创作,实现了AIGC优化拓展;最后,形成素材元素采拆解能力,实现了元素级别的数据洞察。

图片

图片

据介绍,起飞系统在集合了AIGC能力的同时,拥有独立的原子能力。它支持基于LLM的文生文,包括短文案、长篇文。具备内容理解的AI混编能力和人脸融合优化效果,拥有预设风格与Prompt的绘画能力。目前,起飞系统已经提供AI脚本生成、AI换脸、AI视频混编、AI图片混编、AI绘图、短文案生成、长篇文生成等功能,并在持续更新中。

接下来,阮陈贵通过文生视频、AI图片混编、AI广告文案详细介绍了三大生成技术应用。

在文生视频生成技术上,从剧本创作到拍摄分镜,再到后期处理,整个流程中AIGC无处不在。不仅需要AI能够对素材元素进行理解和标注,并能够进行灵活的脚本结构设置,还要对语义识别进行打分推荐。最后,要具备强大的后期处理能力,以此帮助用户从繁复的工作解放出来。

图片

图片

在分镜推荐技术方面,可以实现实现基于LLM&向量数据库的AI分镜推荐能力。并且,可以充分利用ASR、OCR等基础技术识别素材中的音频与文字内容,输入大语言模型进行标签生成,与人工标记的标签组合成视频内容摘要,通过向量化模型进行Embedding。最后,语义检索(Retrieval)输出目标分镜,加入视频混编流程。

图片

图片

据介绍,起飞系统已经实现了1分钟50+视频产出、50%以上素材占比、ROI>2。阮陈贵表示,从研发到上线,我们就把所有成本都进行了核算。目前,在底层逻辑不变的情况下,一分钟能够生产50个视频。当然,这也要看资源投入量,如果堆加CPU或GPU,还能够生成更多视频。

在接下来的时间里,阮陈贵详细分享了AI图片混编、AI广告文案的生成技术应用,这里不再过多介绍。

谈及未来的挑战与规划,阮陈贵表示,目前趣丸科技已经做到了元数据的素材洞察。未来,趣丸科技将重点探索所有数据与投放平台整体数据之间的联动,希望在优化师提出需求时,让系统清晰地告诉他们这个需求应该用什么数据、用哪些片段、用哪几帧,甚至用哪几秒,让广告位投放达到最优标准。

嘉宾介绍

阮陈贵曾就职于腾讯音乐娱乐集团,从事音乐类社交软件后端服务研发。目前是趣丸科技广告平台技术负责人,负责程序化在线广告投放系统架构设计及AIGC在广告创意素材应用落地。2023年,阮陈贵主导项目“多模态AI数据应用一站式管理平台”,在中国信息通信研究院举办的关于“Data-centric AI以数据为中心的人工智能应用案例”征集活动中被评为“优秀案例”。此外,阮陈贵在音频处理、社交应用及广告策略系统方面拥有8项发明专利。 

版权声明:本文为博主作者:诗者才子酒中仙原创文章,版权归属原作者,如果侵权,请联系我们删除!

原文链接:https://blog.csdn.net/leyang0910/article/details/135178450

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
乘风的头像乘风管理团队
上一篇 2024年1月6日
下一篇 2024年1月6日

相关推荐

此站出售,如需请站内私信或者邮箱!