3 个令人惊艳的 AI 项目,开源了!

公众号关注 “GitHubDaily”

设为 “星标”,每天带你逛 GitHub!

1789f4bcdc6052ccbeb37d5a8e94e4f4.jpeg

过去一周,从外界看,AI 貌似放缓了进步速度,但只有身处其中的人才能知道,AI 一直没有停下进化的脚步。

以下是 GitHub 过去一周,诞生的多个实用的 AI 开源项目,今天给大家做下介绍。

1. Meta 开源 AI 生成音乐模型

Meta 今天在 GitHub 开源了一个 Python 库:Audiocraft,可直接用 AI 生成音乐。

点击播放下方视频,查看音乐生成效果:

GitHub:https://github.com/facebookresearch/audiocraft

里面主要用到了一个名为 MusicGen 的音乐生成模型,MusicGen 是一个单级自回归 Transformer 模型,在 32kHz EnCodec 分词器上训练,具有 4 个以 50Hz 采样的码本。

与 MusicLM 等现有方法不同,MusicGen 不需要自我监督的语义表示,它一次生成所有 4 个码本。

卷完了文生文和文生图,接下来就看文本生成音乐要怎么发力了。

2. Diffusers 发布重磅更新

Diffusers v0.17.0 正式发布,改进了 LoRA、Kandinsky 2.1、Torch 编译加速等特性。

Diffusers 是 GitHub 上一个知名的预训练扩散模型首选库,可用于生成图像、音频,甚至分子的 3D 结构。

1a10a383212c9346ae04f538814948f1.jpeg

GitHub:https://github.com/huggingface/diffusers

无论你是在寻找简单的推理解决方案还是训练自己的扩散模型,Diffusers 均可作为模块化工具箱提供支持。

该库设计重在可用性与可定制性,主要提供以下 3 个核心组件:

  • 最先进的扩散管道,只需几行代码即可在推理中运行;

  • 可互换的噪声调度器,用于不同的扩散速度和输出质量;

  • 预训练模型可用作构建块,并与调度程序结合使用,用于创建自己的端到端扩散系统。

该项目由 Hugging Face 免费开源,你可以用它来快速训练 ControlNet,以便进一步提升 AI 绘画的效果与质量。

3. 万物皆可识别

Meta 之前在 GitHub 上开源过一个 Segment Anything Model,可自动实现图像切割。

不过该模型在图像定位表现出色,但在图像识别方面便反响平平。

为此,复旦大学联合 OPPO 研究员、国际数字经济学院,在 GitHub 开源了一个强大的图像标记基础模型:Recognize Anything Model (RAM)

该模型采用一种新的图像标记范例,可高精度地识别任何常见类别,并利用大规模图像文本对进行训练,而不是手动注释。

d086eabe5a39f592f25dcfb8016ee7e1.jpeg

GitHub:https://github.com/xinyu1205/Recognize_Anything-Tag2Text

RAM 的开发包括四个关键步骤:

  1. 通过自动文本语义解析大规模获取无注释图像标签;

  2. 使用统一标题和标记任务,训练初步模型进行自动注释,分别由原始文本和解析标签监督;

  3. 利用数据引擎生成额外注释并清除不正确的注释;

  4. 利用处理后的数据对模型进行再训练,并使用更小但质量更高的数据集进行微调。

经过众多基准测试评估,RAM 的标记能力颇为优秀,效果明显优于 CLIP 和 BLIP。值得注意的是,RAM 甚至超越了完全监督的方式,甚至可媲美 Google API。

于此同时,该项目里面还包含着一个名为 Tag2Text 的工具,可直接批量化给图像中的指定对象,生成标签。

如果结合 Meta 开源的 SAM 模型,那我们就能做到批量移除图像中的指定对象,进一步提升图像处理效率。

以上,就是本期给大家推荐的 AI 开源项目。

如果你想了解更多 AIGC 相关的内容,欢迎扫描文章底部二维码,加入我们星球进一步探讨交流:

510531b3dea8970ed5786a0e2be1f5fb.png

adf1f456d8cdf0fd374b219d04d872ca.png

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
乘风的头像乘风管理团队
上一篇 2023年8月17日
下一篇 2023年8月17日

相关推荐