天工巧绘SkyPaint

天工巧绘SkyPaint

AI智能技术，将想象力化为艺术。在这里描述您想看到的，看看天工SkyPaint为您带来哪些惊喜。

SkyPaint是由奇点智源开发的中英双语文本生成图像的项目，目前还在持续更新优化中。

基于Stable Diffusion优化的AI绘画模型。支持输入中英文文本，可生成多种现代艺术风格的高质量图像。| An optimized text-to-image model based on Stable Diffusion. Both Chinese and English text inputs are available to generate images. The model can generate high-quality images in several modern art styles.

SkyCLIP模型简介
SkyCLIP是我们采用一种高效的训练中英双语CLIP模型的方法得到的CLIP模型，该方法仅需要使用文本数据即可实现对OpenAI-CLIP模型的高效蒸馏，大幅降低了数据门槛，同时训练所需算力要求相较于原始CLIP模型减少90%以上，方便开源社区可以进行复现/微调。该方法仅改变了OpenAI-CLIP的文本编码器，可搭配使用OpenAI-CLIP的图像编码器实现图文检索功能。

SkyCLIP训练数据来源
中英文机器翻译任务平行语料
联合国中英文平行语料
LAION中英文语料(部分)
Wukong中文语料(部分)
AI-Challenger翻译任务中英文语料
古诗词中英文语料
提示词手册/魔法书中常见词组合而成的中英文语料
SkyCLIP训练方法
将OpenAI-CLIP的text_encoder作为教师模型并且冻结参数，学生模型采用和教师模型同样大小的多语言BERT模型，训练时英文输入通过教师模型获取相应的t_en_hiddent_state，英文和中文分别通过学生模型获取相应s_en_hiddent_state，s_zh_hidden_state，采用l1、l2、cos距离等构造损失函数使得学生模型的中英文hiddent_state逐渐靠近教师模型的hiddent_state。由于平行语料的中文和英文存在天然的不等长性质，为了使得平行的中文和英文尽量接近，训练过程中我们还添加了中文解码器，使用学生模型的中英文hiddent_state作为解码器的hidden_state输入，通过翻译任务来辅助实现中文和英文的对齐目的。

SkyCLIP模型评估
目前我们主要评估了SkyCLIP在Flickr30K-CN的zero-shot表现，主要对比了若干具备中文能力的相关开源模型，为确保对比的公平性，具有多个模型尺寸的我们均选取基于OpenAI-CLIP ViT-L/14尺寸的模型，我们评估的流程参考了Chinese-CLIP所提供的评估脚本。