Hugging News #0407: Google AI 的 Pix2Struct 来啦、开发者资源页面发布

每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」,本期 Hugging News 有哪些有趣的消息,快来看看吧!

社区活动

ControlNet 微调冲刺活动

为了帮助更好地使用 ControlNet 探索 AI 绘画,我们在全球社区联合 Google Cloud 一起举办了这次 🚀 JAX / Diffusers 社区冲刺活动。请在这里 查看本次活动的详细信息。活动很快就截止报名了,再次诚挚邀请参加!

产品更新

新的 Space 应用模版: ZenML

ZenML 是一个可扩展的开源 MLOps 框架,为数据科学家、ML 工程师和 MLOps 开发者创建可移植、生产就绪的 MLOps 管道。你可以选择使用 Docker 作为 Space 应用的 SDK,并选择 ZenML 作为模版即可。

Not-For-All-Eyes 标签

我们新添加了“Not-For-All-Eyes”标签,该标签将用于标记包含可能不适合所有受众的内容的数据集等内容。你可以在个人设置里选择忽略这个标签提醒。

开源更新

🤗 💗 🧑‍💻

我们上线了一个专题页面,列举了作为软件开发者可以使用的 Hugging Face 平台的资源。
https://hf.co/spaces/huggingface/devs

Google AI 的 Pix2Struct 现已在 🤗 Transformers 中提供

Google AI 的 Pix2Struct 现已在 🤗 Transformers 中提供,Pix2Struct 是一种预先训练的图像到文本模型,用于纯视觉语言理解。该模型通过学习将网页的屏幕截图解析成简化的 HTML 来进行预训练。Pix2Struct 还引入了可变分辨率输入表示和更灵活的语言和视觉输入集成,其中语言提示(如问题)直接呈现在输入图像的顶部。该模型在四个领域的九项任务中取得了最先进的结果,包括文档、插图、用户界面和自然图像。

手把手教你使用 ControlNet

ControlNet 这个神经网络模型使得用户可以通过施加额外条件,细粒度地控制扩散模型的生成过程。这一技术最初由 Adding Conditional Control to Text-to-Image Diffusion Models 这篇论文提出,并很快地风靡了扩散模型的开源社区。来回顾我们本周的文章,学习如何使用 ControlNet


以上就是本周大事件,祝大家有一个愉快的周末!

posted @ 2023-04-07 21:45  HuggingFace  阅读(258)  评论(0编辑  收藏  举报