目录：

1. Composer: Creative and Controllable Image Synthesis with Composable Conditions
2. Structure and Content-Guided Video Synthesis with Diffusion Models
3. The connectome of an insect brain
4. Uncertainty-driven dynamics for active learning of interatomic potentials
5. Combinatorial synthesis for AI-driven materials discovery
6. Masked Images Are Counterfactual Samples for Robust Fine-tuning
7. One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale 
8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：Composer: Creative and Controllable Image Synthesis with Composable Conditions

• 作者：Lianghua Huang 等
• 论文地址：https://arxiv.org/pdf/2302.09778v2.pdf

摘要：在 AI 绘画领域，很多研究者都在致力于提升 AI 绘画模型的可控性，即让模型生成的图像更加符合人类要求。前段时间，一个名为 ControlNet 的模型将这种可控性推上了新的高峰。大约在同一时间，来自阿里巴巴和蚂蚁集团的研究者也在同一领域做出了成果，本文是这一成果的详细介绍。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

推荐：AI 绘画新思路：国产开源 50 亿参数新模型，合成可控性、质量实现飞跃。

论文 2：Structure and Content-Guided Video Synthesis with Diffusion Models

• 作者：Patrick Esser 等
• 论文地址：https://arxiv.org/pdf/2302.03011.pdf

摘要：相信很多人已经领会过生成式 AI 技术的魅力，特别是在经历了 2022 年的 AIGC 爆发之后。以 Stable Diffusion 为代表的文本到图像生成技术一度风靡全球，无数用户涌入，借助 AI 之笔表达自己的艺术想象……

相比于图像编辑，视频编辑是一个更具有挑战性的议题，它需要合成新的动作，而不仅仅是修改视觉外观，此外还需要保持时间上的一致性。在这条赛道上探索的公司也不少。前段时间，谷歌发布的 Dreamix 以将文本条件视频扩散模型（video diffusion model, VDM）应用于视频编辑。

近日，曾参与创建 Stable Diffusion 的 Runway 公司推出了一个新的人工智能模型「Gen-1」，该模型通过应用文本 prompt 或参考图像指定的任何风格，可将现有视频转化为新视频。比如将「街道上的人」变成「粘土木偶」，只需要一行 prompt。

推荐：加特技只需一句话 or 一张图，Stable Diffusion 的公司把 AIGC 玩出了新花样。

论文 3：The connectome of an insect brain

• 作者：MICHAEL WINDING 等
• 论文地址：https://www.science.org/doi/10.1126/science.add9330

摘要：研究人员完成了迄今为止最先进的昆虫大脑图谱，这是神经科学领域的一项里程碑式成就，使科学家更接近对思维机制的真正理解。

由约翰斯・霍普金斯大学和剑桥大学领导的国际团队制作了一张惊人的详细图谱，描绘了果蝇幼虫大脑中的每一个神经连接，这是一个与人类大脑相当的原型科学模型。该研究可能会支持未来的大脑研究并激发新的机器学习架构。

推荐：迄今为止最全昆虫大脑图谱，可能激发新的机器学习架构。

论文 4：Uncertainty-driven dynamics for active learning of interatomic potentials

• 作者：Maksim Kulichenko 等
• 论文地址：https://www.nature.com/articles/s43588-023-00406-5

摘要：机器学习 (ML) 模型，如果针对高保真量子模拟的数据集进行训练，可以产生准确高效的原子间势。主动学习 (AL) 是迭代生成不同数据集的强大工具。在这种方法中，ML 模型提供了不确定性估计及其对每个新原子构型的预测。如果不确定性估计超过某个阈值，则该构型将包含在数据集中。

近日，来自美国洛斯阿拉莫斯国家实验室的研究人员制定了一种策略：主动学习的不确定性驱动动力学 (UDD-AL)，以更快地发现有意义地扩充训练数据集的构型。UDD-AL 修改了分子动力学模拟中使用的势能面，以支持存在较大模型不确定性的构型空间区域。UDD-AL 的性能在两个 AL 任务中得到了证明。下图为甘氨酸测试用例的 UDD-AL 和 MD-AL 方法比较。

推荐：Nature 子刊 | 不确定性驱动、用于主动学习的动力学用于自动采样。

论文 5：Combinatorial synthesis for AI-driven materials discovery

• 作者：John M. Gregoire 等
• 论文地址：https://www.nature.com/articles/s44160-023-00251-4

摘要：合成是固态材料实验的基石，任何合成技术必然涉及改变一些合成参数，最常见的是成分和退火温度。「组合合成」通常是指自动化 / 并行化材料合成，以创建具有一个或多个合成参数系统变化的材料集合。人工智能控制的实验工作流程对组合合成提出了新的要求。

在此，加州理工学院的研究人员概述了组合合成，设想了由组合合成和 AI 技术的共同开发推动的加速材料科学的未来。并建立了评估不同技术之间权衡的十个指标，涵盖速度、可扩展性、范围和质量。这些指标有助于评估一项技术对给定工作流程的适用性，并说明组合合成的进步将如何开创加速材料科学的新时代。如下为组合合成平台的合成指标和各自评价。

推荐：Nature Synthesis 综述：人工智能驱动材料发现的组合合成。

论文 6：Masked Images Are Counterfactual Samples for Robust Fine-tuning

• 作者：Yao Xiao 等
• 论文地址：https://arxiv.org/abs/2303.03052

摘要：中山大学人机物智能融合实验室（HCP）在 AIGC 及多模态大模型方面成果丰硕，在近期的 AAAI 2023、CVPR 2023 先后入选了十余篇，位列全球研究机构的第一梯队。其中一个工作实现了用因果模型来显著提升多模态大模型在调优中的可控及泛化性 ——《Masked Images Are Counterfactual Samples for Robust Fine-tuning》。

推荐：中山大学 HCP 实验室新突破：用因果范式再升级多模态大模型。

论文 7：One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale

• 作者：Fan Bao 等
• 论文地址：https://ml.cs.tsinghua.edu.cn/diffusion/unidiffuser.pdf

摘要：该论文提出了一个为多模态设计的概率建模框架 UniDiffuser，并采用该团队提出的基于 transformer 的网络架构 U-ViT，在开源的大规模图文数据集 LAION-5B 上训练了一个十亿参数量的模型，使得一个底层模型能够高质量地完成多种生成任务（图 1）。简单来讲，除了单向的文生图，还能实现图生文、图文联合生成、无条件图文生成、图文改写等多种功能，大幅提升文图内容的生产效率，也进一步提升了生成式模型的应用想象力。

推荐：清华朱军团队开源首个基于 Transformer 的多模态扩散大模型，文图互生、改写全拿下。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天、梅洪源发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选,并提供音频形式的论文摘要简介。

Stable Diffusion

Stable Diffusion AI 绘画助手，精通 SD WebUI、ComfyUI、提示词工程、LoRA 训练

下载

本周 10 篇 NLP 精选论文是：

1. GLEN: General-Purpose Event Detection for Thousands of Types.  (from Martha Palmer, Jiawei Han)

2. An Overview on Language Models: Recent Developments and Outlook.  (from C.-C. Jay Kuo)

3. Learning Cross-lingual Visual Speech Representations.  (from Maja Pantic)

4. Translating Radiology Reports into Plain Language using ChatGPT and GPT-4 with Prompt Learning: Promising Results, Limitations, and Potential.  (from Ge Wang)

5. A Picture is Worth a Thousand Words: Language Models Plan from Pixels.  (from Honglak Lee)

6. Do Transformers Parse while Predicting the Masked Word?.  (from Sanjeev Arora)

7. The Learnability of In-Context Learning.  (from Amnon Shashua)

8. Is In-hospital Meta-information Useful for Abstractive Discharge Summary Generation?.  (from Yuji Matsumoto)

9. ChatGPT Participates in a Computer Science Exam.  (from Ulrike von Luxburg)

10. Team SheffieldVeraAI at SemEval-2023 Task 3: Mono and multilingual approaches for news genre, topic and persuasion technique classification.  (from Kalina Bontcheva)

本周 10 篇 CV 精选论文是：

1. From Local Binary Patterns to Pixel Difference Networks for Efficient Visual Representation Learning.  (from Matti Pietikäinen, Li Liu)

2. Category-Level Multi-Part Multi-Joint 3D Shape Assembly.  (from Wojciech Matusik, Leonidas Guibas)

3. PartNeRF: Generating Part-Aware Editable 3D Shapes without 3D Supervision.  (from Leonidas Guibas)

4. Exploring Recurrent Long-term Temporal Fusion for Multi-view 3D Perception.  (from Xiangyu Zhang)

5. Grab What You Need: Rethinking Complex Table Structure Recognition with Flexible Components Deliberation.  (from Bing Liu)

6. Unified Visual Relationship Detection with Vision and Language Models.  (from Ming-Hsuan Yang)

7. Contrastive Semi-supervised Learning for Underwater Image Restoration via Reliable Bank.  (from Huan Liu)

8. InstMove: Instance Motion for Object-centric Video Segmentation.  (from Xiang Bai, Alan Yuille)

9. ViTO: Vision Transformer-Operator.  (from George Em Karniadakis)

10. A Simple Framework for Open-Vocabulary Segmentation and Detection.  (from Jianfeng Gao, Lei Zhang)

本周 10 篇 ML 精选论文是：

1. Generalizing and Decoupling Neural Collapse via Hyperspherical Uniformity Gap.  (from Bernhard Schölkopf)

2. AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph Neural Networks.  (from Jure Leskovec)

3. Relational Multi-Task Learning: Modeling Relations between Data and Tasks.  (from Jure Leskovec)

4. Interpretable Outlier Summarization.  (from Samuel Madden)

5. Visual Prompt Based Personalized Federated Learning.  (from Dacheng Tao)

6. Interpretable Joint Event-Particle Reconstruction for Neutrino Physics at NOvA with Sparse CNNs and Transformers.  (from Pierre Baldi)

7. FedLP: Layer-wise Pruning Mechanism for Communication-Computation Efficient Federated Learning.  (from Fei Wang, Khaled B. Letaief)

8. Traffic4cast at NeurIPS 2022 -- Predict Dynamics along Graph Edges from Sparse Node Data: Whole City Traffic and ETA from Stationary Vehicle Detectors.  (from Sepp Hochreiter)

9. Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning.  (from Thomas Hofmann)

10. Steering Prototype with Prompt-tuning for Rehearsal-free Continual Learning.  (from Dimitris N. Metaxas)