上周精选✦
Ai2发布完全开源的 Tülu 3 模型
Ai2依然在坚持他们的完全开源LLM计划,不同的是这次的模型看起来很强大,意味着你跟着他的训练代码、数据和训练方式也可以训练出类似的模型。
Tülu 3 是一系列开源的最先进的后训练模型,它不仅包括了模型本身,还提供了所有的数据、数据混合、训练方案、代码、基础设施和评估框架。
这个系列的模型通过多轮训练、人工数据与合成数据的结合、多种训练算法和目标,以及新的训练方法和数据集,实现了在不同任务之间保持性能平衡的能力。
Tülu 3 还提供了详细的评估指南、数据去污、配方设计的指导,以及可扩展的合成指令数据集、基于策略的偏好数据集、带有可验证奖励的强化学习方法等。这些发布的资源使得研究人员、开发者、AI 从业者和企业家能够根据自己的需求,训练出与 GPT、Claude 和 Gemini 等领先闭源模型相当的开源模型
Mistral AI 开源 Pixtral Large 124B&le Chat大幅迭代
Mastral AI上周直接拿了一个完全免费的的类似 ChatGPT 的产品出来。不全了自己在Chatbot上的短板,基本上该有的功能都有了。
- 开源 Pixtral Large 124B 多模态模型
- 原生多模态,使用交错图像和文本数据进行训练
- 在多模式任务上表现出色,在遵循指令方面表现出色
- 从头开始训练的新型 400M 参数视觉编码器
- 基于Mistral Nemo的12B参数多模态解码器
- 支持可变图像尺寸和长宽比
- 支持 128k token 的长上下文窗口中的多个图像
- 支持 AI搜索、Artifact、图像理解、图像生成的 le Chat
- 带有引用的网络搜索功能
- 用于构思、内联编辑和导出的画布(Artifact)
- 最先进的文档和图像理解
- 图像生成,由 Black Forest Labs Flux Pro 提供支持
- 所有功能完全免费
Black Forest Labs 开源官方 FLUX 工具套件
在FLUX发布的FLUX Pro 和后面的模型都没开源后,我本来以为黑森林工作室都不想再开源FLUX的内容了,没想到直接整了个大的,发布了三个重要的FLUX辅助套件工具。
- FLUX.1 Fill:局部重绘和扩图模型,超越了 Ideogram 2.0 等现有工具和 AlimamaCreative 的FLUX-Controlnet-Inpainting等流行的开源变体。
- FLUX.1 Depth&Canny:官方Controlnet模型, FLUX.1 Depth优于Midjourney ReTexture等专有模型。特别是, *FLUX.1 Depth [pro]*提供了更高的输出多样性。
- FLUX.1 Redux:用于生成图像变化。给定输入图像,FLUX.1 Redux 可以重现具有轻微变化的图像,从而可以细化给定图像。
我自己尝试了之后最惊喜的是 Fill 模型,重绘和扩图的效果自然而且提示词遵循很好,两个Controlnet中规中矩,Redux的在Dev上效果看起来没那么好,还得等社区探索一下。
模型下载在标题的链接里,Fill的FP8模型在这里小显存可以用这个,ComfyUI也第一时间支持了这几个模型,工作流可以在这里找到。