6月25日

⚒️产品推荐

HeyGen虚拟人软件

推荐 HeyGen 这款数字人产品。它可以选择不同的数字人，套用不同的模板，生成各种演说类的视频口型准确，效果还是很逼真的。

链接地址：https://aimart.app/products/heygen

(资料图片仅供参考)

zeroscope_v2_XL (类似Gen-2)

一个新的文本生成视频模型，在清晰度和人脸稳定性上看起来比gen-2强点。

zeroscope_v2_XL是一个基于Modelscope的视频模型，可以生成1024 x 576的高质量视频。该模型使用9,923个剪辑和29,769个标记帧进行训练，帧率为24，分辨率为1024x576，并使用偏移噪声进行训练。zeroscope_v2_XL专门用于通过kabachuha的1111 text2video扩展中的vid2vid对使用zeroscope_v2_576w创建的内容进行升尺度处理。利用该模型作为升尺度器可以在更高分辨率下实现更好的整体构图，允许在576x320（或448x256）的低分辨率下进行更快的探索，然后再进行高分辨率渲染。在渲染30帧的1024x576视频时，zeroscope_v2_XL使用15.3GB的显存。已知问题：以较低分辨率或少于24帧进行渲染可能会导致输出效果不佳。

576x320 model: https://huggingface.co/cerspense/zeroscope_v2_576w…1024x576: https://huggingface.co/cerspense/zeroscope_v2_XL…

一些NEWS

Midjourney更新5.2版本！

主要增加一下功能：

• 新的美学风格

• 风格化命令的问题已经修复

• 新增高变异模式

• 提示词分析功能

• 图片填充功能

zoom out保姆级教程地址：mp.weixin.qq.com/s/aPcHHgkhrkIqzxX3E8dv1w

Stability AI 发布了 SDXL 0.9

其成像质量和细节相较于Beta版本大图提升。右0.9、左Beta。SDXL 0.9 组合进步的关键驱动因素是其参数数量大幅增加。SDXL 0.9 是所有开源图像模型中参数数量最多的模型之一，拥有 3.5B 参数基础模型和 6.6B 参数模型集成管道。最重要的是尽管具有强大的输出和先进的模型架构，SDXL 0.9 仍能够在现代消费类 GPU 上运行，只需要Nvidia GeForce RTX 20 显卡（同等或更高版本）标准）配备至少 8GB VRAM。现在可以通过 ClipDrop 访问该模型，API 即将推出。SDXL 0.9 之后将全面开放发布 SDXL 1.0，目标是 7 月中旬（时间待定）。

原文链接：https://stability.ai/blog/sdxl-09-stable-diffusion

a16z对于构建大语言模型（LLM）应用的技术栈的看法

该技术栈包括以下步骤和相关工具：

上下文数据（Contextual Data）：应用开发者需要提供上下文数据，这些数据会影响LLM的输出结果。例如，在建立问答系统时，上下文数据可能包括问题和答案的数据库。常用的数据处理工具有Databricks和Airflow。

嵌入模型（Embedding Model）：上下文数据会被输入到一个嵌入模型中，将非结构化的数据转化为LLM可用的结构化向量。常用的嵌入模型工具包括OpenAI、Cohere和Hugging Face。

向量数据库（Vector Database）：生成的向量会被存储到向量数据库中，以便进行快速查询。常用的向量数据库有Pinecone、Weaviate、Chroma和pgvector。

提示生成器（Prompt Playground）：开发者可以在这个阶段创造和测试用于LLM的"提示"，即引导LLM生成预期输出的输入语句。一些工具如OpenAI和http://nat.dev可以帮助开发者进行这项工作。

APIs/插件：为了让LLM应用能够与其他服务或系统进行交互，开发者会使用一些API和插件，如Serp、Wolfram和Zapier。

编排（Orchestration）：这一步涉及管理数据流和任务调度。LangChain和LlamaIndex等工具用于进行这项工作。

LLM API和托管（LLM APIs and Hosting）：LLM模型会被托管在服务器上，以便响应用户的查询。主要的提供者有OpenAI和Anthropic。

LLM缓存（LLM Cache）：用于存储和快速检索LLM查询结果的地方，常用的工具有Redis和SQLite。

日志/LLM操作（Logging/LLMops）：用于记录和监控LLM应用的性能，包括Weights & Biases和MLflow等工具。

应用托管（App Hosting）：最后，应用会被托管在云平台上，如Vercel、Steamship等，以便用户访问和使用。

在整个流程中，每一步都需要进行验证（Validation），以确保模型的输出结果符合预期。这可能需要使用Guardrails、Rebuf Guidance和LMQL等工具。

原文链接：a16z.com/2023/06/20/emerging-architectures-for-llm-applications/

GPT4翻译文档：https://mp.weixin.qq.com/s/nIuw16xkC3TjKd0mbwFvmA

标签：