大家好，我是施兴（花名叔宝），来自阿里云机器学习平台 PAI，关键担任产品架构。咱们团队关键担任：①搜查介绍，这是咱们较为成熟的一个畛域；②触及图像和视频多模态处置，如图像视频打标和 Stable Diffusion 文生图，文生视频等相关上班；③在大模型场景下，阿里有通义系列大模型，咱们担任通义的底层平台及相关训练推理优化上班；④启动 RAG 工程链路搭建和大模型评测，包括经常使用大模型评测大模型。
当天引见从大数据到大模型环节中，咱们的大数据平台树立，以及如何在大数据场景下运行大模型的才干。分享内容分为三大块：一是搜查介绍广告的技术架构；二是在搜查介绍场景中的工程和算法通常；三是联合大模型的一些探求及相关工程产出。
这是较为成熟的搜查介绍广告技术架构，大厂都在经常使用，未来更倾向实时运行。繁难解释一下架构：用户关上淘宝、天猫等 APP 或网站，展现的消息流是介绍系统。用户操作时，后端系统会发恳求，选择介绍什么内容。曝光恳求发送给后端的业务引擎和 A/B 系统，它们选择哪些数据启动召回、粗排、精排等操作，并经过 A/B 引擎启动分流。各大厂的算法工程师不时在优化模型和算法成果，提高点击率和购置率，这些都是经过 A/B 系统启动分流。实践的召回、排序在前面的引擎端启动。
用户在线操作数据会被存储并落入实时计算层，如 Flink 的实时规范会启动窗口函数计算，生成实时特色和样本，这些数据会积淀到离线大数据处置平台。离线平台预备 day 级别样本和特色，经过 AI 平台训练，生成特色（比如 Embedding 特色）和模型，模型用于线上推理服务。这就是整个流程。
为了允许复杂的介绍链路，阿里云的技术架构如下：最底层是资源层，蕴含 CPU、GPU 等各类配件。经过集群调度才干，把算力往外输入，例如 ODPS 飞天集群，阿里云的容器化服务，以及灵骏智能计算集群。灵骏智能计算集群关键面向大模型时代，满足高性能算力需求。
底层有少量高性能的异构计算资源，如妇孺皆知的 GPU，包括英伟达以及其余厂家提供的 GPU。还有高性能网络来撑持，由于大模型训练须要几千张卡，这就须要保障卡之间的通讯是高带宽低延时，因此须要高性能 RDMA 网络。另外，为了极速读取样本，还须要高性能的存储，否则就会糜费少量 GPU。这就是咱们最底层的资源调度层，再上一层是“大数据+ AI”一体化的 PaaS 平台。
大数据和 AI 的 PaaS 平台关键分为几局部：实时和离线一体化的大数据平台，包括 MaxCompute 和 Hologres。MaxCompute 对标开源的 Hadoop，而 Hologre 可以繁难了解为相似 Redis 的实时 OLAP 剖析工具。Flink 用于实时计算流，EMR（Elastic MapReduce）则是阿里云上对标的开源大数据平台。
在大数据平台启动数据处置后，经过 AI 平台提供多种性能。AI 平台关键包括数据标注（PAI-iTAG）、数据荡涤、特色平台（FeatureStore）等。有了这些数据后，可以启动代码开发，包括交互式开发（PAI-DSW）和可视化开发（PAI-Designer）。开发好的代码须要在数百台主机上启动散布式训练，因此有模型训练（PAI-DLC）模块。为了提高训练效率，提供数据集减速（DataSetAcc）、网络通讯优化、算子优化和配件并行减速等性能。训练成功后，经过 PAI-EAS 平台提供模型服务。这就是咱们大数据和 AI 的 PaaS 层才干。
在大数据和 AI 平台上，百炼模型服务平台是面向开发者的大模型开发平台。百炼整合了达摩院通义试验室的多项大模型才干，如图像处置的通义-万相、语音识别的通义-听悟，以及文本处置的通义-千问。此外，还包括了开源社区 ModelScope，供开发者共享和下载模型。在此之上，平台允许智能介绍、放开搜查和广告用户增长等多个场景，其余还包括传统电子商务和智慧医疗等，构成了一个片面的平台架构体系。
特色平台（FeatureStore）是一个结构化大数据治理和共享平台，用于存储、组织、治理机器学习和 AI 训练中经常使用的特色数据。传统上，每个算法工程师处置自己的特色表，没有一个一致的平台来共享这些特色。而 FeatureStore 平台允许数据从离线平台如 Hadoop 的 HDFS 和 MaxCompute 同步到 Hologres、TableStore、FeatureDB 等一些在线平台，并保障数据分歧性。
在介绍搜查算法开发中，经常会遇到离线训练模型成果好，但在线服务时成果不分歧的疑问。为此，咱们经过云上介绍处置打算型产品 PAI-REC，保障了数据的离线和在线分歧性。另外，线上特降服务也保障了稳固性，并参与了消费队列监控，照实时监控 RT/QPS 变动，以及实时特色的写入恳求队列能否存在危险和沉积等。
在大模型（多模态）时代，Embedding 特色是必无法少的，如搜查介绍的 user/item 特色，这些特色可以在 FeatureStore 平台一致治理。有了这些原始特色，须要思索如何高效开发特色消费上班。因此，咱们开发了一些基础的特色消费性能，便于特色的二次加工和生成更多的特色。
在性能上，FeatureStore 平台是为了模型推理时能在线上间接提供特色访问服务。但在某些状况下，如搜查推行场景，整个端到端的恳求须要在一两百毫秒内成功，假设跨网络失掉特色会造成延时，因此须要在每个环节都做到极致。为了减速特色失掉的速度，咱们采取了一个优化战略，即预先将数据拉到本地，应用本地内存换取期间。这也是大家在日常上班中可以参考的一个优化点。详细的流程如左边的图所示，这里就不详细开展了。
FeatureStore 平台还允许特色血统性能。在剖析特色时，假设算法工程师发现特色存在疑问，须要知道该特色是从哪些源表生成，以及被谁经常使用。这种血统相关在结构化数据中极为关键，假设最后的结果出错，须要找出疑问所在。这须要数据工程师或算法工程师投入少量精神去追踪。而有了血统图，咱们可以一眼就看出该字段是从哪些表中来，又被用在哪里，以及最后服务于哪些模型，这就是特色血统性能的作用。
在介绍搜查算法中，咱们发现每个客户会成功一些如 DeepFM 的经典算法。但是，这象征着每个客户须要一套自己的 DeepFM 代码，这参与了开发上班量。因此，咱们树立了 EasyRec 介绍算法库，繁难开发人员经常使用不同的计算资源，如 MaxCompute、Hadoop、Spark 等，甚至可以在本地设施上运转。EasyRec 允许多种数据源，如阿里云的 OSS、MaxCompute 或许 HDFS、Hive 等；还提供了 FeatureGenerator 性能，只需性能文件一样，能确保离线训练和在线推理的计算逻辑分歧，防止引入误差。EasyRec 集成了针对实践运行场景的有效算法；EasyRec 还允许智能调参（AutoML-HPO）、特色智能生成（Auto Feature）、特色智能选用（Feature Selection）、模型蒸馏（Distill）、训练减速优化、离线评价以及 Early Stop 等性能，协助算法工程师缩小开发上班量。
随着大模型和 user/item Embedding 的引入，为了谋求更佳的介绍搜查成果，模型特色和网络结构越来越复杂。原本数百维的特色收缩到数千甚至上万维，其中蕴含少量交叉特色。对应的 Embedding 日益庞大，由数十 G 扩展到上百 G 甚至 T 级别，以期失掉更强的表征才干。此外，行为序列（Sequence）长度也从原本的 50个行为扩展到上万个长度。这样的复杂性带来应战：谋求更好成果的同时，训练的资源需求和速度要求不时参与，算力严重无余。但是，复杂的推理环节也造成推理延时参与，而推理是实时恳求环节，因此推理超时严重是一个急需处置的疑问。
在搜查介绍广告场景下，咱们对训练和推理启动了两慷慨向的优化。
在训练优化上，①多级缓存和特色智能淘汰：引入特色的智能准入和淘汰机制，实时或离线训练中低频度特色会被淘汰，缩小计算资源和显存的占用。②WorkQueue 形式：将训练数据变成队列，处置不同主机和显卡处置速度不分歧的疑问，经过消费者-消费者形式提高计算效率。③特色选用与常识蒸馏：优化特色和模型结构。④通讯优化：经过单机融合和流水并行缩小通讯量，优化效率。⑤配件减速：与阿里云、英特尔、英伟达协作，经常使用 AVX/AMX 矩阵减速、AllReduce 同步训练、SOK 协作以及 Embedding 增量降级，启动实时增量模型训练。
在推理优化上，①AVX/AMX 减速：在 CPU 上减速 embedding_lookup 和 string_split。②量化减速：在 GPU 上引入 bf16+int8 量化，缩小计算耗时。③AutoPlacement：在 CPU 和 GPU 之间智能高效地调配算子。④SessionGroup：应用 GPU 的 multi stream 个性减速计算。⑤特色缓存：针对介绍场景启动特色缓存优化。咱们在电商场景的实在客户中，经过这些优化使 QPS 优化到原生 TF-Serving 的四倍左右。
这是整个推理引擎的数据链路或架构图。重点在于右侧的推理链路，包括 Feature Cache 和 Feature Generator。①Feature Cache：处置离线和实时特色，缓存后启动降级和分级存储。由于 embedding 到达百 GB 甚至 TB 级别，齐全放在内存中无法行，因此须要多级缓存。②Feature Generator：在失掉特色后，应用 Feature Generator 启动共享和计算，最后交给模型处置。最上方的图示，展现了实时特色和离线特色的计算环节，以及增量模型的降级形式。
接上去引见咱们在与协作同伴协作中，发现的搜查介绍畛域一些大言语模型带来的新场景。①电商导购，传统 query 形式无法精准输入结果，而大言语模型能助力用户选品、直播答疑，提供商品售前咨询和售后服务。②内容介绍，如用户想购置特定商品或处置某个疑问，大言语模型可以给出内容介绍。③企业常识库，每家企业都有外部文档库，新员工可经过 AI 机器人极速学习公司外部常识，而不用依赖老员工手把手指点。④教育搜题，大言语模型在教育畛域也有运行，如搜题生成答案和常识总结。这些都是客户在尝试的一些 LLM 新场景。
在搜推行场景的通常中，经典的搜推行通常由数据驱动。例如，淘宝应用用户行为和商品数据构建介绍模型，知乎则经常使用用户与内容的数据启动介绍。这种方法往往是畛域内的数据建模，淘宝无法回答知乎的疑问，知乎也无法处置淘宝的商品介绍。这造成消息茧房，介绍内容局限于外部数据，无法回答通用疑问。
此外，还触及用户和商品的冷启动疑问。关于新用户，没有任何行为数据，只能驳回经典冷启动方法。雷同，新商品颁布后，由于没有历史数据，很难极速曝光。而且介绍的多样性不够，无法跨畛域介绍。
反观通用 LLM，其常识面宽泛，能够回答各种疑问，并且常识表白才干丰盛。但是，LLM 缺乏介绍广告畛域的专有数据，也不具有序列记忆才干，无法有效处置用户的常年行为记载。最关键的是，大模型在介绍场景中性能复杂度很高，推理老本也很大。
业界通常有两种处置形式。左边这种是将介绍场景与大言语模型（LLM）联合，应用 LLM 丰盛的常识表白，将其 embedding 作为特色启动融合，而后启动在线模型服务。左边是间接经常使用 LLM，将专业畛域数据输入 LLM，让其启动介绍。这包括间接对大模型启动 fine-tuning，以及 RAG 场景。但是，间接经常使用 LLM 启动介绍搜查，会带来较高的训练推理老本，同时还须要处置数据稠密和冷启动疑问。因此，干流方法还是上图中左边这种。
咱们在阿里外部的淘宝天猫上积攒了一些阅历，特意是在 Prompt Engineering 方面。第一个通常是经常使用 LLM 启动类目搭配介绍，由于 LLM 具有少量的畛域外常识。例如，假设你给它一个类目称号“手机”，它会介绍手机壳、耳机、数据线、手机膜等相关类目。这是 LLM 应用其通用才干的一种表现。经过 Prompt 模板，给 LLM 一个类目名，它就会协助生成相关的类目。但这些生成的类目在真正用于线上时，还须要转化为实践的线上类目 ID。这是一个经常出现的运行场景。
第二个运行场景是广告搜查中的 query 改写。例如，关于 query“生娃送什么”，间接搜查难以找到详细商品，传统的 query 改写会将其改写为“儿童礼物”。而关于“买一块可以在草地上铺的布”，被曲解为“摆盘装璜”。这就是广告组买关键词时遇到的疑问，如“满月礼物”或“野餐垫”。
query 改写成果不好会造成两个关键疑问。一是改写后的 query 婚配不到广告主的关键词，造成在召回阶段就被淘汰。二是无法婚配到低价流量的准确需求，会糜费局部低价流量。比如，广告主买了“儿童礼物”，但实践搜查的是“满月礼物”。这些疑问面前的关键技术要素是，传统的方法关于长搜查词的语义了解才干有限，且在语义相关的改写词笼罩上也比拟有限。
咱们在应用 LLM 启动 Prompt Engineering 时做了一些尝试。LLM 具有举一反三的才干，可以通知 LLM 一个词，而后生成几个相关的词。例如，前往“华为手机”5 个电商近义词，保障搜查词品牌和类别与“华为手机”分歧，LLM 可以生成“华为智能手机”、“华为”、“智能手机”、“华为畅享”、“华为 Mate”。再如，前往“新款高腰微喇裤深蓝色”5 个电商近义词，LLM 输入“高腰”、“微喇裤”、“深蓝色”、“时兴”、“修身”。
一种更好的方法是经常使用同类目、同方向的相似 query 疏导模型输入。例如，把前两个 query“华为手机”与“厨房置物架”交流成“七分夏裤”与“女红色裤”，疏导LLM 输入第三个 query，生成的“高腰微喇裤”、“深蓝色新款”、“深蓝色裤”、“高腰裤”、“微喇裤”更贴近实践需求。这种方法在实践经常使用中成果更好，能极速运行于日常上班。
最后一个场景是在 RAG 上的探求，联合企业客户经常使用大模型的通常。企业有少量常识库，这些常识库文档须要分片并转化为向量，存储在向量数据库中。目前的向量数据库有 ElasticSearch、Hologres、Milvus 等。在线恳求时，用户提问经过 embedding 模型转化为向量，而后在向量数据库中检索，相似度检索结果取出 Top-K 后交给 LLM，提供高低文背景，构建 Prompt，最终生成回答。
开源名目 PAI-RAG 将 RAG 链路环节中的各个环节启动模块化设计。全体环节形象成文档抽取（Document Extraction）、索引树立（Indexing）、Pre-Retrieval（query 改写在此阶段）、Retrieval、Post-Retrieval、Generation、Evaluation 等。如何排序检索进去的结果，如何让有效的文档排在前面，或许对一切检索出的文档启动总结，以更有效地疏导 LLM 生成，最后再启动评价，构成一个完整的 RAG 链路流程。咱们目前的关键上班是使 RAG 工程链路变得更繁难适配各种场景。比如，假设数据不是 PDF 或 Word，而是 PPT，能很繁难参与读取 PPT 文件的性能。关于 Query React，可以轻松地启动二次开发加工等。
PAI-RAG 关键允许的数据类型包括多模态数据、文档的结构化示意、embedding 模型的优化等。咱们集成了 OCR 性能，并思索了文档的层级结构，允许 PDF 和 Word 等多模态的文件，包括文件中的截图。当 Embedding 模型成果不佳时，经常使用第三方的大模型来丰盛常识库，智能生成文档扩大此性能。
经常使用相似的思维来生成评价集，这关于构建 RAG 链路的企业来说十分有用。它们通常有很多文档，但没有预备很多疑问来测试 RAG 的成果。咱们经常使用大模型 RefGPT（不是咱们首创）生成评价集。此外，还允许关键字检索和混合检索。
咱们的上班还包括①评价大言语模型的优劣，比如把人工评价的上班交给另一个大模型；②允许各种量化目的，如命中率、准确率等；③在回答的品质上，思索了正确性、语义相似度、虔诚性、答案的高低文相关性等多个维度。
这是咱们在 PAI 模块化 RAG 中的一个示例图，并经常使用 Gradio 编写的前端，使得性能 RAG 链路和上行数据变得十分繁难，还可以间接启动交互测试。