嘉宾丨詹坤林
撰稿丨诺亚
出品 | 技术栈（微信号：blog51cto）
在这个消息爆炸的时代，人工智能正悄悄融入生存。但是，将AI技术迅速、高效地转化为适用工具，一直是应战。在近期的WOT世界技术翻新大会上，58同城初级总监、AI Lab担任人詹坤林分享了处置之道：经过经常使用大模型和AI智能体技术，打破传统AI运行开发的局限，减速其落地，使人工智能成为触手可及的智能同伴。
1.搭建AI平台，弥合算力到运行之间的渺小鸿沟
詹坤林引见，“从去年开局咱们片面拥抱大模型，尤其是大言语模型。在此背景下，咱们构建了咱们自己的垂类大言语模型——灵犀大模型（生成式人工智能服务备案编号：Beijing—LingXi—202407050027）。以此为基础，咱们对传统的智能对话平台启动了更新，并搭建了咱们的智能体平台，**目的是让咱们的AI运行能够极速落地。”
作为出名生存服务平台，58同城的重要业务形式是衔接B端与C端用户，促进双方交换，与此同时，近年来也在推进平台内的买卖闭环，启动产业化更新，粗浅产业价值链。
AI Lab作为58同城基础平台部，重点在撑持房产、招聘、汽车、本地服务四大业务线。鉴于从最基础的AI算力到实践的AI运行之间存在渺小鸿沟，AI平台就须要着力搭建桥梁，确保AI运行与算力高效对接，驱动翻新通常。
基于这一诉求，AI平台架构分为这样三层：底层为AI计算引擎，一致治理CPU/GPU资源，成功算力调度、模型训练及推理，目的是“模型即服务”。在此基础上，集成图文音算法与大言语模型、多模态模型，供运行方调用构建服务；同时，为减速AI运行，增设AI运行平台层，涵盖智能对话、数字人、Agent等处置打算，使运行方能基于两边的运行平台层的处置打算去极速落地运行；最终，让AI运行浸透至开售、客服、产品及外部办公等全业务流程。
2.构建大模型平台，顺应多样化的业务场景和配件环境
那详细来说要怎样做呢？
詹坤林首先提到了构建大言语模型平台的思绪：之所以要打造这样一个平台，一则是由于AI Lab作为平台部门须要提供一个能够满足各业务线需求的通用平台，使大家能够方便地利用大模型，防止重复造轮子；二则基于这样的认知——通用的大言语模型联合Prompt揭示在某些运行场景下或者难以满足特定需求，须要运行方基于特定运行场景启动模型的微调。
在这样的思绪指引下，树立门路也渐趋明晰：构建一套支持大言语模型训练、推理的平台，集成各类开源通用大模型，供运行方调用和微调。
落到实处，平台树立遵照了这一门路：集成了干流开源大模型，并嵌入LoRA、QLoRA微调算法及MoE训练战略，支持从模型微调到一键部署的全流程。运行方仅需上行数据，选用微调方法，即可极速上线定制模型，应用开源推理框架如vLLM成功高效推理。
与此同时，詹坤林强调，有了平台还不够，还须要继续追踪业界停顿来一直优化。比如，驳回MoE架构，经过宰割大模型为小模块，缩小推理时所需参数，优化GPU资源应用；再比如，针对GPU稀缺场景，驳回S-LoRA技术，可以在同一张GPU卡上部署和运转多个微调过的模型，清楚降落部署老本。
3.打造垂类大模型“灵犀”，为详细业务场景就地取材
在58同城的翻新之旅中，除了构建大模型平台之外，打造垂类大模型是另一个重点。
思考到58同城特有的房产、招聘等垂直场景，通用大模型往往因不足针对性数据而在这些畛域体现平平。因此，AI Lab在搭建平台之外开局着手开发专属于58的垂直大模型，以期取得更佳的场景顺应性和体现成果。
据詹坤林引见，为了防止从0到1的高昂老本，他们选择在开源模型基础上，应用58同城丰盛的业务数据启动增量预训练，从而平衡模型性能与资源消耗。
训练环节分为三个阶段，融入58业务数据的同时引入公共数据，而后启动精心配比，确保模型既能够排汇特定畛域的常识，又能够保管通用言语模型的才干，防止劫难性忘记的疑问，之后再启动微和谐对齐，确保其在特定义务上的体现到达最优。
在评测成果方面，灵犀大模型经地下数据集与外部场景双重评测，相较于同尺寸开源模型，在特定目的上展现长处。另外，安保模型的开发尤为关键，针对内容查看需求，如涉政、涉黄消息识别，灵犀安保大模型在与GPT4的对比中也展现出清楚长处。
目前，58同城灵犀大模型曾经正式经过生成式人工智能服务备案（模型称号：灵犀，备案单位：北京五八消息技术有限公司，上线备案编号：Beijing—LingXi—202407050027）。点击可见
詹坤林还提到，在某些场景下，基于百亿参数的模型去打造运行，相比千亿参数模型更有长处。“去年，在业界未开源大参数模型时，咱们的百亿参数模型成果和性能媲美甚至优于某闭源千亿参数模型，证实小规模模型亦可高效应回答杂场景。”
为满足不同技艺水平团队的需求，58同城AI Lab构建了片面的大模型API体系，不只准许迅速部署外部模型，确保新模型颁布后能即时上线，而且整合了市场上的商用大模型API，简化了调用流程。
附丽这套逻辑，AI平台与运行方的协作方式灵敏多样：运行方可间接在平台上微调模型；也可以驳回垂直模型定制处置打算；即使是不足技术背景的团队也可以间接收获一站式服务。
4.树立AI Agent平台，按下运行落地减速键
须要抵赖的是，关于不少运行方，尤其是小型团队开发者来说，微调大模型还是老本过高、耗时过长。为此，58同城AI Lab以灵犀大模型作为大脑驱动，构建了一套AI Agent平台，旨在减速AI运行落地。
詹坤林方便说明了这套智能体平台的构建环节：他们基于开源模型微调出顺应Agent场景的模型，强化角色表演（如表演HR或开售）和工具调用才干。经过优化，不只优化了工具调用的准确性，还增强了模型的通用性能。
平台的关键特征之一是自主研发的RAG配置，准许上行文档以构建常识库，从而丰盛AI的回答。上班流智能化使得AI Agent能独立口头义务。
区别于业界其余智能体平台只能在自有生态下生成智能体页面，该平台可以生成智能体API，提供的API便于开发者将智能体无缝整合进自定义运行，极大地提高了灵敏性和翻新空间。
对比多家智能体平台，实测标明，在综合场景下，因对文本向量化和大模型启动了针对性微调，平台的RAG打算长处清楚借助此技术，经营方即使无算法团队，也能经过AI Agent平台极速搭建运行。只有上行文档，系统便智能成功解析、向量化、检索与排序，由大模型成功回答，大幅简化了文档问答的成功环节。
目前58同城正片面运行大模型技术，涉足开售、客服、用户体验和外部办公等多个畛域，已成功部署逾50款AI运行。
以开售培训场景为例，58同城面对高流动性的电销团队，新员工需迅速把握开售技巧。传统培训耗资费时，触及少量人力一对一指点话术。为处置此疑问，引入了基于大模型的角色表演机器人作为陪练，它能模拟低劣开售的沟通方式及不同客户的反响，协助新员工经过互动学习提高开售技艺，缩小真人培训的老本。
再比如，在外部办公和研发效率方面，SQL智能助手优化了数据剖析流程。这款工具专一于生成SQL语句、智能纠错以及照应人造言语查问，例如极速失掉部门支出数据或图表展现，极大优化了决策者和业务团队失掉关键消息的速度，缩小了编写复杂查问的需求。
5.结语
最后，詹坤林分享了他关于大模型开发与运行的通常总结：
第一，关于专一于特定垂直畛域的公司而言，基于开源大模型开发的垂直模型展现出了清楚的长处。
第二，参数量并非选择一切。不用关于模型大小适度焦虑，选用模型时应愈加器重详细运行场景的需求。
第三，无论是垂直模型的构建，大模型平台的搭建，还是智能体平台的开发，一切致力的独特目的都是为了孵化出具备严重影响力的运行。
总而言之，企业应该采取开明态度，踊跃应用大模型的力气，经过定制化和开明协作，寻求在垂直畛域内发明对业务具备低价值、高影响力的新型运行，这一趋向有望在未来几年内继续开展并带来行业改革。
本文转载自 技术栈 ，作者：