苏喻博士，初级工程师，合肥人工智能钻研院副钻研员，原科大讯飞AI 教育钻研院副院长，中国迷信技术大学博士后，安徽省青少年消息学教育专委会秘书长，CCF 大专委-通信委员，合肥市 D 类人才。苏喻博士不时在智慧教育方向深耕，聚焦于青少年编程。面对数据稠密和学习效果延时性疑问，苏喻博士团队在教育畛域大模型的研发中，技术上有如下三个方面的亮点：1）经过对偶数据的模型训练与评价和历史阅历注入成功青少年编程垂类大言语模型；2）基于分层知识图谱和推理 prompt 生成成功基于小知识的大模型学习；3）融合知识追踪模型和大模型仿真的强化认知介绍。产品运行上，苏喻博士团队开发了青蛙编程平台、AI 编程学习机以及数字人 AI 录播课平台等。
苏喻博士，2011 年 7 月至 2022 年 2 月到任于科大讯飞钻研院，历任科大讯飞 AI 教育钻研院副院长，AI 钻研院认知群教育条线担任人，学习机业务线教研总监，重点担任教育畛域特性化学习业务，包括特性化学习相关模型钻研，产品设计，服务研发等，其研发的多项效果曾经成功运行到讯飞智学网、讯飞智能学习机等相关产品中，于 2018 年取得讯飞首届华夏翻新奖，获 2020 年吴文俊人工智能迷信技术奖科技提高一等奖。先后介入多项安徽省、部级等层面的严重名目科研上班，如国度人造迷信基金重点名目、科技部严重专项等。其间取得多项发明专利，并在 AAAI、KDD、IJCAI 等国内出名学术会议与期刊宣布文章近 30 篇，其中 CCF 介绍会谈论文 A 类文章 7 篇，中文**期刊论文 5 篇，SCI 检索英文期刊论文 10 篇。
（1）特性化学习
年前，孔子提出因材施教的观念，但受限于校内大班教学现状，传统教学方案不可满足在校生的特性化需求。
目前市场上的特性化教育产品出现井喷的态势，如科大讯飞的学习机、腾讯课堂、松鼠 AI（原易学）等，经过消息化及人工智能方法对在校生才干启动诊断，并给出介绍。
（2）科大讯飞产品
科大讯飞学习机，自 2019 年开局发力至今成为头部，关键提供应在校生自主性、特性化的学习方案，节俭在校生时期，提高在校生的学习兴味。平台和教员经过在校生在平板上的学习，剖析在校生的做题状况和才干水平，提供应在校生一个特性化的知识图谱，在校生可依据该图谱对单薄知识点启动自主强化学习。同时，学习停顿可视化，使在校生可以了解每天的提高状况，优化学习兴味。
百度、作业帮等工具，针对考试错题，经过拍搜即可失掉正确答案，这样容易造成在校生抄答案不再深化思索。而科大讯飞的特性化学习手册是基于考试状况和错题，给每个在校生介绍特性化的标题（无答案），同窗间不可相互抄。此外，科大讯飞的产品关于试题有较好的表征，同时错题介绍更具迷信性。
多模态资源了解，将包括文本、平面几何图像、音频等在内的试题独立编码到各自多模态的空间中。而后启动多模态的语义对齐、self attention、Multi task 等上班。一道题的知识点、考点、难度作为其标签，这些消息所有映射为空间中的一个向量。传统试题打标签须要人工成功，一方面人工费高，另一方面客观性强，分歧率低。经过机器打标签可以提高准确率。
依据在校生做的一道错题，经过一些相关的内容和语义介绍相似的标题，一方面在双减的状况下，在校生更容易把握错题相关的知识点；另一方面，教员可以针对上课中在校生做错的例题，搜集到相似标题作为在校生的课堂作业，优化备课效率。
错题难度-最近开展区通常
基于教育心思学中的最近开展区通常，介绍便捷的内容，在校生感觉无趣、糜费时期；介绍太难的内容，会使在校生丢失信念。因此介绍标题的难度十分关键，应是稍高于在校生水平，可经过必定时期学习到达指标，感遭到成就感，这样才可以优化其学习兴味。
成功方法-同分异构在校生错题
成功的方法是搜集一切在校生的答题记载（百万级别，到亿级），放于教育认证诊断模型中，将在校生的消息映射到一个空间里，经过寻觅指标在校生的同分异构在校生（水平相似，知识结构有较小的差距），将同分异构在校生的错题介绍给指标在校生。这是基于假如——该类错题关于指标在校生更容易学会。
解释性及可视化-知识图谱
针对 C 端场景关于解释性的需求，经过少量的在校生数据，基于多模态的编码，将在校生的才干映射到一个知识图谱上，为在校生提供特性化的学习门路，优化其学习效率和学习踊跃性。
在校生基于该图谱，可启动一系列操作，如针对白色的知识点，点击后会出现一条设计好的学习门路。
（3）青少年编程
素质教育-编程畛域 ，在校生对特性化学习的需求更多，难度更大。除了中小在校生外，高校在校生在上编程试验课时，也会遇到各种疑问，教员也会遇到不可针对每个在校生的疑问逐一解答的困境。青少年编程课程，无论是公立校还是教培，即使小班也会是 1 对 6，每个在校生在每分钟都会有其特性化的疑问（如调不通）期待教员回答。公立校中，教员会尝试性将大部分同窗搞不定的疑问的规范答案放于屏幕上，私立校会基于学费和学时，重点允许处置疑问，但仍难以满足特性化学习的需求。
此外，编程教育中会驳回 OJ 试题，与传统教育试题不同，会对标题有要求，OJ 试题的题面要求蕴含标题形容，规则了输入输入规范。一个 OJ 试题蕴含多组用例，一个代码用例由一个输入和一个输入组成，测试在校生所写的代码能否合乎预期。
特性化编程平台蕴含代码修复、代码揭示、辅学指引三部分。
在校生写完代码后，基于大模型的认知诊断，对代码启动修复，依据在校生的水平，给出代码揭示和步骤。
基于研发的底层编译器，为用户提供了中文 debug 界面，此外还会针对在校生的基础语法等弹出相应的知识卡片。这样可以处置用户 80% 到 90% 的特性化疑问。
基于上述代码揭示，教员只要处置 10% 的特性难点疑问，有助于将编程学习顺畅地启动下去，优化在校生的编程踊跃性。
（1）数据稠密
大数据的量很大，但数据稠密。如平台虽然存在海量的在校生编程数据、答题数据，但关于某一个在校生的记载是有限的。如何依据在校生在平台做的几道编程题，对其启动很好的诊断，是一大应战。雷同，数据稠密的应战也存在于其余畛域，如医疗大模型，企业可取得很多病人的案例，但平台上某一团体的病例，或许只要一两例。
（2）学习延时性
针对在校生的介绍，能否使其学习才干优化，能否经过编程等级考试，是不可即刻表现的。学习型的疑问，其介绍的收益不易监控，学习效果会延后表现（或许很多天，甚至半年）。
纯 C 端的广告介绍，相对更容易表现效果，介绍内容后，能否点击、购置等都可以经过打点失掉到效果消息。
运行大言语模型去辅佐青少年编程，一方面依赖大言语模型的 NLG（Natural Language Generation）才干，可对揭示做出连接且合乎高低文的文本回应，另一方面仰仗大模型的 Zero-shot 或 Few-shot 的学习才干，可以协助了解新义务，并在最小揭示和样本下到达无利结果。此外，大言语模型也展现了弱小的跨畛域泛化才干。
针对数据稠密或许团体实在数据较少的现状，如何成功 Zero-shot 才干？能否可以基于其余畛域的知识，经过大模型成功泛化学习？团队就此展开了以下几个上班：一是青少年编程垂类大言语模型，二是基于小知识的大模型学习，三是基于大模型的仿真强化认知介绍。
垂类大言语模型和小知识大模型关键处置数据稠密性的应战，基于大模型的仿真强化认知介绍处置收益闭环太长的疑问。
1.编程垂类大言语模型
编程垂类大模型构建流程关键包括数据失掉、模型训练和知识注入三个步骤。
经过对成熟低劣的 LLM 提问，让其模拟孩子给出失误代码。在编程畛域这种做法的一大疑问是，失掉的回答或许经常是一些便捷的语法失误，比如缺少一半括号，这关于编程畛域大模型是没有协助的。
因此，咱们构建了生成数据甄别器，来区分生成的数据和实在的数据。
同时，咱们也经过 Prompt 生成器，来智能生成更为实在的指令。
最终，基于这样两个模型的反抗神经网络启动失误代码生成，使得生成数据的散布与实在数据十分凑近。
在开源大模型 LLaMA 基础上，经过 Lora 微调生成代码相关的垂类大模型，成功输入失误代码，生成正确代码。但是有时失误代码批改后，虽与规范答案很像，但仍存在一些逻辑上的失误，不可经过测试用例。
因此提供了测试评价的接口，对答案启动评分。整个微调有两个监视信号，实质上有两个 loss，首先要求修复的代码与规范答案很像，第二要经过测试用例，经过得越多，评分越高。这一上班，咱们称之为对偶数据，由于规范答案和测试用例在实质上是对同一事物的两种形容。
（3）基于历史阅历的知识注入
由于原始数据量不同，经过历史阅历，将成功修复案例继续注入本地嵌入向量库中，经过揭示相似失误处置的历史阅历，提高模型修复的准确率。
如上图测试了四个大模型—GPT3.5、LLAMA2、Vicuna-13B 和文心一言，经过历史阅历知识注入后嵌入式寻觅协同数据，使得大模型的代码才干较原来未驳回知识注入的效果有较大的优化。
此外，以代码修复为例，与 ChatGPT3.5 对比，经过上述知识注入后微调的结果，在关键字失误、分号缺失、括号不婚配、变量类型失误等方面都有优化，平均优化 20%，大部分义务优于 GPT3.5。
中，通常面临如下的疑问：基于整顿好的垂类畛域数据，如 TB 级别的数据灌入到大模型中，但是大模型只能对曾经输入的特定知识启动回答，泛化一些的疑问，则齐全不可给出答案。如何基于小的垂类知识，激活大模型相关才干？上方以知识问答为例，引见基于小知识的大言语模型学习。
多层知识体系：咱们驳回人机耦合形式构建分层知识图谱，高层为粒度细的知识点，高层为泛化的知识。应用大模型，自己开掘节点之间的相关。
示例： 二分查找怎样做？
这样，将二分查找的相关细节输入到大模型中启动微调，经过微调的大模型更无时机激起失掉正确的答案。
多轮迭代的大言语模型小知识学习
示例：在校生问循环累加哪里错了？
知识注入后，大模型了解了概念，但是依然不可回答疑问，要素在于 prompt 不够好。经过模拟 prompt 工程师，可以有效优化大模型的效果。这样处置了只是便捷将语料给到大模型，大模型没有方法激活相关才干的疑问。
3.强化认知介绍
由于给在校生介绍学习门路的收益浮现历时较 长，如何评判哪个学习门路介绍更好呢？两个水平近似但知识散布不同的在校生，介绍的学习门路也应不同。面对上述应战，咱们驳回了强化学习的方案，介绍模型即为 Agent，不足的环境经过大模型模拟生成，也即基于大模型的仿真强化认知介绍。
融合大模型和传统深度知识追踪模型，模拟环境的收益和形态变动状况。
经过大模型处置了没有交互数据（即介绍学习后形态和收益数据）成功强化学习的疑问。
在原来比拟小规模数据中，成功学会一道题，依照之前逻辑或许须要 9 步，经过的形式，提高介绍才干，处置同一道标题，只要要更少的步骤。
在中等知识点学习中，强化认知介绍比普通的认知介绍平均步骤降低了 30%，有更高的学习效率。
1.青蛙编程平台
上述教育大模型，已集成于青蛙（找 bug）编程平台和 AI 编程学习机中。
青蛙编程平台可以成功 AI 自主学习，基于知识卡启动智能交互式练习，愈加轻松幽默。已与多位名师、多家机构协作，服务 2 万 ＋ 在校生，基于数据驱动的教学更高效、精准。
上述技术曾经宣布 40+论文、10+ 专利。
AI 编程学习机驳回了墨水屏幕，无蓝光，更护眼。
智能教辅示例：
在校生： 这道题怎样做？
大模型： 给出一些揭示
在校生： 基于揭示还是不会做，怎样办？
大模型： 给出正确答案
在校生： 将正确答案缮写后，编译经过，但未经过测试用例
大模型： 英语少了一个字母
在校生： 终于成功这道标题
智能教辅一方面处置了通常只能一对一才干处置的疑问，另一方面孩子自主成功标题，优化其自信念和学习兴味。同时可以让教员集中精神处置特性的难点疑问。
平台中集成了青少智慧编译器（智能云端编译器），超越行业头部品牌。
编译用具备如下四大长处：
录播课通常为教员继续输入内容，在校生或许 不可长时期专一。基于数字人的 AI 录播课平台，提供了特性化课程、智能化教员、精准化练习。
一段示例：
虚构教员 ：如图，目前公认的在中国实用的 BMI 规范是：当 BMI 小于等于 18.4，说明你的体重偏瘦。当 BMI 大于 18.4，小于等于 23.9，说明你的体重反常。当 BMI 大于 23.9 且小于等于 28.0，就是过重。当 BMI 大于 28.0 就到达瘦削水平。
孟同窗 ：为什么 BMI 大于 28 是瘦削而不是 27？
虚构教员 ：BMI 大于 28 被定义为瘦削是基于少量的钻研和统计数据得出的论断，这个规范是依据世界范围内的人群数据启动剖析得出的。不同的人群或许有不同的规范，但是 28 是一个被宽泛接受的规范。
青蛙编程平台以及数字人 AI 录播课平台 ，涵盖优质的学习资源，可对标行业头部品牌，集成了智能云端编译器，曾经超越行业头部品牌，与金牌教练名师协作制造专属AI 录播课，打造公家专属课堂。
1.大模型 VS.“小模型”
大模型才干片面，但存在如下限度：
通常须要数天甚至数周的时期，须要高效的算法和配件减速训练环节。
中小厂的取胜之道，降低模型 size、做定制化、本地化。
在通用大模型上，小公司与大公司有较大的差距，但小公司基于小而美的专家团队，融入畛域知识，联合知识图谱，可以在垂类大模型上赢得先机。
3.“人工的智能”在于精细化的数据
“人工的智能”胜在垂类的精细化数据。中小厂做垂类大模型的商业形式，必定不是花钱做标注，那将须要十分大的资金老本。中小公司可经过设计商业形式， 让用户收费“帮助”标数据 。例如，咱们有虚构教员、自主编程平台，孩子在成功代码的订正环节中，就是在帮助标志数据，随着业务的推行，数据飞轮效应将逐渐浮现。
Q1：贵司的教育大模型是如何训练微调的？
A1：由于很多大模型相关训练和微调的技巧未写专利和论文，今天更多分享的是思绪，用的还是通用的一些方法，如 SFT 等。
Q2：小知识学习中，客体知识多，但是单个用户（主体）的知识很少的疑问，是如何来增强处置的？
A2：关于主体知识的补足，咱们基于反抗神经网络，经过仿真生成更多的主体数据。例如，一个在校生在平台做了三道题，基于其余在校生的标题，经过大模型仿真模拟在校生做第四道题、第五道题、第六道题。同时基于反抗神经网络成功模拟的标题与在校生的实在水平分歧。