“技术的**只要两点,一个是把技术做好,一个是把技术用好”
在之前的文章中曾经说过,预训练和微调是为了打造一个更好用的大模型,而揭示学习是为了更好的经常使用大模型,激起大模型的潜能。
而基于揭示学习开展起来的揭示词工程,也就是怎样写一个更好的揭示词;网络上曾经有很多经过测验的揭示词框架,比如APE,BROKE等。
揭示词工程是一门基于阅历的迷信,因此没有最好的揭示词框架,只要不同义务下最适合的揭示词框架。
而经过钻研发现了揭示词愈加初级的玩法——样本揭示和思想链。
样本揭示
样本揭示包含Zero-Shot,One-Shot,Few-Shot等多种方式,便捷来说就是在揭示词中参与一些例子。
比如
“whatpu” 是一种成长在坦桑尼亚的小型毛茸茸的生物。经常使用 whatpu 这个词的一个例子是:咱们在非洲游览,看到了这些十分可恶的 whatpu。--举例“farduddle” 的意思是极速腾跃。经常使用 farduddle 这个词的一个例子是:
这就是一个少样本揭示的例子,上局部是例子,浅绿色局部就是大模型的回答。
依据不同的大模型和义务类型,可以适当的给出一个到多个例子,而咱们平时间接问大模型的疑问属于零样本揭示,也就是不给出案例,间接让大模型回答。
因此样本揭示就相似于咱们人类平时探讨疑问,或者对方对你的疑问不是很了解,这时咱们下看法的反响就是,我给你举个例子。
这就是样本揭示的作用,在经常使用样本揭示的环节中,可以适当的参与多个样本,Few-Shot中的few就是大于等于1的意思。
以下就是一个给出三个例子的少样本揭示:
思想链
思想链是为了处置复杂疑问而推出的一种方式,就是在揭示词中参与思索环节。
举例如下:
这个是没用思想链的方式
问:小明有三个苹果,他的妈妈又给他买了两个苹果,小明吃掉了一个,小明还剩几个苹果?
答:4个
这个是经常使用思想链的方式
问:小明有三个苹果,他的妈妈又给他买了两个苹果,小明吃掉了一个,还剩几个苹果?
答:小明后来有三个苹果,他的妈妈又买了两个,之后又吃掉一个,因此3 + 2 - 1 = 4,所以小明有四个苹果。
问:小丽有三个网球,她又购置了两罐网球,每罐三个,这时小丽有几个网球?
在某些大模型中,假设不经常使用思想链的方式,对于小丽的疑问,或者就会回答失误,而经常使用了思想链可以优化大模型回答的准确率,当然也不能齐全防止回答失误的状况。
这里只是举个便捷的例子,假设咱们在口头愈加复杂的义务时,经常使用思想链可以大大优化大模型的输入品质。特意是在Agent中,Agent应用思想链来优化大模型的推理布局才干和环节,这样就可以让Agent成功愈加复杂的义务。
样本揭示与思想链联合
样本揭示和思想链是两种不同的优化大模型体现才干的方式,一个是给出案例,一个是逐渐拆解,但它们的最终目标都是为了更好的经常使用大模型。
因此,在实践的运行环节中处置复杂义务时,普通会把样本揭示与思想链两者相联合,即给出案例,又给出思索环节。
如下图所示:
在一些问答系统中,经常使用样本揭示+思想链的方式能够更好的回答疑问,以及做一些复杂义务的拆解。
而假设把样本揭示+思想链的方式,再经常使用大模型的function call的方式来成功Agent,就可以让大模型成功一些愈加复杂的义务,比如经常使用思想链做完布局之后,调用工具来成功每一步的义务。
经过这样的方式,就可以把大模型与详细的垂直畛域相联合,创立垂直畛域的智能体。
大模型技术的**只要两点,一是怎样把模型做的更好,更弱小;二是怎样用好大模型,让大模型处置详细畛域的疑问。
思想链和样本学习是处置两种不同疑问而提出的技术,而且可以把两者联合起来,使得模型体现的更好。
原文链接: