我团体对 llm 是一种很复杂的态度。毕竟,它真的击碎了我 2023 年之前一切的技术积攒,以前在 nlp 苦心研讨的训练阅历、模型结构、不同义务类型的不同处置技巧,如同在 ChatGPT 背地显得一文不值。
不过,事件都有两面性。与我的技术一同被击碎的,还有我那一潭活水的上班内容。我不再是特色工程师 —— “花了几个月的期间,就只为了结构某个才干的数据特色,而后想方法添加到模型网络中”。当指导又想让模型有一个新的才干怎样办,重复这个特色结构的环节,下一个季度的 OKR 也就制订终了了。我一点都不以为这样的上班节拍能带给我自己、带给我的公司任何无心义的内容。
因此,作为一个曾经研讨对话系统的 nlp 码农,即使我过去的常识和上班阅历加快升值,我也认可 llm:认可它提高了程序员 code 的效率,认可它发明了新的研讨范式,认可它给我的上班内容注入新的生机,认可它掀起了全民狂欢的技术浪潮!
llm 是消费劲工具
不论有多少人抨击 ChatGPT 的技术路途,也不论 ChatGPT 未来会不会真的取代我程序员的上班,一个无须置疑的理想是:ChatGPT 是当今无法或缺的弱小消费劲工具。
不会前端的我敢容许指导说我会给个便捷 demo,而不是像以前那样说“我不确定 Django 能不能做这个”;没学过 go 言语的我敢间接写用于上线的代码;记不住的正则命令我不须要再搜了;学不会的 pandas 终于不用再学了;shell 言语的冷门命令也能信手拈来了——这些都是 ChatGPT 带给我的自信。
不只是程序员,只需是文本畛域,ChatGPT 就都曾经扭转了上班模式。它写出的资讯稿、小说不能用?那就让他写十篇你选一篇,或许是让它写个纲要自己再修正下。兴许模型在创作义务的效果永远超不过人,但架不住模型可以批量消费、以量取胜啊。
在我眼里,不抵赖 ChatGPT 效果的人只要一种:极度的懒人,只接受它给你一个百分之百的可用打算!明明模型曾经帮咱们做了 90% 的上班了,曾经十分凑近最终成绩,咱们只须要再加上自己的挑选或便捷修正,就可以完工了,难道就由于这 10% 的上班不想自己亲手做,所以选用自己从零开局做吗?我真实难以了解这种行为。
卖 ChatGPT 账号的、调戏 ChatGPT 而后做成视频的、经常使用 ChatGPT 生图的、应用 ChatGPT 少量消费文章的……很多人曾经赚到盆满钵满,不会用 ChatGPT 提高消费效率的,真的会最先被淘汰!
llm 把一切人拉到了同一同跑线
2023 年之前,没有几团体用过 megatron、deepspeed,没有几团体研讨过 DPO、PPO、MOE,没有几团体知道 reward_model 怎样训,也没有几个方向的数据 piepeline 是须要花大价钱荡涤才干运行的,就连“sft 数据要谋求品质而不是数量”也是过了半年才达成共识的。
在这个新的技术范式之下,一个新人可以和上班十年的 nlp 从业人员启动强烈答辩,一个小白可以与各种大佬讨论关于 LLM 的认知和试验结果。
去年,我最青睐说的一句话就是:“都是2023年开局学的,谁又能比谁能强多少呢?”。
往年这句话依然失效,只不过同时我也看法到了,2023年曾经在逐渐远去,仰仗着天分、财力、致力,deepseek、qwen等团队的同窗很显著曾经开局和咱们拉开距离了。每个 llm 的从业者都要有比去年更大的忧患看法:好不容易回到同一同跑线,怎样能这么随便再次被拉开?
即使咱们所在的公司可以做不过 deepseek,然而咱们要致力让自己的认知和才干不要被他们甩开太远!
llm 带来了黄金的技术时代
公司情愿花钱去买卡租卡来让我通常学习,指导看见我上班期间读论文会感到满意,共事之间每天都在讨论新的 idea 或许是 Meta / OpenAI / Google 的新技术报告。我不得不说,这样的上班气氛,在 ChatGPT 产生之前,我素来没有遇到过。
惋惜的是,当初大局部的公司开局拥抱运行,琐碎杂活再次多起来了。因此,假设真的觉得上班太忙有些力所能及,从一个打工人的视角登程,真心倡导大家可以应用周末多学学习跑跑试验。想一下吧,公司租着 4W / 月(1机8卡,粗略预计)的机器,来造就咱们的认知,我想不到比这两年更适宜优化自我技术的机遇啦。
这种黄金时代在“人均只要十年的程序员生涯”中,应该是很难再有了!
llm 是泡沫?
回归正题,llm 会是一场泡沫吗?我不太了解这个疑问为什么会被重复拿进去提问。这个答案对程序员来说真的关键吗?它是不是泡沫又能怎样样呢?毕竟,我既不在乎 AIGC 会通往何方,也不在乎 llm 是不是一条正确的技术路途,我只想在这场 llm 浪潮中,向我的指导、未来的面试官证实一件事:我情愿去研讨最新的技术方向,我有才干去复现最新的技术成绩,仅此而已!
当 Google 再提出一个新的技术范式,难道各大公司会由于曾经研讨过 llm 就不情愿招咱们了吗?他们必定还是会选用“ llm 上班做的最好的那群人”,来组建新的研讨团队去追随新的前沿技术。
所以,llm 是泡沫吗?这是企业家们思考的疑问吧,程序员无需多想,咱们只需享用这场技术改造的盛宴。
写在最后
我想再额外分享一个观念:在 llm 这个赛道,真的没必要艳羡他人的上班,做好自己的上班即可。
举个例子,文本上班的同窗天天在想:
做 pretrain 的觉着自己的上班就是爬数据和洗数据、亦或许是和工程一样无休止的优化训练框架;
图像上班的同窗则天天在想:
说瞎话,没必要埋怨自己的上班内容,有卡用,就上游了大少数的同行。即使是当下最具含金量的“pretrain / scaling law”上班,在未来也或许在求职时一文不值,毕竟难道曾经有公司招 nlp 方向的人要求会训出一个 BERT 吗?以运行为导向会是 llm 的殊途同归。
在这场 AIGC 的浪潮下,上班没有上下之分,眼下的上班大略率都会像 BERT 一样成为时代的眼泪。咱们只须要做好当下, 造就自己甄别论文价值的才干、复现开源名目标才干、debug 代码的才干,坐等真正的“AIGC”产生即可。
本文转载自,作者: