手工小作坊 ，大招事实敌不外工场流水线 。逼去标注

假如说 ，世多少多当下的公司天生式AI，是大招一个正在结子妨碍的孩子 ，那末源源不断的逼去标注数据
，便是世多少多其饲养其妨碍的食物 。而数据标注，公司便是大招制作这一“食物”的历程。可是逼去标注，这一历程真的世多少多很卷 ，很累人
 。公司妨碍标注的大招“标注师”不光需要一再地识别出图像中的种种物体、颜色
、逼去标注形态等
，世多少多无意分致使需要对于数据妨碍洗涤以及预处置。随着AI技术的不断后退，家养数据标注的规模性也日益展现 。家养数据标注不光耗时耗力 ，而且品质无意难以保障 。为了处置这些下场 ，google最近提出了一种用大模子替换人类妨碍偏好标注的措施 ，称为AI反映强化学习（RLAIF）。钻研服从表明
，RLAIF可能在不依赖人类标注的情景下，发生与人类反映强化学习（RLHF）至关的改善下场 ，两者的胜率都是50%。同时，RLAIF以及RLHF都优于把守微调（SFT）的基线策略。这些服从表明
，RLAIF不需要依赖于家养标注 ，是RLHF的可行替换妄想 。那末
，假使这一技术未来真的推广 、普遍，泛滥还在靠家养“拉框”的数据标注企业，日后是否就真的要被逼上去世路了 
？数据标注现状假如要重大地总结当初国内标注行业的现状，那便是 ：劳动量大，但功能却不过高，属于难题不讨好的形态。标注企业被称为AI规模的数据工场，个别会集在西北亚 
、非洲或者是中国的河南 、山西、山东等人力资源丰硕的地域 。为了操作老本 ，标注公司的老板们会在县城里租一块园地，摆上电脑，有定单了就在临近招人兼职来做，没票据就开幕劳动 。重大来说，这个工种有点相似马路边上的临时装修工
。在工位上，零星会随机给“标注师”一组数据，艰深搜罗多少个下场以及多少个回覆 。之后
 ，“标注师”需要先标注出这个下场属于甚么规范，随后给这些回覆分说打分并排序 。此前，人们在讨论国产大模子与GPT-4等先进大模子的差距时，总结出了国内数据品质不高的原因。但数据品质为甚么不高 ？一部份原因，就出在数据标注的“流水线”上。当初，中文大模子的数据源头是两类，一类是开源的数据集；一类是经由爬虫爬来的中文互联网数据。中文大模子展现不够好的主要原因之一便是互联网数据品质，好比，业余人士在查找质料的时候艰深不会用baidu。因此，在面临一些较为业余、垂直的数据下场，好比医疗 、金融等，就要与业余团队相助 。可这时，下场又来了 ：对于业余团队来说 ，在数据方面不光酬谢周期长，而且后行者颇有可能会剩余。好比，某家标注团队花了良多钱以及光阴，做了良少数据 ，他人可能花很少的钱就能直接打包买走。面临这样的“搭便车顺境”
 ，国内大模子纷纭陷入了数据虽多
，但品质却不高的诡异顺境。既然如斯 ，那当初外洋一些较为争先的AI企业，如OpenAI ，他们是奈何样处置这一下场的？着实，在数据标注方面，OpenAI也不坚持运用重价的密集劳动来飞腾老本 ，好比，此前就曝出其曾经以2美元/小时的价钱，雇佣了大批肯尼亚劳工妨碍有毒信息的标注使命。但关键的差距，就在于若何处置数据品质以及标注功能的下场
 。详细来说 ，OpenAI在这方面，与国内企业最大的差距，就在于若何飞腾家养标注的“主不雅性”、“不晃动性”的影响。OpenAI的方式为了飞腾这样人类标注员的“主不雅性”以及“不晃动性”，OpenAI简陋接管了两个主要的策略 ：一、家养反映与强化学习相散漫；这里先说说第一点 ，在标注方式上，OpenAI的家养反映，与国内最大的差距，就在于其次若是对于智能零星的行动妨碍排序或者评分，而不是对于其输入妨碍更正或者标注。智能零星的行动，是指智能零星在一个重大的情景中 ，凭证自己的目的以及策略，做出一系列的措施或者抉择规画。好比玩一个游戏 、操作一个机械人、与一总体对于话等。智能零星的输入，则是指在一个重大的使掷中，凭证输入的数据，天生一个服从或者回覆，好比写一篇文章、画一幅画。个别来说
，智能零星的行动比输入更难以用“精确”或者“过错”来分说，更需要用偏好或者知足度来评估
。而这种以“偏好”或者“知足度”为尺度的评估系统
，由于不需要更正或者标注详细的内容 ，从而削减了人类主不雅性、知识水一律因素对于数据标注品质以及精确性的影响。尽管，国内企业在妨碍标注时，也会运用相似“排序” 、“打分”的系统  ，但由于缺少OpenAI那样的“处分模子”作为处分函数来优化智能零星的策略，这样的“排序”以及“打分”，本性上依然是一种对于输入妨碍更正或者标注的措施。二
、多样化 、大规模的数据源头渠道；国内的数据标注源头次若是第三方标注公司或者科技公司自建团队 
，这些团队多为本科生组成 ，缺少饶富的业余性以及履历 ，难以提供高品质以及高功能的反映。而相较之下，OpenAI的家养反映则来自多个渠道以及团队
。OpenAI不光运用开源数据集以及互联网爬虫来取患上数据 ，还与多派别据公司以及机构相助 ，好比Scale AI
、Appen、Lionbridge AI等
，来取患上更多样化以及高品质的数据 。与国内的同行比照 ，这些数据公司以及机构标注的本领要“自动”以及“智能”良多。好比，Scale AI运用了一种称为 Snorkel的技术，它是一种基于弱把守学习的数据标注措施 ，可能从多个禁绝确的数据源中天生高品质的标签。同时 ，Snorkel还可能运用纪律、模子 、知识库等多种信号来为数据削减标签，而不需要家养直接标注每一个数据点 。这样可能大大削减家养标注的老本以及光阴
。在数据标注的老本 、周期延迟的情景下 ，这些具备了相助优势的数据公司，再经由抉择高价钱、高难度、高门槛的细分规模，如自动驾驶 、狂语言模子 、分解数据等，即可不断提升自己的中间相助力以及差距化优势。如斯一来，“后行者会剩余”的搭便车顺境，也被强盛的技术以及行业壁垒给消除了  。尺度化VS小作坊由此可见 ，AI自动标注技术 ，真正扩展的只是那些还在运用纯家养的标注公司。尽管数据标注听下来是一个“劳动密集型”财富 ，可是一旦深入细节，便会发现
，谋求高品质的数据并非一件简略的事 。之外洋数据标注的独角兽Scale AI为代表，Scale AI不光仅在运用非洲等地的重价人力资源
，同样还应聘了数十名博士，来应答各行业的业余数据
。数据标注品质
，是Scale AI为OpenAI等大模子企业提供的最大价钱。而要想最大水平川保障数据品质 ，除了前面提到的运用AI辅助标注外 ，Scale AI的另一大立异，便是了一个不同的数据平台  。这些平台，搜罗了Scale Audit、Scale Analytics、ScaleData Quality 等 。经由这些平台，客户可能监控以及合成标注历程中的种种目的，并对于标注数据妨碍校验以及优化  ，评估标注的精确性、不同性以及残缺性 。可能说 ，这样尺度化 、不夹杂的工具与流程 ，成为了分说标注企业中“流水线工场”以及“手工小作坊”的关键因素。在这方面，当初国内大部份的标注企业，都仍在运用“家养审核”的方式来审核数据标注的品质，惟独baidu等少数巨头引入了较为先进的规画以及评估工具，如EasyData智能数据效率平台。假如在关键的数据审核方面
，不特意的工具来监控以及合成标注服从以及目的 ，那对于数据品质的把关，就依然只能沦为靠“老徒弟”目力见的作坊式水准 。因此，越来越多的国内企业
，如baidu、龙猫数据等，都开始运用机械学习以及家养智能技术
，后退数据标注的功能以及品质 ，实现人机相助的方式。由此可见 ，AI标注的泛起，并非国内标注企业的末日 ，而只是一种低效、重价 、缺少技术含量的劳动密集型标注方式的末日 。