我的书城网

字:
关灯护眼
我的书城网 > 穿越:2014 > 第242章 超大规模标注数据

第242章 超大规模标注数据

这种情况下似乎现在直接拿曾经公司在调教simplet这款软件所用到的标注数据去换钱岂不是事半功倍?

虽然simplet这款软件在架构的时候同样没有进行全语种的互译数据标注。

但最起码涉及到中、英、俄、法、西、日这些常见语种之间的互译数据标注肯定是要有的。

纵然这些语种之间的互译数据不是所有的语种之间都能达到千万条的互译标注规模。

但最起码中英、英中互译标注数据肯定还是相当有规模的。

在这种情况下,林灰估算了一下前世simplet这款软件所用到的标注数据在今天起码也要拥有七八亿美元的价值。

这无疑是一笔相当巨额的财富。

最关键的是即便林灰拿了这些语种之间的互译标注数据去换钱。

也不妨碍林灰到时候将simplet这个软件推向翻译市场。

呃,虽然有点奸商的作风。

但怎么说呢,一鸡多吃才是互联网时代下的典型商业特色。

尽管短时间内林灰不大可能去突然涉及到翻译领域的互译标注。

但林灰手中的标注数据可不仅仅是翻译领域。

以林灰此时所耕耘的自然语言处理这个方面吧。

尽管林灰在此前的生成式文本摘要模型的构建中主要是使用无监督训练的方式进行的大量数据获取以及相应的模型训练。

但林灰手中确确实实是有自然语言处理方向的标注数据。

而且是超大规模的文本标注数据。

这更是一笔相当大的财富。

虽然这种文本数据标注相比于双语互译文本标注标注起来门槛更高的数据其价值肯定是要打折扣的。

但在形成规模的情况下纵然是一般的标注数据一样是一笔不容小视的财富。

仅仅是涉及到文本摘要有关的一些普通标注数据林灰估计在这个时空换取几千万美元的话完全没问题。

如果对这些标注数据加以一定包装并且足够幸运能够遇到一些识yuan货da人tou的话。

商业谈判时如果谈判的人很会的话谈到近亿美元也是有可能的。

如果对标注数据进行一定的包装,林灰估计忽悠个上亿美刀也是完全没问题的。

对这些标注数据加以一定的包装是什么意思呢?

就是美化标注数据的质量。

严格来讲的话,同样是标注数据也是可以区分为专家标注和众包的。

所谓的“专家标注”也不是真的专家去进行标注。

“数据标注”听起来似乎蛮高大上的,但实际上呢?

进行数据标注过程往往非常复杂,涉及到数据量特别多的时候,对人工劳动力会有很高的要求。

虽然不能说低端吧,但这种机械而繁复的工作至少跟高端是没啥关系的,砖家教授肯定是不会去干这活的。

所谓的专家标注一般都是由苦逼的算法工程师进行兼职。

或者由专门的算法数据标注员进行标注。

所谓的数据标注员是一种新兴职业。

前世,随着大数据以及人工智能时代的到来,为了应对数据标注的工作在互联网上出现了一种新型职业——数据标注员。

数据标注员的工作是使用相应的工具从互联网上抓取、收集数据,包括文本、图片、语音等等。

然后对抓取的数据进行整理与标注。

这些数据标注员工具体的工作流程一般很明确:

首先,标注人员经过培训,确定需要标注的样本数据以及标注规则;

而后,根据事先安排好的规则对样本数据进行打标;

其次,对标注完以后的结果进行合并。

而算法数据标注员稍稍有别于一般的数据标注员。

相比于一般的数据标注猿,算法数据标注猿往往在完成以上的步骤之后。

还要通过标注的数据喂模型进而调试模型。

尽管工作流程只是多了这一步,但专业的算法数据标注员依旧是凤毛麟角。

从先前罗列的任务也可以看出算法数据标注员的任务不仅仅是数据标注。

往往还需要根据标注的数据进一步评估算法模型。

如此一来很多时候对书记标注员的要求是这些人不光要进行数据标注。

还得懂相应的算法。

而这样的人很多时候可以说是凤毛麟角。

而且因为这种专业标注的人员很少。

往往专家级标注只能够胜任小量级的数据。

对于大规模数据标记和超大规模数据的标记任务想要依靠专家标记很多时候只能是力不从心。

对于大规模数据标记和超大规模数据标记往往只能寻求众包了。

众包模式是将零散的个人(包括兼职)、小标注团队,整合到平台上,完成一个完整项目的服务模式。

这种模式的主要优势成本很低,且比较灵活。

尽管前世机器学习长期所致力于的工作就是能够以众包数据或者干脆是无标数据取代专家标注。

但真要问专家标注和众包数据哪个受欢迎。

那自然是前者。

这种情况下夸大标注数据中专家标注所占的比例很容易收获到更高的溢价。

听起来似乎很奸商。

但也仅仅只是听起来而已。

如果林灰所大肆赞美的标注数据和现在的专家标注水平真的区别很大的话。

那林灰吹破大天也没用。

毕竟打铁还需自身硬。

林灰既然敢宣称标注数据中专家标注所占的比例很高自然有底气。

怎么说呢?

往后几年即便是一些非专家标注的数据,在行业标准化、规范化的情况下。

很多时候,就算是众包的数据也未必比现在的行业尚未完全标准化以及规划化的专家标注的水平差。

就算林灰拿往后几年的非专家标注数据去忽悠人。

想来这个时空也会有人去买账。

没办法,技术强势就是可以为所欲为。

『加入书签,方便阅读』
热门推荐
天师,我把持不住了!全民战灵:战灵培育师娱乐:刘天仙只一眼就沦陷了末世降临之神秘系统自暴重生:我创建了救世组织无限金钱,穿梭诸天万界吞天魔神从女子监狱走出的盖世神医痴傻三年被灭门,苏醒后我无敌了无敌山贼:爆兵百万,抢个女帝当老婆