还有公共版权的书籍资料，我想在清洗这块优化一下，但是搞了几天还没头绪。”赵文渊解释道。

    “嗯……我晚上回去看看。”

    挂断视频，韩路一在办公室里思索起来。

    韩路一想起来赵文渊的属性面板。

    【赵文渊】

    【技术S（研究SS）｜协作C｜稳定A】

    【特技：大模型训练｜大模型后训练】

    后训练是他的强项，预训练这边可能就没有那么熟悉了。

    当然了，大模型现在也出来几年了，论文发了那么多，大家没吃过猪肉也见过猪跑了。技能是可以迁移过来的，摸索摸索，预训练也没有那么难。

    想要从头做大模型，真正的瓶颈还在数据和算力。

    数据也分两块，原始数据和标注数据。

    标注数据这块，靠着视界，韩路一已经拿到了世界顶尖的标注。

    数量还不太够，但是肝一肝总会有的。

    但是原始数据还得想办法。

    一般的厂商数据来源主要有几个，除了那些出版物或者特定行业的资料，还要去互联网上收集资料。

    互联网的资料也有不同的来源：可以自己在互联网上爬这就是各显神通了，爬到什么算你的本事；也可以用CoonCrawl。

    CoonCrawl是开源的语料库，大模型时代的“数字公共图书馆”。

    它是一个非营利组织，目标是“爬取和存档整个互联网”，并将这些数据免费提供给所有人。这个愿景很伟大，也确实帮助到了很多人。

    现在市面上的大模型，做通用场景的，有一个算一个，训练语料里一定包含CoonCrawl，无非是有的多些有的少些。

    但是CoonCrawl的问题是，它基本没有清洗，里面有互联网上各种各样的原始信息。

    就拿中文互联网来说吧，上面最多的内容是什么？知识干货？生活小常识？人生感悟？感人的文学作品？

    错了，是垃圾，各种各样的垃圾。

    菠菜广告，瑟瑟广告，为了优化搜索结果的重复关键词堆砌。

    如果把这些东西当原料直接去制作大模型，你可以期待会看到这样的场景。

    你问它：“什么是大模型预训练？”

    它回答：“近来大家都对大模型预训练很感兴趣，那么大模型预训练到底是什么呢？小编带大家看一看，看完真的惊呆了！到底该如何评价这件事情？欢迎在评论区留下你的看法！”

    所以原料在用之前，先要经过复杂的清洗，这个也不是人工进行的，一般会用传统的基于规则的数据管线筛掉完全无用或有害的信息，然后在剩余的信息中进行去掉语意重复的内容。

    对于怎么做，韩路一暂时还没头绪，但是没关系。

    晚上问问视哥怎么看。

    想到这，他拿出手机看了看时间，已经快六点了。

    晚上【404寝室】又约了饭，是张浩然组织的。

    本来周末就想约，但是韩路一为了和苏念念准备今天的董事会会议，拖到了今天。

    张彪去机场还没回来，韩路一没去坐地铁，奢侈了一把，自己叫了个车。

    张浩然订的是一家烤鱼店，比他们的老地方烧烤摊档次高了不少，包厢门口挂了个实木牌子，写着「贵宾席」。

    韩路一到的时候，张浩然已经坐在里面了。

    两人正打着招呼，马小飞也走了进来，手里举着他的大疆Os Pocket 4P，一边进门一边说：

    “这个必须发，从烧烤摊到贵宾席，这是咱们寝室的成长纪录片。”

    “你就不能进来先坐下？”张浩然说。

    “艺术家需要随时记录，你不懂。”

    “什么时候干自媒体也成艺术了。”张浩然吐槽。

    “大概是抽象艺术吧。”韩路一补刀。

    “笑吧笑吧，我上个月刚过二十万粉了。”马小飞不服气地说。

    “二十万？”张浩然有点意外，“上次不是才十万出头吗？”

    “那都几个月前了。最近科技赛道流量好，我做了一个系列叫''小飞拆机''，专门拆各种国产AI硬件，什么翻译耳机、AI音箱、智能眼镜，拆完给大家看里面到底有没有料。上周那条拆某个AI音箱的，六十多万播放。”

    “现在养活自己没问题了？”韩路一问。

    “什么话，最近哥们发了，广告报价现在五千一条，标准的，一个月能接四五条，还有平台分成。”马小飞顿了顿，难得认真了一秒，“当然了，也不稳定，这个月好不代表下个月好，但至少现在是我最舒服的状态。”

    张浩然看了马小飞一眼：“你说你一个交大毕业的，全职做自媒体，你爸妈没意见？”

    “有意见啊，但