关灯
护眼
字体:大 中 小
上一章
目录
下一页
吃过晚饭回到房间,计算机屏幕因为长时间无操作已经进入了休眠。
江临晃了一下鼠标,屏幕亮起,下载管理器里的进度条已经拉满。。
江临趁着解压的间隙看了看规则。
平台那个UI极其简陋的任务说明页面上,规则写得很长,密密麻麻的一大篇免责条款和计分细则。
数据禁止外传,允许使用公开算法,允许提交清洗后的异常标记文档、方法说明报告和辅助脚本等等。
江临把几段规则复制下来,粘贴到本地新建的记事本里,然后用鼠标给其中三个词加了粗。
隐藏标签,可复现性,泛化能力。
这三个词,比那八千块钱奖金重要得多。
它透露了主办方真正的痛点。
他们不要那种在特定数据集上跑分很高,换个市场环境就彻底拉胯的比赛特供模型。
他们要的是一条真正能落地的工业级清洗流水线。
江临却看得眉头微皱。
因为他熟悉的是坏数据,不是金融市场。
温度传感器零点漂移、相机暗场噪声、光学支架热胀冷缩、辐射计被宇宙线打出异常尖峰,这些东西他处理过太多次。
可是分钟级行情不是温度曲线,成交量不是传感器采样,停牌标记也不是设备掉线。
如果连系统的基本工作方式都没弄清楚,就急着下手清洗数据,那不叫审计。
那叫把自己的无知写进脚本里。
江临把下载页面暂时放到一边,新建了一个文档。
标题只有四个字:量化补课。
目标:学习这些数据在什么制度和流程下产生。
他先从最基础的字段开始查。
开盘价,成交量,复权,涨跌停……
每一个词他都只看最基础的定义,不往投资策略上发散。
遇到讲十倍收益,稳定套利,资金曲线完美的帖子,直接关掉。
遇到有人认真讨论未来函数,幸存者偏差,样本外失效,滑点和冲击成本的长帖,才停下来读。
两个小时后,他列出了六个必须先确认的制度性问题,从集合竞价边界到测试集隔离方式,并在纸上画出一条很粗糙的数据链路。
最后评价为:量化数据不是市场本身,是市场经过多层设备,制度,软件和商业口径之后留下的影子。
这句话写完,他又下载了数据字典和平台提供的Baseline(基准参考代码)。
数据字典是一个二十多页的PDF文档。
不得不说,提供方在脱敏上做得很绝。
那个所谓的标的代码,根本不是什么诸如600519这种能在软件里搜出来的股票代码,而是被全部转成了一长串毫无规律的MD5哈希值。
。你没法知道这是2015年股灾时的数据,还是2020年抱团行情时的数据。
所有的价格和成交量也全都在后台做过了等比例缩放,绝对值已经失去现实含义,只保留了零值、缺失、相邻变化率以及同一口径下的相对关系。
这意味着,你不可能靠现实世界的金融常识或者去查雅虎财经的历史记录,去反推哪一只股票在某年某月某日发生了什么异常。
这很对江临的胃口。
因为外部查资料的捷径被切断后,剩下的胜负就会回到数据内部的逻辑、制度边界和审计能力上。
江临打开Windows命令行窗口,在工程目录下建好了五个分类文档夹。
解压数据集的压缩包。
他现在用的这台二手计算机,内存只有可怜的8G。
如果直接用Pandas把这三点几个G的Parquet格式数据全量读进内存,这台二手机器大概率会直接卡死。
于是,他打开编辑器,写了一个几十行的Python短脚本。
只读表头元数据和前面的前一百万行样本切片,用来探路。
十分钟后,按下运行键。
终端里瞬间刷出一长串刺眼的红字报错信息。
江临盯着那串红字,愣了两秒,然后哑然失笑。
现实世界就是这样充满黑色幽默。
你踌躇满志,以为自己马上就要面对深不可测的资本市场,要去手撕复杂的金融微观结构了,结果第一刀,却结结实实地砍在了一个缺失的底层依赖库上。
“行吧,先搞后勤。“
江临摇了摇头,在命令行里敲下了安装命令。
看着屏幕上跳动的一个个下载进度条,他顺手柄这些包的版
晚上九点四十六分,环境配置完毕。
第一批百万行的切片数据,终于顺利地被读进了内存。
屏幕上整齐地打印出了十几个常规行情字段,最后跟着
本章未完,请点击下一页继续阅读>>『加入书签,方便阅读』
上一章
目录
下一页