Eric Mannes：如何将杂乱的外部数据用于交易研究

Eric Mannes 告诉 Ron，他大学学习数学，并在三个暑假分别尝试了研究、科技和金融三条道路。Jane Street 最有意思，也最适合他。作为交易实习生，他对大家花了大量时间教他市场、逆向选择和研究方法印象深刻。

Eric 将市场描述为反归纳性的：一旦有用的规律被发现，竞争就可能让它消失或变得不那么重要。交易员必须不断学习，其他参与者的行动也可能改变行为方式，而这些变化并不存在于历史数据中。Ron 补充说，竞争将信息注入价格，使市场成为更有信息量的世界指标。

Ron 问实习如何培养市场直觉。Eric 提到模拟交易：决定会产生后果，但风险受到控制。实习生在模拟交易所参与一到两小时的场景，每个场景浓缩真实交易中的重要概念。作出承诺并获得反馈，与抽象讨论好的决策不同。

在 Figgie 游戏中，四名玩家各自掌握关于牌面价值的私人信息，并相互交易。玩家观察他人的行为，推测其可能依据的信息，再更新自己的决定。游戏还能让人练习做市语言，以及在没有真实交易压力的情况下于不确定性中作决定。

Ron 指出，市场整体上可以让参与者受益，但具体交易仍可能带有对抗性。Eric 说，要区分互利交易与两个同样聪明的人对某个事实产生分歧：后一种情况下必有一人出错，因此要仔细思考自己为什么认为错的不是自己。

实习结束后，Eric 加入商品交易台，学习石油、天然气 ETF 和商品指数 ETF。与实习时不同，他可以讨论公司的实际头寸和决策。他会研究交易是否合理，以及交易台为什么做了更多或更少的交易。

经验丰富的导师会问 Eric 交易台应当怎么做，然后解释实际决策还考虑了哪些因素。反复练习并获得反馈，提升了他的判断力。他说，新人可以通过成为别人没时间深入研究的小领域专家而很快创造价值；随着经验增长，独立决策的范围也会扩大，但寻求意见仍然有用。

Eric 起初研究新一代交易系统在哪些地方因速度获益或错过机会；它比旧系统快约两个数量级。他还研究期货、合约乘数及风险。Ron 指出，股票风险可以从价格乘以数量这样简单的计算开始，但期货的约定复杂得多。

期货合约是一种与未来基准或交割相关的协议。石油合约可能要求在俄克拉何马州 Cushing 实物交割 1,000 桶原油；牛只合约也涉及实际数量。Jane Street 通常作为金融参与者，不希望接收实物。交易者缴纳保证金，价格变动时盈利或亏损会计入或扣除，有时还需要追加保证金。

期货价差涉及做多一个合约、做空另一个合约，但原油和标普 500 期货价差的正负号约定可能不同。Eric 解释说，报价可能按每桶计算，而一份合约代表 1,000 桶。不同来源可能以美元或美分报价并使用不同乘数；混淆这些信息可能使头寸比预期大或小 100 倍。

Ron 说，这是元数据问题：即便风险控制独立于策略逻辑，也必须理解合约细节。复杂性来自不一致的约定和单位。如果模型不知道头寸实际代表什么，就无法安全地限定风险范围。

2020 年 4 月 20 日，即将到期的 CME 原油期货当天以负价格结算。Cushing 的储油空间正在填满，供应充足，而疫情期间需求低迷。Eric 提醒说，这份合约的最终结算价格是正数：负结算价是特定一天发生的情况，并不是最终交割价格。

假定价格只能为正的系统可能因此失效。Ron 指出，订单输入系统可能不知道如何处理负 100% 的回报；Eric 则问，其他产品应该如何根据异常油价建模。两人的更广泛观点是，交易既需要技术，也需要密切关注储油能力等实体世界的细节。

Ron 问起 Eric 在交易台上的技术工作。Eric 说，开发人员最初主要关注通用交易基础设施，交易台则使用这些系统。后来公司逐步构建针对各交易台的工具，并安排嵌入式开发人员。Eric 做过技术实习，也在训练营学习过 OCaml，因此帮助商品交易台明确自己的需求。

风险系统需要在总体能源敞口、石油相关产品、西德克萨斯中质原油和单个合约之间切换，并解释敞口的来源。此前，一个大型 Excel 工作簿会提取交易和头寸并计算结果。它逐渐扩张，有时运行缓慢；从可靠基础重新构建后，团队才能开展更有雄心的工作。

两人都称赞 Excel 灵活，而且能直接呈现数据。Eric 说电子表格公式可能是世界上使用最广泛的函数式编程语言，现在还有 lambda 和 let 绑定。与典型 Python 代码不同，电子表格将数据放在眼前，却隐藏了大部分逻辑。

其局限包括关键时刻的性能以及复杂性：Visual Basic 宏会生成工作表、公式和头寸，实际上是用程序编写程序。类型安全语言、编译器检查、稳健的测试和接口有助于发现错误。电子表格中的版本控制、搜索和大规模迁移也很困难。

临时公式不断积累，最终形成一个没人完全理解的系统。替换它需要找回其中蕴含的领域知识。Eric 在交易员的理解与工程师的模型之间翻译：要可靠地表示商品风险，需要哪些数据源、基本概念和数据流。

这种交流是双向的。Eric 说，领域专家可能习惯了痛苦的工作流程，低估好软件能够带来的改变。Ron 认为，既要说明哪些改进是可能的，也要说明其成本；开发人员还可以提出让交易台更好工作的办法。

Eric 现在参与领导另类数据工作。在华尔街，这个词通常指用于投资、但传统上不属于投资流程的信息，例如零售店停车场的卫星照片。在 Jane Street，这一类别甚至包括公司申报文件，因为公司的传统核心数据是实时市场数据和金融工具元数据。

公司的做市历史塑造了这一区别：专门团队负责市场数据和元数据，其他外部数据则更加分散。Eric 发现，难以使用的外部数据让公司错过了一些交易机会。相比之下，实时市场数据基础设施已有大量工程支持。

在集中团队成立之前，交易台可能提出需要某个数据集，供应商管理团队负责购买，再由有空的开发人员、交易员或运营工程师将其放入共享文件系统或数据库。不同交易台重复类似工作，却不一定考虑全公司复用或一致的数据实践。

拟议的集中团队将负责寻找特殊数据集、构建管道工具，并维护影响范围广的数据集。Eric 说，团队逐步展示了价值：先改进一个基础但难用的数据集，理解其中的边缘情况，然后看到研究人员发现过去因数据难用而错过的效应。

Jane Street 于 2023 年聘用了第一位数据工程师。当人们看到好的数据工程能带来什么，需求便不断增长；到这次对谈时，团队已有 20 多人。Ron 将这称为诱导需求：数据变得更易用，促使人们寻求更多类似帮助。

Eric 将工作分为数据策略、基础设施和数据工程。数据策略识别内部需求和外部来源，然后获取合适的数据。工作人员与交易台交流，也参加供应商会议，有时通过数据目录安排一连串简短的买卖双方会面。

买家包括对冲基金、资产管理公司和银行；卖家则从卫星供应商、大型数据企业，到专门提供消费交易数据的公司，以及在运营中附带产生数据的企业都有。Eric 说，与某些广告用途不同，交易应用通常关注零售商处的整体消费等汇总行为，而不是消费者个人身份。

数据策略也可以从问题出发，询问谁可能拥有相关信息，即使这些信息尚未公开出售。基础设施工程师构建数据摄取、转换和监控工具。数据工程师利用这些工具生产可靠数据集，同时了解数据如何产生、代表什么，以及交易或研究将如何使用它。

Ron 问管道工作中有多少是机械性的。Eric 说，团队尽量将这部分自动化；困难的工作包括弄清每个字段的含义。公司财务报表是常见数据，但要把申报文件和公告转成有用的数据行，仍需要判断公司身份、报告期和证券等问题。

有些双重上市结构包含形式上独立的公司，但它们共享管理层，并通过协议使持有权益在经济上等价。一条记录指其中一家公司还是两家？它适用于所有证券、某个股份类别，还是某个具体上市地点？不同的标识符和清算惯例又增添了歧义。

财务报表也可能修订，财年安排或会计处理也可能变化，降低不同时期的可比性。有用的数据集必须反映每个时点可以知道什么，以及交易应用需要哪些特征。理解现实中的实体是构建表格的一部分，单靠解析无法解决。

Ron 回到著名的卫星照片例子。Eric 怀疑统计 Walmart 停车场的车辆是否特别有效：照片可能稀疏且噪声大，会漏掉线上购物，也难以反映纽约市消费者的情况。最重要的是，访客人数只是消费金额的间接指标。

银行、卡网络和运营银行卡计划的公司可能更直接地了解消费，并可能分享匿名化或汇总统计数据。但银行卡样本并不是美国所有交易的随机样本。信用合作社持卡人可能与高端信用卡持卡人不同，人口结构可能缺乏代表性，参与者也可能加入或退出样本。

如果观察到的消费总额上升，必须追问是人们花得更多，还是样本中增加了消费者。调整这些因素并比较数据来源，需要数据工程和交易研究共同参与。Eric 说，工程师理解数据集在何时报告了什么，为后续工作打下关键基础。

供应商的数据可能存在缺失值、计算错误，或将交易归属到错误的公司或品牌。他们之后可能会修正这些记录。这带来因果性问题：如果回测使用修正后的历史数据，就可能用到当时无法获得的信息，实际上相当于模拟一个拥有时间机器的交易员。

Ron 说细节很重要：纯机械性的修正可能不会引入未来信息，但信息泄漏有时很隐蔽。Eric 希望供应商准确保留每次交付的内容和时间，包括后续修订。Jane Street 保存收到的数据和自己的接收时间戳，以便重建特定时间已知的信息。

Ron 将此与市场数据作比较：交易所时间戳有用，但可能受时钟同步或其他问题影响，因此公司也记录数据到达自身网络的时间。Eric 说，精确的接收时间比近似时间戳更能让人对历史研究有信心。

Ron 问 AI 如何改变了这项工作。Eric 区分了更好的预测模型与作为生产力工具的大语言模型。更好的模型提高了优质数据集的价值，而大语言模型使从文本提取结构化特征更容易，过去这往往需要人工处理或脆弱的匹配规则。

文本提取也存在因果性问题：现代大语言模型可能知道后来发生了什么，或在训练时看过后续财务报表。用它处理历史文本，可能无意中将未来知识带入回测。两人认为这是严肃的复杂问题，并不假定提取出的特征自动安全。

当数据工程师清楚目标并能判断输出时，大语言模型可以帮助他们编写代码和进行分析。但它也让生成糟糕代码变得容易。Eric 警告说，做出某个东西可能让人误以为问题已解决，即使实际上并没有理解问题。

更强的模型可以学习过去需要人工构造的特征，但 Eric 认为数据清洗的价值因此上升，而非下降。未来信息泄漏、异常值和不寻常的数据片段可能误导模型，或以不同方式影响模型。即使执行速度加快，人类判断对决定构建什么和验证结果仍然重要。

关于自建还是采购，Eric 说团队在合适的地方使用外部工具。dbt 以可审查、可测试和可组合的方式描述并编排数据仓库转换，将笨重的 SQL 拆解开。Trino 是查询引擎，Python 工具则帮助处理表格数据。

公司也自建系统。为了低延迟交易，公司早已运营本地数据中心，因为靠近交易所，以及对硬件、组播和 FPGA 的控制都很重要。Ron 说云也有其他好处，公司两者都在使用；完全从云端起步的公司可能会选择不同的工具。

另类数据团队使用公司已有的 Superstore 数据仓库，它并非主要为该团队构建。Eric 看重把大量交易和其他数据集中在一处，并与内部服务关联的能力。他和 Ron 认为，他们的工作负载与按读取数据量或计算时间收费的云方案经济性不同。

Ron 强调定价的实际影响：如果把云费率用于他们的工作负载，就会强烈促使团队花时间调整和减少查询。Eric 说团队仍然关注 Trino 和数据仓库的性能，但在现有架构下，花在优化账单上的时间更少。这是他们针对自身工作负载的评估，并不是对所有部署方式的普遍判断。

在招聘方面，Eric 看重好奇心和细致的调查过程。数据工程师会遇到陌生行业、交易方式和杂乱数据集，需要喜欢学习细节，并分清自己知道什么、哪些仍不确定。处理现实数据的自然科学和社会科学经验可能很有帮助。

工程能力也很重要：数据管道是软件，代码应清晰、正确且可维护。Eric 说，系统复杂度可能低于某些软件工程岗位，但数据和业务复杂度仍然很高。候选人可以来自金融、研究，或需要将业务背景与数据工作结合起来的小公司。

采访时，团队招聘的都是有经验的人。Eric 和 Ron 讨论了计划中的实习路径：2026 年面试、2027 年夏季实习，潜在毕业生于 2028 年入职，并在之后充分发挥作用。对于这个岗位，他们优先寻找热衷于理解数据的人；最感兴趣的是模型或可扩展系统的人可能更适合其他岗位。

数据调查面试会给候选人一个陌生数据集，要求他们理解并使用它。Eric 看重对细节的认真关注、明确提出假设以及检验假设的方法，而不是写完代码后仅仅希望它能工作。Ron 将这一点联系回理解数据背后的现实世界。