AI一线|ShareCentre

OpenAI披露Pando:兼容Git的后端支持大规模智能体并行开发 OpenAI于11月2日介绍自研Git后端Pando,目前已支撑公司单体代码仓库的全部开发。系统保留Git协议与客户端的使用方式,重点应对工程师与智能体同时创建分支、提交代码,以及大量测试任务反复下载相同历史带来的压力。Pando在今年4月开始承载生产流量,从项目启动到生产部署历时10周。 技术上,Pando按分支分别协调写入,使不同分支的提交可并行进行;读取时复用已经压缩的数据包,并通过区域缓存分发。代价是跨多个分支读取时,可能看到各分支不同时间点的状态,客户端也可能下载部分已有对象。后台分层合并数据包,以减少长时间未更新客户端需要处理的文件数量。 据OpenAI内部生产数据,迁移后push中位延迟下降近80%;系统每天传送接近1PB的Git数据,曾在一小时内传送超过57TB,其中逾99%的字节来自本地缓存。团队还报告

#科技工具 #资源分享 #链接 #新闻资讯