耗时一年，小红书数据湖成功迁上阿里云
创始人
2024-11-06 21:27:05
0次
11月6日，银柿财经获悉，经过一年奋战，小红书已把业界体量最大的数据湖0故障迁上阿里云。据统计，该项目共有1500人参与，迁移数据500PB。
作为中国头部互联网公司之一，小红书月活已过3亿，其数据湖存储了过去11年的所有原始数据，包括结构化、半结构化和非结构化数据。近年来，随着业务的高速增长，小红书在线处理数据的需求不断增加，同时离线处理所积累的历史问题，也会在未来的切换中带来更多成本与风险。
为此，2023年11月，小红书发起迁云项目——计划一年内，把小红书的数据湖搬上阿里云。
迁移至阿里云上后，数据湖可通过多个OSS Bucket支持纳入统一资源池，实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景时，可灵活调配资源，高效利用吞吐性能，降低不同业务租户间的互相影响。阿里云原生HDFS+DLA元数据可实现无缝对接Hadoop EMR体系，支持元数据线性扩展能力，轻松应对小红书数百PB数据下的元数据线性增长。
较于过往业界体量最大的案例，小红书的本次迁移的数据体量更大。
注：任务=数据处理过程
据介绍，小红书的迁云项目经历了三个阶段。第一步，项目组首先解决标准问题，然后根据标准进行治理；第二步，完成治理后，项目在2024年5月正式进入双跑阶段。把数据拷贝到阿里云上，两边同时跑数，验证正确性与及时性；第三步，2024年8月，项目结束双跑，进入割接阶段。阿里云团队全程在现场保障，顺利完成了割接。
2024年11月，小红书迁云项目正式宣告结束。在0故障的情况下，迁移数据500PB，任务11万，参与人数1500人，涉及部门40多个。项目涉及产品之多和数据体量之大均创下业界纪录。
相关内容
热门资讯
贵阳银行招标结果：贵阳银行白云...
证券之星消息，根据天眼查APP-财产线索数据整理，贵阳银行股份有限公司5月22日发布《贵阳银行白云档...
85折买房，重出江湖？！
自从4月房票停止更名后，房票市场一度冷静了下来。 但从过去的自由更名变现，突然变成禁止更名流通，很多...
东莞精密注塑加工工厂实力精选：...
本篇将回答的核心问题 在制造业智能化与精细化的2026年，如何评估一家精密注塑加工厂的真正实力？ 对...
大手笔分红理财后，中矿资源定增...
津巴布韦Bikita矿山200万吨/年锂辉石浮选厂。图源：公司年报 本报（chinatimes.ne...
尬不尬？！姆巴佩西甲+欧冠双金...
北京时间5月24日，皇马4-2毕巴赛季收官。姆巴佩加盟皇马第二赛季完结，出战44场贡献42球6助，其...
原创 反...
5月22日路透社披露，中国已经中断对日本稀土供应至少4个月，但令人疑惑的是，日本至今尚未出现全面断供...
ETF主打不含白酒，怎会全是利...
终于熬到周末，暂时放下盘中紧绷，好好沉淀一下市场。本篇为大家准备了5条要闻，帮大家捋清近期市场的核心...
观安信息冲刺港股：年营收7亿 ...
雷递网 雷建平 5月24日 上海观安信息技术股份有限公司（简称：“观安信息”）日前递交招股书，准备在...
小红书大健康内容推广哪个服务商...
导读：随着大健康产业的蓬勃发展，小红书平台逐渐成为医药品牌和健康产品推广的重要阵地。在众多服务商中，...
拟上市机构股权激励推荐，靠谱的...
在当今充满活力与机遇的资本市场中，拟上市机构的股权激励设计成为了备受关注的焦点。随着经济的不断发展和...
证监会批复：同意！科创板史上最...
5月21日晚间，中芯国际公告称，公司拟向国家集成电路产业投资基金股份有限公司等五方发行股份购买其所合...
养老服务从“补缺”迈向“普惠”
当前，我国60岁及以上人口超过3.23亿人，银发经济规模接近10万亿元。我国养老服务正加快从“补缺”...
原创 北...
这段时间跟几个朋友吃饭，聊着聊着就绕不开房子的事儿。一位在中介干了十来年的老哥喝了口酒，叹着气说：“...
万亿富豪马斯克？——Space...
编绘丨姜宣凭 后期丨苏佳馨 何玙 当地时间5月20日，世界首富埃隆·马斯克的太空探索技术公司（Spa...
绿色动力2025年研发投入78...
绿色动力（601330）披露2025年年度报告。报告期内，公司全年研发投入达785.01万元，同比增...
洁丽雅“宫斗”乌龙背后
出品｜虎嗅商业消费组 作者｜李佳琪 编辑｜苗正卿 题图｜洁丽雅官方微博 一张全家福、一份DNA鉴定报...
李从悠主任：白癜风与节段型分型...
节段型白癜风是白癜风常见分型之一，主要沿单侧神经节段分布，青少年高发，其发病与神经末梢释放异常神经递...
金华闲置贵金属变现选择机构需要...
随着居民消费观念的转变，不少家庭都存有闲置的贵金属饰品、金条、工艺礼品等物品，不少人会选择将这类闲置...
神州细胞冲刺港股：第一季营收3...
雷递网 雷建平 5月23日 北京神州细胞生物技术集团股份公司（简称：“神州细胞”）日前递交招股书，准...
每周股票复盘：杭州银行（600...
截至2026年5月22日收盘，杭州银行（600926）报收于16.05元，较上周的16.51元下跌2...