耗时一年，小红书数据湖成功迁上阿里云
创始人
2024-11-06 21:27:05
0次
11月6日，银柿财经获悉，经过一年奋战，小红书已把业界体量最大的数据湖0故障迁上阿里云。据统计，该项目共有1500人参与，迁移数据500PB。
作为中国头部互联网公司之一，小红书月活已过3亿，其数据湖存储了过去11年的所有原始数据，包括结构化、半结构化和非结构化数据。近年来，随着业务的高速增长，小红书在线处理数据的需求不断增加，同时离线处理所积累的历史问题，也会在未来的切换中带来更多成本与风险。
为此，2023年11月，小红书发起迁云项目——计划一年内，把小红书的数据湖搬上阿里云。
迁移至阿里云上后，数据湖可通过多个OSS Bucket支持纳入统一资源池，实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景时，可灵活调配资源，高效利用吞吐性能，降低不同业务租户间的互相影响。阿里云原生HDFS+DLA元数据可实现无缝对接Hadoop EMR体系，支持元数据线性扩展能力，轻松应对小红书数百PB数据下的元数据线性增长。
较于过往业界体量最大的案例，小红书的本次迁移的数据体量更大。
注：任务=数据处理过程
据介绍，小红书的迁云项目经历了三个阶段。第一步，项目组首先解决标准问题，然后根据标准进行治理；第二步，完成治理后，项目在2024年5月正式进入双跑阶段。把数据拷贝到阿里云上，两边同时跑数，验证正确性与及时性；第三步，2024年8月，项目结束双跑，进入割接阶段。阿里云团队全程在现场保障，顺利完成了割接。
2024年11月，小红书迁云项目正式宣告结束。在0故障的情况下，迁移数据500PB，任务11万，参与人数1500人，涉及部门40多个。项目涉及产品之多和数据体量之大均创下业界纪录。
相关内容
热门资讯
icp许可证 备案
在互联网行业，从事特定类型的服务需要遵守相关规范，其中ICP许可证和备案是经常被提及的概念。不少从业...
寒武纪(688256.SH)：...
2025年8月27日，寒武纪(688256.SH)发布2025年中报。 公司营业总收入为28.81亿...
“中国购”，看看“老外”都买啥...
早茶时间，美国女孩瑞秋在广州酒家龙津西路店品尝传统茶点。 本报记者 洪秋婷摄 在成都SKP商场华为...
贺博生：8.26黄金原油晚间行...
对于近期行情涨涨跌跌，反反复复，多空转换频繁，很多投资朋友们都措手不及，或不知从何下手，一买进就跌，...
这座一线城市机场，又“扩容”了
深圳特区报消息，8月23日，深圳机场T2航站区、北货运区及综合配套工程正式开工。两个项目建成后将推动...
到底何时止盈？2025年8月2...
今天净值出来了， 场内ETF账户今天亏损1.1万； 场外基金账户今天亏损0.7万； 两个账户合计亏损...
连遭追问是否有“访客记录”，网...
本文自南都。 采写 | 南都N视频记者 彭雨欣 近日，多位网友发文询问网易云音乐是否会留下访客记录。...
营收净利九连降，贵阳银行如何打...
已走过28年岁月的贵阳银行，正陷入持续的业绩失速困扰。8月25日，该行披露2025年半年度报告，这家...
上海莱士SR604注射液新增适...
上海莱士8月26日发布公告称，近日，公司收到国家药监局签发的《受理通知书》，其SR604注射液新增“...
原创 7...
能源与留学双重施压？美国“损招”频出，中国能源进口为何“泰然自若”？ 近日，美国政府针对中国的一系列...
五句话打开“五年规划”
初秋，天高气爽。这是收获的季节，也是谋划的季节。 “十五五”时期，2026年至2030年，是基本实现...
从番茄到红果，张超和他的“狼群...
几周前，小红书上某位“大厂”博主发布的笔记突然火了，这篇笔记的封面写道：“张超太能打了，西瓜没做到的...
英伟达周三财报堪比非农报告？美...
财联社8月26日讯（编辑 马兰）英伟达将在本周三公布其第二季度财报，对于华尔街来说，英伟达的业绩报告...
杨德龙：A股这轮行情是慢牛、长...
现在处于行情启动的阶段，很多投资者从空翻多，入场积极性较高。市场这一波上涨得非常迅猛，但这并非常态，...
原创 帮...
家人们，今天下午A股消费电子板块简直炸锅了！华为明天要发AI SSD，苹果那边直接放话要给iPhon...
东方甄选大跌近11%，2025...
8月26日消息，东方甄选盘中一度大跌近11%，报28.2港元，截至目前跌10.25%，报价28.38...
力盛体育2025上半年净利润增...
8月26日晚间，力盛云动（上海）体育科技股份有限公司（简称：力盛体育 股票代码：002858.SZ）...
澳洲酒进口量额遭“腰斩”，复苏...
去年此时，澳大利亚葡萄酒重返中国市场，酒商们以为等待的是一场久违的盛宴。可一年过去，数据冰冷地泼了一...
股市必读：赛轮轮胎（60105...
截至2025年8月26日收盘，赛轮轮胎(601058)报收于14.35元，上涨5.67%，换手率3....