耗时一年，小红书数据湖成功迁上阿里云
创始人
2024-11-06 21:27:05
0次
11月6日，银柿财经获悉，经过一年奋战，小红书已把业界体量最大的数据湖0故障迁上阿里云。据统计，该项目共有1500人参与，迁移数据500PB。
作为中国头部互联网公司之一，小红书月活已过3亿，其数据湖存储了过去11年的所有原始数据，包括结构化、半结构化和非结构化数据。近年来，随着业务的高速增长，小红书在线处理数据的需求不断增加，同时离线处理所积累的历史问题，也会在未来的切换中带来更多成本与风险。
为此，2023年11月，小红书发起迁云项目——计划一年内，把小红书的数据湖搬上阿里云。
迁移至阿里云上后，数据湖可通过多个OSS Bucket支持纳入统一资源池，实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景时，可灵活调配资源，高效利用吞吐性能，降低不同业务租户间的互相影响。阿里云原生HDFS+DLA元数据可实现无缝对接Hadoop EMR体系，支持元数据线性扩展能力，轻松应对小红书数百PB数据下的元数据线性增长。
较于过往业界体量最大的案例，小红书的本次迁移的数据体量更大。
注：任务=数据处理过程
据介绍，小红书的迁云项目经历了三个阶段。第一步，项目组首先解决标准问题，然后根据标准进行治理；第二步，完成治理后，项目在2024年5月正式进入双跑阶段。把数据拷贝到阿里云上，两边同时跑数，验证正确性与及时性；第三步，2024年8月，项目结束双跑，进入割接阶段。阿里云团队全程在现场保障，顺利完成了割接。
2024年11月，小红书迁云项目正式宣告结束。在0故障的情况下，迁移数据500PB，任务11万，参与人数1500人，涉及部门40多个。项目涉及产品之多和数据体量之大均创下业界纪录。
相关内容
热门资讯
满仓AI的投资者，几天回撤50...
摘要： “亏麻了，两年白干。”当一位坚信AI的投资者，看着账户在几个交易日内蒸发30万，而他所看好的...
公司治理存在重大缺陷 中辉期货...
上证报中国证券网讯（记者 费天元）中国期货业协会日前发布纪律处分，中辉期货被要求限期整改，同时十二个...
成功高位出逃？中国人寿减持兆易...
红星资本局7月21日消息，7月20日晚间，中国人寿（601628.SH）一连公布8则关于卖出兆易创新...
山东上半年经济成色怎么看？有这...
7月21日，山东省人民政府新闻办公室举行“数说山东看发展”主题系列新闻发布会，邀请省人民政府办公厅主...
002199，“摘星脱帽”！1...
今日（7月21日）A股三大指数集体大涨，上证指数报收3864.37点，上涨1.79%；深证成指上涨4...
两度被“废太子”，苏州富二代决...
作者：温世君 看似是国企，其实是私企，如今又变成了“外企”，这就是电科院（300215.SZ）在这个...
卖地造城之后，中国城市靠什么继...
2021年至2025年，全国商品房销售面积从17.94亿平方米降到8.81亿平方米，房地产开发投资从...
附属卡降价、简化免年费门槛，多...
7月以来，多家银行陆续调整信用卡年费政策。 界面新闻注意到，高端信用卡成为本轮优化的重点。从下调附属...
斥资5.87亿美元，Netfl...
IT之家 7 月 20 日消息，Netflix 在最新提交的监管文件中披露，公司支付 5.87 亿美...
TikTok强势“破圈”：全球...
2026年7月，TikTok迎来了历史性的一刻。美国司法部正式宣布，联邦雇员现可在政府配发的电子设备...
黄金投资不再“躺赢”，警醒了谁...
从2024年年初至2026年年初，黄金价格飙升150%。彼时，很多人都相信投资黄金是一条“只涨不跌”...
从细胞治疗到AI制药，浦东生物...
近日，浦东生物医药产业迎来多项新进展：由浦东企业研发的全球首款实体瘤CAR-T产品——舒瑞基奥仑赛注...
减负与增效并行 银行动账短信“...
上证报中国证券网讯（记者 王远）最近，“90后”储户小李发现手机短信突然安静了，买杯咖啡也没收到扣款...
五连A！南沙综保区以“双A”起...
近日，海关总署公布2025年全国综合保税区发展绩效评估排名结果，广州南沙综合保税区获评全国A类、东部...
原创 7...
7月15号国家统计局刚发的上半年经济数，我看完翻了翻小区业主群，居然没人聊房价。 搁十年前房地产投资...
原创 兵...
2026年，全球豪华车市场正经历一场前所未有的变革。在中国，曾经不可一世的海外豪华品牌集体溃败：一季...
金华黄金回收怎么选择合规处置机...
随着居民闲置物品处置需求的增长，金华地区不少有贵金属变现、闲置奢侈品处理、短期资金周转需求的人群，都...
半年“买买买”8319.73亿...
7月20日，2026年上半年上海市国民经济运行情况数据出炉。上半年，全市实现社会消费品零售总额831...
Kimi回应马斯克隔空宣战：欢...
快科技7月20日消息，据媒体报道，近日，中国AI公司月之暗面发布新一代Kimi K3，参数规模达2....
FIFA官方公布世界杯最终排名...
北京时间7月20日，美加墨世界杯落幕，西班牙加时1-0战胜阿根廷夺得冠军。FIFA官方公布了本届世界...