耗时一年，小红书数据湖成功迁上阿里云
创始人
2024-11-06 21:27:05
0次
11月6日，银柿财经获悉，经过一年奋战，小红书已把业界体量最大的数据湖0故障迁上阿里云。据统计，该项目共有1500人参与，迁移数据500PB。
作为中国头部互联网公司之一，小红书月活已过3亿，其数据湖存储了过去11年的所有原始数据，包括结构化、半结构化和非结构化数据。近年来，随着业务的高速增长，小红书在线处理数据的需求不断增加，同时离线处理所积累的历史问题，也会在未来的切换中带来更多成本与风险。
为此，2023年11月，小红书发起迁云项目——计划一年内，把小红书的数据湖搬上阿里云。
迁移至阿里云上后，数据湖可通过多个OSS Bucket支持纳入统一资源池，实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景时，可灵活调配资源，高效利用吞吐性能，降低不同业务租户间的互相影响。阿里云原生HDFS+DLA元数据可实现无缝对接Hadoop EMR体系，支持元数据线性扩展能力，轻松应对小红书数百PB数据下的元数据线性增长。
较于过往业界体量最大的案例，小红书的本次迁移的数据体量更大。
注：任务=数据处理过程
据介绍，小红书的迁云项目经历了三个阶段。第一步，项目组首先解决标准问题，然后根据标准进行治理；第二步，完成治理后，项目在2024年5月正式进入双跑阶段。把数据拷贝到阿里云上，两边同时跑数，验证正确性与及时性；第三步，2024年8月，项目结束双跑，进入割接阶段。阿里云团队全程在现场保障，顺利完成了割接。
2024年11月，小红书迁云项目正式宣告结束。在0故障的情况下，迁移数据500PB，任务11万，参与人数1500人，涉及部门40多个。项目涉及产品之多和数据体量之大均创下业界纪录。
相关内容
热门资讯
完善社保体系促农村消费潜能释放
扩大内需、提振消费，是当前推动我国经济高质量发展的关键着力点。7月30日召开的中共中央政治局会议强调...
江波龙于9月8日斥资4.48亿...
江波龙（09976）发布公告，于2026年9月8日斥资4.48亿元回购124.95万股A股。
刚刚，突破“心理防线”！全球美...
汇率再成全球变数！ 9月8日早上，美元兑日元USD/JPY跌破153，刷新今年2月以来新低，日内跌幅...
原创 从...
前言 加拿大人的关税铁锤，9月8日凌晨准时砸了下来，这不是一场普通的贸易摩擦，而是北美大陆持续了几十...
韩国股市酝酿触底博弈：外资抛售...
韩国股市在经历极端的杠杆出清与外资集中抛售后，正迎来估值与技术面的双重拐点。KOSPI 200估值已...
4胜0负！中国女篮优势明显 波...
北京时间9月9日消息，中国女篮将在今晚的世界杯8强资格赛中对阵波多黎各女篮，获胜的球队将晋级女篮世界...
巨头创始人离婚，未签婚前协议，...
近日，运动休闲品牌lululemon（露露乐蒙）创始人奇普・威尔逊（Chip Wilson）的离婚消...
太重铸锻件分公司降本增效超20...
面对原材料价格持续攀升、贵重合金成本大幅上涨的严峻市场形势，太重集团铸锻件分公司摒弃粗放生产模式，深...
原创 中...
中东这把火烧得越来越旺，油价窜到快100美元一桶，看着新闻心里挺感慨的。二十多年前中国搞电车、砸光伏...
甲氧基PEG修饰多肽定制：从分...
甲氧基聚乙二醇（mPEG）修饰多肽是生物医药领域一项关键的药物改性技术。通过在多肽分子表面引入亲水性...
上海朱吉：做双眼皮前，先搞懂自...
在上海生活久了，你会发现这座城市对“精致”的要求格外高。不少朋友来做双眼皮面诊时，习惯性地掏出手机里...
9.09股市早8点丨关键：不是...
关键：不是双底就是双头！ 股市早8点 老沙自媒体 2026年9月9日（周三） ▊美股三大指数收跌 ...
全球化产能布局稳步推进，中邮证...
9月8日，中邮证券研报指出， 亚香股份（301220.SZ）盈利阶段性承压，全球化产能布局稳步推进。...
福建福鼎遭强降雨，水产养殖户：...
编者按 养殖户提前加固鱼排抵御台风，却败给了始料未及的淡水倒灌。打捞不尽的死鱼、无法理赔的灾情、沉重...
美股收盘：三大指数集体收跌 算...
财联社9月9日讯（编辑 赵昊）周二（9月8日），美股三大指数集体走低，均连续两个交易日收跌。 截至收...
高层密集变动后，水井坊交出半年...
新华社旗下中经智库9月8日发布的智库报告显示，2026年上半年，白酒行业已全面进入“量价利齐跌”的深...
股市必读：贵阳银行新发布《贵阳...
截至2026年9月8日收盘，贵阳银行(601997)报收于5.61元，上涨1.26%，换手率1.36...
河南省卫生健康委召开专题会议 ...
9月3日，河南省卫生健康委召开医学科技创新工作专题会议，深入学习贯彻习近平总书记关于科技创新和卫生健...
原创 继...
标题：继母给我煮粥，她出去吃好的，离家出走多年，一双鞋让我回家心切。 在浩瀚的星座世界里，每个星座...
铜价再创新高，还能再涨吗？
今年有望突破1.5万美元/吨。 图片来源：界面图库 LME铜价再创历史新高。 伦敦金属交易所(L...