我问答网说实话，每次听到‘大数据’三个字，我脑袋里就浮现出一堆堆的服务器，嗡嗡作响，冒着热气。但有个问题一直让我挺好奇的——这数据到底能‘大’到什么份儿上？TB？PB？这些单位说出来都轻飘飘的，可一旦你拿日常生活去比划，瞬间就……怎么说呢，窒息感就来了。💡
数据单位这事儿，千万别深想，容易怀疑人生
先来捋捋基本概念。你手机里的照片、视频，一首歌几MB，一部电影几GB，对吧？1TB 就是 1024GB，感觉还好？我当年买第一块1TB硬盘时，觉得这辈子都装不满了。结果呢？现在光手机相册就快200GB了。😭
然后往上走：1PB = 1024TB，1EB = 1024PB，1ZB = 1024EB。全球数据总量早在2016年就突破1ZB了——那是个什么概念？如果一部高清电影1GB，1ZB相当于让全球所有人连续看上好几万年的电影。注意，不是一个人看，是所有人。这数字已经超出我的想象范围了，所以我选择放弃，直接记住结论：每天产生的数据量，大概有2.5EB。
而且这2.5EB里都塞了啥？你早上刷的那几下朋友圈、短视频平台每分钟上传的几百小时视频、全球所有航班传感器传回的数据、还有那些藏在商场摄像头里的人脸轨迹……我们就像生活在一个巨大的数据喷泉中间，自己还是那个喷头。❗
现实中的怪物级数据量，随便拎一个出来都吓死人
说数字太虚了，还是看几个真家伙。比如自动驾驶，一辆测试车每天能产10TB数据。什么概念？相当于你一天之内，往硬盘里塞了两三千部高清电影。这还只是一辆车。Waymo 车队有好几百辆，你算算。再比如大型强子对撞机，它每秒产生的数据量……算了，那个说出来我自己都念不利索，反正每年光是物理实验就能弄出几十PB。
更接地气一点的：微博热搜。某明星离婚那天，话题阅读量瞬间飙到几十亿，后面跟着的评论、转发，每条都是文本、表情、图片，服务器当场就能给干冒烟。还有双十一的订单洪峰——每秒几十万笔交易，每笔交易背后都牵扯库存、支付、风控、物流……这些数据流要实时处理，不是攒下来慢慢算。说到这里，我不得不感慨一下：人类真是把自己逼上了绝路，一边拼命造数据，一边拼命造技术来处理数据，死循环啊。
存这些玩意儿，真不是买几块硬盘就能搞定的
你可能会想，数据量大就大呗，多买点存储设备不就行了？太天真了。先不说成本——单是Google数据中心里的硬盘，每年坏掉的数量就数以万计。你得保证数据不丢、随时能查、还得查得快，普通的关系型数据库根本扛不住。于是乎，Hadoop、Spark、NoSQL 这些东西就冒出来了，把数据拆碎了扔到成千上万台廉价机器上并行处理。
但就算这样，物理极限在那摆着。有人测算过，如果全球数据全用蓝光光盘存，那摞起来能捅到月球好几个来回。而且数据还在以每年30%左右的速度疯长。所以现在搞大数据的都在研究‘数据湖’、‘数据网格’，想方设法让数据别变成一潭死水，而是能流动起来、产生价值。
不过话说回来，量级这事儿吧，有时候想想也挺可怕的。我们每个人都变成了数据生产线上的一个刻度，而且这产量还逐年递增。十年前我以为1TB就是天花板了，现在呢？说不定哪天，我们衡量数据的单位得改叫‘宇宙级’了。✅