1. 什么是大数据 大数据产生的原因是什么

很多人第一次听到「大数据」，脑子里只有「数据很多」四个字，再往下就卡住了：多少算大？它和普通表格有什么区别？为什么这几年数据突然多到要专门起个名字？这篇不堆术语，先给一套能自己判断的口径，再拆开讲数据爆发的几个来源，最后给一份对照清单，帮你在看方案、看需求时不被名词唬住。

很多人第一次听到「大数据」，脑子里只剩「数据很多」四个字，再往下问就卡住了：多少算大？它和我平时做的表格有什么区别？为什么这几年数据突然多到要专门起个名字？这篇不堆术语，先给你一把能自己量一量的尺子，再拆开讲数据爆发的几个来源。

最后再给一份动手前的排查清单。目标很实在：看完之后你在看方案、听需求的时候，遇到「大数据」三个字能问出关键问题，不被名词唬住，也不至于把一件普通小事硬做成大工程。

先给一把尺子：什么才算「大」

一个比较实用的定义是：用你手上现有的单机数据库和常规工具处理起来会明显吃力的一批数据，就算大数据。注意这里的主语是「你手上的工具」，不是某个绝对数字。同一批数据，放在一台机器上跑几个小时，换到能横向扩展的集群上可能只是常规任务；所以「大」是相对的。

吃力的来源通常不止一个。有人卡在体量，有人卡在增速——数据本身不大，但每秒都在往里灌，根本来不及算；还有人卡在种类，数据是图片、日志、录音，字段对不齐。这几条常被合称为特征，但落到具体场景，真正卡住你的往往只有一两条。

体量

能不能在一台机器的盘和内存里舒服地放下来算

增速

单位时间接入的量，会不会把处理流程顶爆

种类

是整齐的表格，还是文本、图片、音视频这类不好直接汇总的东西

真实性

脏数据、缺字段、重复记录的比例高不高，会不会让结论失真

价值密度

一堆记录里真正有用的可能只是极少数几条，找出来的成本高不高

数据量为什么会爆发：几个能对上的来源

把这几年数据变多归结成某一个原因，通常都不太准确。真正起作用的是几股力量叠在一起，下面这几条基本能和你日常接触到的场景对上号。

• 人主动产生的部分：内容平台、社交、电商下单、在线文档，每个人每天都在往外写记录，写的人越多、写得越勤，量就涨得越快
• 机器自动产生的部分：日志、埋点、传感器、摄像头、车载和工控设备，特点是没人盯着也一直在写，而且很多是每秒都在写
• 存储和算力变便宜带来的「顺手留下」：以前顺手删掉的数据现在默认先留着，留下的成本低于删了以后再想补的成本
• 业务数字化把线下动作搬上线：审批、点名、刷卡、扫码，原本不留痕的行为变成了可记录的字段
• 这几条叠加在一起，才是数据爆发的原因；单独拿任何一条出来，都解释不了为什么增速这么明显

想感受这个趋势有多快，可以到站内 /price-watch 看存储和算力相关价格随时间的走向，再到 /ai-dict 查具体名词的当时口径，别靠记忆里过期的印象做判断。

数据种类变了，处理方式也就跟着变

数据变多只是一半的故事，另一半是数据「长得不一样了」。结构化数据，比如订单、账目、表格，字段清晰，算指标最省事，这类数据依然最好用。但占比越来越大的，是日志文本、图片、音频、视频、网页这些半结构化和非结构化数据。

它们的麻烦在于没法直接塞进一张表里做汇总。一张商品图、一段客服录音，你很难像对数字那样直接求和求平均。这直接决定了工具选择：先看数据长什么样，再决定怎么存怎么算，而不是先定好工具再想办法把数据硬塞进去。

1. 第一步 看体量估算当前总量和日增量，判断现有工具还能不能舒服放下。放不下，才进入下一步讨论。
2. 第二步 看种类把数据按表格、文本、音视频分个类，确认有没有需要先转换才能用的部分。
3. 第三步 看增速问清楚峰值时段每秒大概来多少，处理流程能不能顶住这个瞬时压力。
4. 第四步 看实时性结果是要事后报表，还是要当场告警。这一条经常比体量更能决定方案走哪条路。

动手前的排查清单

上面四步走完，大概率你已经能判断自己这件事要不要按大数据的路子做了。下面这份清单建议动手前逐条过一遍，尤其是刚接手一个说不清背景的需求时，能帮你少走弯路。

• 列出数据来源清单，逐条标出是人工产生还是机器产生，再估个日增量的大致级别，不用精确到个位
• 确认现在用什么工具处理、卡在哪一步：是存不下、算得太慢，还是压根没有合适的字段可用；三种病，药不一样
• 问清楚要的结果是定期报表、实时告警，还是给模型做训练语料。三种目标对应的方案差别很大，别混着谈
• 确认数据里脏数据、缺字段、重复记录的比例，必要时先清洗再谈规模，否则规模越大错得越离谱
• 如果只是想看个趋势，先抽样跑一遍往往就够了，不用一上来就铺全套

「大」不是数据自己的属性，是你手上的工具和数据之间的差距。