大数据挑战与困境以及支出和实施

跟踪大数据趋势、研究和统计数据为 IT 专业人员规划大数据项目奠定了坚实的基础。以下是每个 IT 专业人员都应该知道的 15 个重要的大数据事实。每个人都在谈论大数据，从挑战到年度支出、创造就业机会，甚至是大数据项目所需的工具。许多人认为大数据将帮助企业做出更好的决策，事实上，近十分之八的高管同意或强烈同意“如果我们能够利用所有数据，我们将成为一家更强大的企业”的说法。

跟踪大数据趋势、研究和统计数据为 IT 专业人员规划大数据项目奠定了坚实的基础。Webopedia 编制了每个 IT 专业人员都应该知道的重要大数据事实和统计数据列表。

大数据：我们是如何到达这里的？

1. 有多少数据？

每天，我们创建了 2.5 万亿字节的数据，以至于当今世界上 90% 的数据都是在过去两年中创建的。这些数据来自各处：用于收集气候信息的传感器、社交媒体网站的帖子、数字图片和视频、购买交易记录以及手机 GPS 信号等等。

2. 结构化数据与非结构化数据

在对大数据进行分类时，Tata Consultancy Services Limited (TCS) 研究了公司数据中有多少是结构化的与非结构化的，以及有多少是内部生成的与外部生成的。

– 51% 的数据是结构化的

– 27% 的数据是非结构化的

– 21% 的数据是半结构化的

远高于预期的数据百分比不是非结构化或半结构化的，只有不到四分之一的数据是外部数据。

大数据工作

3. 大数据创造就业机会

到 2015 年，全球将创造 440 万个 IT 工作岗位来支持大数据，在美国创造 190 万个 IT 工作岗位。在美国，每一个大数据相关的职位都会为 IT 以外的三个人创造就业机会，因此未来四年，信息经济将在美国创造 600 万个就业岗位。挑战？行业人才不足。

4. 大数据人才短缺

组织利用大数据所需的人才将会短缺。到 2018 年，仅美国就可能面临 140,000 至 190,000 名具有深厚分析技能的人才以及 150 万名具备利用大数据分析做出有效决策的专业知识的管理人员和分析师的短缺。

5. 重新思考工作角色和头衔

81% 的 IT 领导者和 77% 的 IT 专业人员认为，具有规划、执行和利用组织数据资产潜力所需技能的员工严重短缺。大数据项目可能意味着重新考虑工作角色和头衔，以及充分利用数据所需的非技术技能。

大数据挑战与困境

6. 不同的系统

66% 的 IT 领导者和 53% 的 IT 专业人员声称他们的数据存储在不同的系统中，这些组织必须构建新平台来满足这些增加的数据管理需求。

7. 从大数据中获取商业价值

从大数据中获取商业价值的最大挑战是文化和技术。当被要求对 16 项挑战进行评分时，公司将组织挑战排在首位：让业务部门跨组织孤岛共享信息。紧随其后的是技术问题：处理众所周知的大数据的三个 V：数据量、速度和多样性。第三个挑战是确定将哪些数据用于不同的业务决策。

8. 数据质量

超过一半的 IT 领导者 (57%) 和 IT 专业人员 (52%) 表示他们并不总是知道谁拥有数据。如果不知道谁拥有数据，就没有人对其质量负责。由于大数据项目将不同来源和种类的数据融合在一起，确保数据的准确性和质量将是成功的关键。

大数据投资的主要原因

9. 创建更强大的业务

CompTIA 发现，在其组织中负责涉及数据的技术或战略决策的高管中有近十分之八的人同意，利用所有企业数据将带来更强大的业务。调查还发现，93% 的调查参与者表示数据对他们的业务至关重要；同样的百分比认为这在 2014 年也很重要。投资于数据计划的最有力论据之一来自以下数据点：近十分之八的高管同意或强烈同意“如果我们能够利用所有数据，我们将成为一家更强大的企业”的说法。

10. 更好地管理数据

不到五分之一的企业报告说他们在管理和使用数据时正好处于他们想要的位置。诚然，这代表了一个很高的标准，但即使包括那些“非常接近”目标的企业，它仍然让大多数企业在数据方面有大量工作要做。

11. 三大大数据业务驱动力

前三大大数据业务驱动因素包括：

– 加快运营或分析工作负载的时间 (39%)

– 通过业务解决方案中使用的数据灵活性提高竞争优势 (34%)

– 对更高级别高级分析的业务需求 (31%)。

大数据支出和实施

12. 大数据实施

生产中的大数据实施从 2012 年的 27% 上升到 2013 年的 34.3%。此外，作为大数据计划的一部分，68% 的公司正在运行两个或多个大数据项目。对于制定了分析战略的公司来说，最重要的业务驱动因素是需要将销售信息与运营分析相结合（57%）。

13. 大数据工具

80% 的响应者表示，他们已经在或计划在生产环境中使用专用的大数据工具或架构来应对海量数据的涌入。56% 的受访者表示他们计划将现有应用程序从 RDBMS 迁移到 NoSQL 数据存储。

14. 大数据支出

在大数据上的支出存在两极分化，少数公司花费大量资金，而大部分公司花费很少。2012 年，大约 15% 的被调查公司在大数据计划上每家花费至少 1 亿美元，7% 的公司投资至少 5 亿美元。相比之下，近四分之一 (24%) 的人每人花费不到 250 万美元。

15. 在大数据上花费最多的行业

支出最多的行业是电信、旅游相关、高科技和银行业；生命科学、零售和能源/资源公司的支出最少。