谢文：大数据时代多点想象力

西瓜学院 · 2012-9-24 15:02:45

作者：@谢文
摘要：

大数据是完整综合的，开放公共的，动态及时的，这样的大数据是我们过去从未有机会获取利用过的全新挑战，也是我们未来应该努力去争取利用的全新战略机会。如果有人以为过去积累的那点数据就是大数据，或者过去积累的数据处理利用能力和经验就可以在大数据时代自然领先，那不是无知就是狂妄

记得2005年在业内鼓吹WEB2.0革命的时候，得到最多的有两类反应。一类可以称之为虚无派，他们说讨论这事虚无缥缈，没有马上就能挣钱的模式。一类可以称之为停滞派，他们说讨论这事有什么新鲜，我们的某某东西早就是WEB2.0了。随后几年的产业发展证明了这两类说法的无知与荒谬。

今天在业内鼓吹大数据时代即将到来的时候，得到最多的仍然是同样两类反应。虚无派说大数据云山雾罩，看不出有什么钱途。停滞派说大数据有什么新奇，老子的数据很大，挖掘技术很高。我想，今后几年的产业发展又将证明这两类说法的无知与荒谬。

一些不肯认真读点想点东西的人，一看到大数据这个词，就望文生义地想到数据要大，却忘记了大数据的其他基本特性，需要反复加以提醒。

大数据的特性之一是数据的完整性和综合性

很多业内朋友一谈起大数据，就习惯性地盘点起自己那点存货，或者那些可以直接从自身服务中可以获取的东西。考虑到目前互联网的发展还在非常初级的阶段，现有网络服务都是简化，扭曲，片面地对现实世界的浓缩和裁剪，由此产生的数据是零乱的，破碎的，局部的，其中所含有的含金量是极其有限的。如果同意这个世界上的万事万物可以而且正在被数据化和网络化，那么由此产生的大数据就必然是完整的和综合的，不仅包括网络公司通过自身服务所获得的用户行为数据，而且包括社会的，经济的，政治的，自然的方方面面的数据。这些数据当然分散在不同企业，机构和政府部门手中，汇聚整合在一起绝非易事，但操作上的困难并不能否定大数据本身的完整性和综合性。今天之所以讨论大数据时代的到来，是因为互联网发展到目前阶段使得现实世界数据化发展到了一定程度，各种信息终端普及到了一定程度，数据获取的成本降到了一定程度，使得完整和综合的数据不仅是一种理想，也正在变为现实。

大数据的特性之二是数据的开放性和公共性

正是因为完整的综合的大数据难以由一家公司，机构或政府部门所获得，所以大数据必然产生于一个开放的，公共的网络环境之中。这种开放性和公共性的实现取决于若干个网络开放平台或云服务以及一系列受到法律支持或社会公认的数据标准和规范。任何封闭的或单向获取的数据都不可能是大数据，无论这些数据的规模有多大。

大数据的特性之三是数据的动态性和及时性

天体物理学和理论物理学早就依赖于从宇宙间获取的大量数据，类似的学科还有环境生态学，医药学，和自控技术。但是，这和我们今天讨论的大数据不是一回事。今天的大数据是基于互联网的及时动态数据，不是历史的或严格控制环境下产生的东西。

所以，今天我们谈论的大数据是完整综合的，开放公共的，动态及时的，这样的大数据是我们过去从未有机会获取利用过的全新挑战，也是我们未来应该努力去争取利用的全新战略机会。如果有人以为过去积累的那点数据就是大数据，或者过去积累的数据处理利用能力和经验就可以在大数据时代自然领先，那不是无知就是狂妄。

近来媒体上对大数据方向的进展报道颇多，其中一个很能说明我心目中大数据的性质及其利用的前景。据8月30日《纽约时报》的报道：一家名为气候公司(Climate Corporation)的创业企业每天都会对美国境内超过一百万个地点，未来两年的天气情况进行超过1万次模拟。随后，该公司将根系结构和土壤孔隙度的相关数据，与模拟结果相结合，为成千上万的农民提供农作物保险。

通过遥感获取土壤数据，这和我们过去所熟悉的通过网络服务获取用户网络行为数据不是一回事，数据的概念得以极大的扩充。每天对百万以上地点进行成万次的模拟，其数据量庞大，动态，及时。要想对每块田地提供精准的保险服务，肯定还需要与土地数据相配套的农产品期货数据，气候预测数据，国际贸易数据，国际政治和军事安全数据，国民经济各方面的数据，产业竞争数据，等等。在如此庞杂的大数据基础上推出的商业模式，是创新的，同现有农作物保险方式相比是具备极大竞争力的，是可持续和规模化的。更妙的是，这家公司基于大数据的运营，完全没有进行高额的网络设施投资，只是租用了亚马逊的公共云服务，一个月几万美元而已。

如果留心观察，这样的案例已经很多了，虽然都还比较简单初级，但足以说明问题。如果展开一下我们的想象力，类似上述案例

		自动登录	找回密码
密码			成为会员

谢文：大数据时代 多点想象力

浏览过的版块

谢文：大数据时代多点想象力