大数据时代的阅读心得
读书不光能补充知识,还可以通过书籍,使作者与读者在对话中,产生生命的共鸣,共同塑造人生。这里给大家分享一些关于大数据时代的阅读心得,供大家参考。
大数据时代的阅读心得1
有人说现在是读图时代,除去小说、心灵鸡汤以外,现在的畅销书基本都有图片,这本书是一个特例(书里唯一的图是出品方湛庐文化做的)
首先尝试解析一下作者的三大观点,这三大观点是大数据业者很喜欢引用的三句话:
1 不是随机样本,而是全体数据
我想所有人都能意识到对全体数据的分析优于对随机样本的分析,但在现实中我们经常拿不到全体数据:一是对象的特性:比如炸弹的威力,你不可能把所有炸弹都炸掉来得到全体数据;二是数据的收集方法,每一种方法都有适用的范围,不太可能包罗万象;三是数据分析的角度,战斗机只能统计到飞回来的飞机上的弹孔,而坠毁的则无法统计,沃德通过分析飞回来的战斗机得出来最易导致坠毁的薄弱点;四是处理能力跟不上,就像以前的天气预报太离谱是因为来不及算那些数据。“采样分析是信息缺乏时代和信息流通受限制的模拟数据时代的产物”,作者显然只关注了一部分原因。
从语言的理解上看,什么是全体数据,究竟是“我们需要的所有数据”,还是“我们能收集到的所有数据”,书中的很多商业案例中,处理的只是“我们能收集到的所有数据”,或者说是“我们认为的全体数据”。人对自然的认识总是有限的,存在主义认为世界没有终极的目标。书中举例“Farecast使用了每一条航线整整一年的价格数据来进行预测”,而“整整一年”就是一个采样,或者是“我们需要的所有数据”。
从历史的角度看,国外的托勒密建亚历山大图书馆唯一的目的是“收集全世界的书”,实现“世界知识总汇”的梦想,国内的乾隆汇编四库全书,每个收集的过程都有主观因素在里面,而他们当时都认为可以收集全部的书籍,到最后,我们也没有得到那个梦中的全体。
2 不是精确性,而是混杂性
既然我们过去总是在抽样,那本身就是在一个置信水平下,有明确的容错度或者是偏差值。人类永远知道我们是在精确性受限的条件下工作。同时,作者本身也承认 “错误并不是大数据固有的特性,而是一个亟需我们去处理的现实问题,并且有可能长期存在”。那大数据的特征究竟是精确性还是混杂性?
由此衍生出一个问题,大数据的品质如何控制:一、本身就不要求精确,但是不精确到何种程度是需要定义的,否则就乱套了,换个角度,如果定义了容错度,那符合条件的都是精确的(或者说我这句话还是停留在小数据时代?这里的逻辑我没有理顺)。就像品质管理大师克劳斯比提出过零缺陷理论,我一直觉得是一个伪命题,缺陷是一定存在的,就看如何界定了;二、大量非结构化数据的处理,譬如说对新闻的量化、情感的分析,目前对非SQL的应用还有巨大的进步空间。
“一个东西要出故障,不会是瞬间的,而是慢慢地出问题的”。“通过找出一个关联物并监控它,我们就能预测未来”。这句话当然是很认同,但不意味着我们可以放弃精确性,只是说我们需要重新定义精确度。之于项目管理行业,如果一个项目出了严重的问题,我们相信,肯定是很多因素和过程环节中出了问题,我们也失去了很多次挽救的机会。而我们一味的`容忍混杂性的话,结果显然是不能接受的。
3 不是因果关系,而是相关关系
这是本书对大数据理论的最大的贡献,也是最受争议的地方。连译者都有点看不下去了。
相关关系我实在是太熟了,打小就学的算命就是典型的“不是因果关系,而是相关关系”。算命其实是对趋向性的总结,在给定条件下,告诉你需要远离什么,接近什么,但不会告诉你为什么那样做。
我们很多时候都在说科学,然而,什么是科学,没有人能讲清楚。我对科学的认识是:一、有一个明确的范围;二、在这个范围内树立一个强制正确的公理;三、有明确的推演过程;四 可以复制。科学的霸道体现在把一切不符合这四个条件的事物都斥为伪科学、封建迷信,而把自己的错误都用不符合前两条来否决。从这个定义来看,大数据不符合科学。
混沌学理论中的蝴蝶效应主要关注相关关系。它是指对初始条件敏感性的一种依赖现象,输入端微小的差别会迅速放大到输出端,但能输出什么,谁也不知道。
人类一旦放弃了对因果关系的追求,也就放弃了自身最优秀的品质:意志力。很多人不愿意相信算命是担心一旦知道了命运,就无法再去奋斗。即使我相信算命,也在探求相关关系中的因果要素。我放弃第一份工作的原因之一是厌倦了如此确定的明天:一个任务发出去,大概能预测到哪些环节会出问题,只要不去 follow,这些环节十有_会出问题。
解析完这三大观点,下面是我对大数据理论的一些疑惑。大数据是目前风行的反馈经济中的重要一环,在金融、互联网行业的应用最为广泛,而这些行业都是大家所认为的高薪领域。很多时候我就在想,所谓无形的手所产生的趋势究竟是不是无形的。比如几家公司强推一个概念,说这是趋势,不久就真的变成趋势了。我们身边活生生的例子就是天猫的双十一和京东的618,一个巨头开路,无数人跟风,自然就生造出购物节,至于合理不合理,追究的意义也不大,因为很多事情是没有可比性的。这和没有强制控制中心的蜂群思维又不一样。
1 数据独裁。个人意志将受制于集体意志,个人的自由在哪里?用大数据预测来惩罚人的行为又确定的违反了无罪推定的原理。
2 所有数据都来源于过去,大数据分析出来的确定性结果是否意味着我们在重复过去?拉普拉斯的决定论已经被认为是错误的,爱因斯坦也说过“上帝不会跟宇宙玩骰子”,但霍金不同意这句话。
大数据时代的阅读心得2
未来的十年,将是大数据引领下的智慧科技时代。不管你是否意识到它的存在,大数据都将越来越快地改变我们这个时代,包括我们的生活方式。
维克托·迈尔-舍恩伯格是最早洞见大数据时代发展趋势的数据科学家之一。他通过一个大家熟知的事例,来帮助我们理解“大数据”的潜在影响力,那就是四个世纪之前望远镜和显微镜的发明。望远镜能够让我们感受宇宙,显微镜能够让我们观测微生物,它们都是收集海量数据的新工具,因为这种工具的发明,人们同步更新了分析数据的技术和方法,促进了人们对世界更好的理解。如果说望远镜和显微镜是测量领域中的一场革命,那么今天的数据测量就相当于是现代版的望远镜、显微镜。随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、物联网应用更加丰富,以及更多的传感设备、移动终端接入到网络,由此产生的数据及数据的增长速度比历史上的任何时期都要多、都要快。一个大数据的时代,不经意间顺理成章地翩然而至。
一、什么是大数据?
大数据是当前最热门的话题之一。但什么是大数据,人们尚未给出确切的定义。首先,“大数据”是相对过去小的、局部性的数据而言的;其次,利用大数据进行分析和工作时,所依据的关于此事尽可能完整的数据,从而“一览众山小”,而不是采用局部的小数据,从局部推断整体。
维克托也并未直接给出大数据的定义。不过,他用三大转变描述了大数据的特性:
转变之一:在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。例如一项针对相扑比赛中非法操纵比赛结果的研究对64000场比赛进行了分析,这算不上一个很大的数字,但由于这是过去十年所有的比赛,所以它是大数据。
转变之二:由于有了更多的数据,我们可以接受更多的混杂、更多数据上的不精确。如果我们对于一个事物只有50个数据点,那么每一个数据点都必须非常精确,因为每个数据点都是有用的;但是如果我们有5000万个,去掉10个,甚至去掉1000个都没有太大的问题。
转变之三:不再探求难以捉摸的因果关系,转而关注事物的相关关系。分析大数据主要为了预测未来“是什么”,而不是“为什么”。因为很多时候我们以为我们找到了事情背后的原因,实际上却没有找到。更多时候知道了“是什么”就足够了。例如知道流感将会扩散到哪里就足够了,我不需要知道为什么;知道什么时候在网上购买机票能够获得最优惠的价格就足够了,我不需要知道为什么此时价格最低。
二、大数据带来的变化
大数据从根本上改变我们认识世界和改变世界的方式。很多传统的习惯将被颠覆,很多旧的制度将面临挑战。举例来说:
第一,科学探究的思路和方式受到挑战
探究是新课程改革中的一个热词,是促进学校教学与科学研究相融合的实践举措。科学探究的基本路径是:发现问题,提出假设,制定方案,实践探究,分析数据,得出结论。之所以会梳理出这样一个探究的路径,与我们对问题知晓的信息过少有关。换句话说,对所要研究的事物,我们知道的数据很少,需要从这些很小的数据出发,通过猜想和假设,进行试探性的研究,如果研究得出的'结果和自己的假想是一致的,则说明我们的假说是正确的,这些假说会上升为对该事物描述的知识,我们掌握该事物的数据也随之增加。
利用测量所获得的点滴数据,从一个局部来推测世界是怎样的,这是科学探究的基本思路和方式。长期以来,我们总是通过这样的方式来认识世界,对其有宗教般的信仰。尽管我们知道,决策者总是先有了想法,才会提出假设。如果决策者自身对所研究的事情存在着偏见,所提出的假设就很难得到实证的支持,这往往会导致探究花费了很长的时间、很大的物力和财力,也常常劳而无功。但科学研究者还是坚定不移地沿着这条道路前行,学校在教学中也将其作为科学研究的基本规范来传授。
在大数据时代,这样的研究方式收到了极大的挑战。先举个事例来说吧。手机辐射是否能够致癌?关于这个问题,无论我们的假设如何,实验的设计都很难进行。首先,样本选择过少,没有统计学上的意义;其次,不能拿人做研究对象;第三,短时间的研究很难观察到变化。有了大数据之后,这样的难题就可以迎刃而解了。前段时间,丹麦就进行了这样的研究。丹麦拥有1985年手机推出以来所有手机用户的数据库。他们从这个数据库中分析了1990年至2007年拥有手机的所用用户的数据,同时,他们还收集了这一期间医院收集的所有癌症患者的数据,然后分析手机用户是否比非手机用户有更高的癌症发病率。这两个数据库本身是完全独立的,在作分析之前从来没有想过可以做这样的研究。结果表明,使用移动用户和癌症风险增加之间不存在任何关系。2011年10月,这一研究的结果发表在《英国医学杂志》上。
上述的案例告诉我们,在获得了大量的数据,能够对事物的整体进行全面的认识之后,假想就没有意义了,我们可以直接根据全面的数据做出结论。
大数据时代的阅读心得3
在看《大数据》之前,我只知道社会越来越数字化了,看完之后,才觉悟到:人类将迎来一个新的时代。
数字化已经把我们带入一个信息时代,大数据却把我们卷进了一场科技风暴之中,这本书中,作者为我们开启了一个更包容更广阔的新时代,大数据把社会的方方面面融合在了一起,曾经看似因果联系紧密的事物,可能变得不再那么重要;毫无关联的事物,可能隐藏着重要的信息,从科技、商业,到医疗、政治、教育、文化,大数据一概席卷囊括,它改变着我们的传统思维,为这个时代注入了新鲜的血液,就像作者书中所说:“这项技术终将改变我们所居住的星球上的许多东西。”
大数据最显著的影响是对于电子商务,通过大数据,最先洞察出潜在市场的,也必然最先占领市场。而电子商务对实业的冲击又是势不可挡,可见,掌握了大数据就主导了市场,拥有了先进的科技才能拥有坚实的竞争力。在医疗方面,曾经的非典时期,就是一个很好的例证,正是有大数据的预测功能,才使疫情得到了控制。在更小的方面,他也同样改变着我们的生活,书中提到美国著名计算机专家奥伦 · 埃齐奥尼发明了飞机机票价格预测软件,就是利用大数据造福我们生活的很好例子。
大数据不仅节省了时间,提高了效率,更将人类带入一个新的文明阶段。从分析因果总结经验,转变为搜集数据预测未来;由原来的滞后性变为现在的预见性——大大提高了人类认识世界、改造世界的能力,变被动为主动。大数据为我们掀开了历史新纪元,不敢想象它将会为我们带来什么,或许会出现新奇的生活方式,从未有过的职业,闻所未闻的商业模式,百家争鸣的文化高峰;也或许会解开更多未解之谜,探索到宇宙之外的秘密。总之,毫无疑问的是,大数据为我们带来的未来是超乎想象的。
这本书中作者提到最多的是:改变我们的传统思维,摒弃精确性转向宏观。从总结因果转向预测。这个世界正以惊人的速度向前发展,数据大爆炸的波及范围远超乎我们的想象,单纯靠人类的主观判断力是多么的有限,大数据早晚会取而代之这一现象,这必将影响我们的生活和工作,我们也只有认清这种趋势,改变思维,调整步伐,紧跟时代才行。即使不能与时代同步,也尽量做到避免固步自封,认识大数据、利用大数据趋利避害,为我们的生活造福!
大数据时代的阅读心得4
读完《大数据时代》这本书后,我意识到:我们即将或正在迎接由书面到电子的跳跃之后的又一重大变革。
这本书介绍了大数据时代来临后,接踵而至的三项变革——商业变革、管理变革和思维变革。
其实,这场变革已经打响。商业领域由于大数据时代的到来而推陈出新。前几年,一家名为Farecast的公司,让预订到更优惠的机票价格不再是梦想。公司利用航班售票的数据来预测未来机票价格的走势。现在,使用这种工具的乘客,平均每张机票可以省大约50美元,这就是大数据给人们带来的便利。
大家应该都知道20_年出现的H1N1型流感,就拿美国为例,疾控中心每周只进行一次数据统计,而病人一般都是难以忍受病痛的折磨才会去医院就诊,因此也导致了信息的滞后。然而,对于飞速传播的疾病,Google公司却能及时地作出判断,确定流感爆发的地点,这便是基于庞大的数据资源,可见大数据时代对公共卫生也产生了重大的影响!
在我看来,如果想在在大数据时代里畅游,不仅要学会分析,而且还要能够大胆地决断。
在美国,每到七、八月份时,正是台风肆虐之时,防涝用品也摆上了商品货架。沃尔玛公司注意到,每到这时,一种蛋挞的销售量较其他月份明显增加。于是,商家作了大胆的推测,出现这样的结果源于两种物品的相关性,便将这种蛋挞摆在了防涝用品的旁边。这样的举措大大增加了利润,这就是属于世界头号零售商的大数据头脑!
大数据时代的到来,可以让我们的生活更加便利。但是,如果让大数据主宰一切,也存在一定的风险。
大家应该都知道电子地图,它可以为人们指引方向。但大家应该还不知道,它会默默地积累人们的行程数据,通过智能分析可以推断出哪里是自己的家,哪里是工作单位。我们的隐私就这样被不为人知地收集着。
大数据时代的到来,让我们的生活更安全,更方便,但与此同时,我们的隐私不再是隐私,数据的收集变得无所不包、无孔不入。世界已经向大数据时代迈进了一小步,一个崭新的时代正向我们走来。让我们用知识武装大脑,做好准备,迎接新时代的到来!
大数据时代的阅读心得5
《大数据时代》是英国维克托·迈尔-舍恩伯格教授的著作,这本书也被尊为国外大数据研究的先河之作。这本书最大的优点就在于作者利用上百个例子来对大数据的方方面面做了详细解说,让外行也很容易理解。结构上,作者通过大数据时代的思维变革、商业变革和管理变革三个角度依次阐述,条理清晰。
所谓"大数据",按作者的说法,就是"所有数据"。随着计算机运算速度和存储能力的发展,收集数据变得越来越简单,储存数据的成本越来越低。在过去,由于技术限制,人们做统计时只能收集有限的数据做样本,其中要考虑随机样本的选择,努力减小因样本问题出现的误差;统计结果往往不能重复使用,造成数据利用率低。而现在则可以做到"样本=总体"。数据的增多带来不可避免的精确性问题。 "小数据"时代,一个样本的错误就可以造成对总体估计的失败,幸运的是,"大数据"时代对精确性不再那么要求苛刻——也无法要求太严格——数据的数量足以弥补这一缺陷。在对思维变革这一部分的阐述中,最重要也是全书的核心观点就是大数据时代,我们应该从追求"因果关系"的旧思维方式向追求"相关关系"转变。 在我看来,这实际上是通过大数据来透视一种事物的发展趋势,而很多精确学科领域依然需要探寻"因果关系"解决更有针对性的问题,所以,这局限了这一转变只能在特定的领域发生。作者自己也说,"大数据的相关性将人们指向了比探讨因果关系更有前景的领域。"
大数据时代的数据获取方式是多种多样,数据形式也是千变万化,任何文字、行为、万物都可以被数据化后用来分析。对这些数据的利用,不仅要考虑到其初次使用价值,更要放眼它未来可能的用途以提高数据的利用率。当然数据并不是无限使用,时效、环境的变化肯定会对数据提出新的要求,所以数据的折旧也是应当考虑的。这又引出了对数据这一无形资产的估值可能性。对于这样的公司来说,数据就是他们的核心,如何在资产负债表上给他们一个公正的体现正是我们需要考虑的。
大数据时代的价值链由三部分构成,我把它们简化为"生产—分析—使用"三个环节,这对应书中的三种类型公司: 第一种是基于数据本身的公司,第二种是基于技能,第三种则是基于思维。在大数据早期,技能和思维最有价值,但作者认为,最终,大部分的价值还是必须从数据本身来挖掘。这是假定了一个成熟的市场,人人都了解了大数据的用途。
对于普通人来说,大数据时代最关心的还是隐私问题。不知不觉中,个人的一举一动都暴露在政府甚至私人企业之下,还面临潜在的泄露风险。对此,作者提出了使用者承担责任的解决办法,而不是过去那种流于形式的使用授权。大数据甚至能预测一个人的犯罪动机,这给监管者带来的难题是,预测一个人要犯罪,惩罚还是不惩罚?在这点上,社会达成"个人仅需对行为而非动机负责"的共识非常重要。
大数据时代的风险控制靠的是"算法师",类似会计师一样的职业,对大数据的准确度或有效性进行鉴定。这能在一定程度上防止数据滥用的发生和数据独裁。当今的法律亦需对大数据监管进行修订补充。
当代大数据发展主要由科技公司推动,相信在不久的将来更多的传统领域会意识到大数据的重要性。但我们也应该保持清醒,大数据并不是万能药,对某些领域或环节,使用大数据是一种简单且实用的选择;但对某些领域,盲目使用大数据只会适得其反。
大数据时代的阅读心得相关文章: