智能时代
1第一章数据-人类建立文明的基石
如果我们把资本和机械动能作为大航海时代以来全球现代化推动力的话,那么数据将成为下一次技术革命和社会变革的核心动力。
1.1现象、数据、信息和知识
人类观察现象得到数据,从数据中得到信息,对信息和数据进行处理后,个得到知识。
1.2数据的作用:文明的基石
人类观察现象得到数据,从数据中得到信息,对信息和数据进行处理后,得到知识。
获取数据-分析数据-建立模型-预测未来
1.3相关性:使用数据的钥匙
很多时候,我们无法直接获得信息(疫情传播情况),但可以通过将关联的信息(各地的搜索情况)量化,然后通过数学模型,间接地得到所要的信息。
而各种数学模型的基础都离不开概率论和统计学。
1.4统计学:点石成金的魔棒
是建立在概率论基础之上,收集、处理、和分析数据,找到数据内在的关联性和规律性和学科。
两个重要维度:量和质。
数据量充足,且具有代表性。
(美国总统大选)
1.5数据模型:数据驱动方法的基础
寻找模型和参数,机器学习。
只要数据量足够,可用多个简单模型代替一个复杂模型,这种方法成为数据驱动方法。
2第二章大数据和机器智能
在有大数据之前,计算机并不擅长解决需要人类智能的问题,今天可以变智能问题为数据问题。
由此,全世界开始了新的一轮技术革命-智能革命。
2.1什么事机器智能
第一台计算机ENIAC,计算弹道轨迹,蒙巴顿将军命名电脑;阿兰图灵定义机器智能2.2鸟飞派:人工智能1.0
1956年达特茅斯头脑风暴。
传统:机器模仿人类即为机器智能。
2.3另辟蹊径:统计+数据
70年代后,采用数据驱动和超级计算的方法。
90年代后,互联网兴起,数据获取变得容易。
2.4数据创造奇迹:量变到质变
数据向外扩展,开始交叉,数据关联性越来越强,出现了大数据。
2.5大数据的特征
大量(Vast)、多样性(Variety)、及时性(Velocity)
2.6变智能问题为数据问题
机器利用大数据,从中学习获得信息和知识。
和摩尔定律、数学模型一起导致了机器智能的出现。
3第三章思维的革命
在无法确定因果关系式,数据为我们提供了解决问题的新方法,数据中所包含的信息可帮助我们消除不确定性,而数据之间的相关性在某种程度上可以取代原来的因果关系,帮助我们得到答案,这边是大数据思维的核心。
3.1思维决定科学成就
从欧几里得到托勒密再到牛顿,在思想方法上是一脉相承又不断发展的。
牛顿把欧几里得方法论推广从数学推广到自然科学。
把托勒密用机械运动描述天体扩展到描述世界上任何规律。
将牛顿的方法论概括为机械思维。
3.2工业革命,机械思维的结果
牛顿找到了开启工业大门的钥匙,瓦特开启了大门。
火车、打字机、轧棉机、蒸汽船等;爱因斯坦光速恒定基础上发现狭义相对论。
机械思维重要特征-所有问题有一个通用解决方法。
牛顿时代,人类进步得益于机械思维,进入信息时代后,越发局限。
世界存在很大不确定性,如何在不确定的情况下取得科学成就需要新的方法论。
3.3世界的不确定性
世界上很多事情是难以用确定的公式或规则来表示,没有规律可寻,通常可以用概率模型来描述。
在概率论基础上,香农建立起完整理论,将不确定性和信息联系起来,就是信息论。
3.4熵——一种新的世界观
香农用热力学中熵的概念来描述信息的不确定性。
3.5大数据的本质
大数据的科学基础是信息论,它的本质是利用信息消除不确定性。
3.6从因果关系到强相关关系
采用相关大数据分析,转变思维。
数据之间的相关性在某种程度上可以取代因果关系,帮助我们得到答案,这便是大数据思维的核心。
3.7数据公司Google
作为数据公司,主要是花大量时间来寻找确定和因果关系,通过从大量数据汇总挖掘相关性。
4第四章大数据与商业
在未来,大数据和机器智能的工具就如同水和电一样,由专门的公司提供给全社会使用。
4.1从大数据中寻找规律
警察利用用电量查出大麻;购物网站精准定位需求;
4.2巨大的商业利好:相关性、时效性和个性化的重要性
根据天气等调整商品销售策略;根据客户喜好推荐商品;时效性强迅速反应;
交易记录完整,全面,时效;
4.3大数据上商业的共同点-尽在数据流中
收集数据是局部到整体,指导商业行为时,流向是整体到局部。
完成两个方向的流动。
4.4把控每一个细节
使用RFID标签记录每个商品信息,服装,机器部件。
有助于更加针对性市场推广;
4.5重新认识穷举法-完备性带来的结果
google无人汽车,利用大数据,全面的街景数据让汽车迅速识别周边环境,超越其他对手。
4.6从历史经验看大数据的作用
新技术+原有产业=新产业;现有产业+蒸汽机=新产业;现有产业+电=新产业;现有产业+大数据=新产业;现有产业+人工智能=新产业;
4.7技术改变商业模式
4.8加大数据缔造新产业
GE冰箱、小米手机收集用户行为分析等数据。
不是所有公司都需要大数据部门,可以租用专门的数据公司服务。
5第五章大数据和智能革命和技术挑战
大数据应用与过去数据方法有所不同,因此,使用好大数据也要在技术和工程上采用与
过去不同的方法。
5.1技术的拐点
为什么呢大数据拐点为今天:从数据的产生、存储、传输、处理四个角度分析。
5.2数据的产生
电脑变多,传感器多,传统存储的信息化;互联网发展和视频、监控等。
5.3数据的存储
固态半导体的出现,使存储成本下降。
5.4数据传输
4G、wifi技术
5.5数据处理
云计算兴起、通过互联网、廉价的服务器、实现大规模并行计算。
5.6数据收集:看似简单的难题
google收购智能空凋控制器和研发手机目的在于收集数据。
5.7数据的存储压力和数据表示的难题
需要重新设计通用有效便捷的表示和存储方式,需要对数据建立索引,标准化数据格式。
比如从视频中查找某个物体。
5.8并行计算和实时处理:并非增加机器那么简单
无法保证每个小任务的计算量都是相同的,实时性要求高,需要从根本上改变系统设计
和算法。
5.9机器挖掘:机器智能的关键
机器学习的方法不可能每家公司都去研究,最终由专业的公司为大众提供机器学习的服务。
5.10数据安全的技术
首先保证数据不损坏不丢失;保证数据不被盗走。
5.11保护隐私:依靠大数据长期挣钱的必要条件
双向监控,输入自己的信息才能查看别人的信息,制约权力做好的办法就是使用权利。
6第六章未来智能化产业
现有产业+机器智能=新产业,未来农业、制造业、体育、医疗、律师、记者等行业将迎来崭新的形态。
新产业将取代旧产业满足人类个性化需求,大数据将导致我们整个社会的升级和变迁。
6.1未来的农业
以色列严重缺水却农业强国,滴灌技术等高科技。
6.2未来的体育
库里投三分球,中国女排,离不开大数据和机器智能。
根据统计,最有效的进攻是眼花缭乱的传球和准确的投篮,不是彰显个人能力的突破和扣篮。
今天的高尔夫和网球运动员身上安装各种传感器,测定动作,然后和优秀的选手动作对比,纠正自己的动作。
6.3未来的制造业
机器取代人,提升效率。
机器人制造。
6.4未来的医疗
降低医疗成本,通过机器人做手术,通过智能识别软件进行医学影像分析。
解决医疗资源短缺问题,非洲等贫困地区可采用机器阅读病例,倾听病人描述和分析化验结果进行疾病诊疗。
制药业的革命;癌症,是身体内细胞在复制过程中基因出了错。
癌细胞病变的基因不相同,不同人不能采用同一种药,需要进行基因对比。
另外,癌细胞本身复制也会出错,导致原有药物失效。
人类是否可以长生不老,基因编辑技术。
6.5未来的律师业
利用自然语言处理技术和信息检索技术,发明计算机阅读和分析法律的软件。
6.6未来的记者和编辑
通过语言模型和概率模型,将文字构成优美的句子,再用另外一个语言模型将句子组成段落。
7第七章智能革命和未来社会
在历次技术工革命中,一个人,一家企业,甚至一个国家,可以选择的道路只有两条:要么加入浪潮,成为前2%的人,要么观望徘徊被淘汰。
7.1智能化社会
利用大数据防止踩踏等
大数据分析交通态势
7.2精细化社会
追踪每一次交易
从标准化到个性化的服务
智能就医指导系统可以根据患者情况和医生情况帮助他们选择合适的医生。
大数据和人工智能让整个社会环境和文明程度有了质的提升。
7.3无隐私社会
大数据发展,越来越没有隐私,隐私像自由,只有失去的时候才觉得珍贵。
7.4机器人抢掉的饭碗
每一次技术革命都需要较长时间消化,目前信息革命冲击还未消化完,智能时代已来敲门。
7.5争当2%的人
接受新的思维方式,利用好大数据和机器智能。
回收过去三次技术革命,最先受益的是和产业相关的人,善于利用技术的人。
无论做那个行业,学会利用大数据和人工智能技术。