大数据技术

章绪论（1）
概述（1）
节大数据的概念（1）
何谓大数据（2）
大数据结构类型（6）
大数据的作用和影响（8）
练习（9）
第二节大数据分析和计算（9）
大数据分析计算的意义（10）
大数据计算的特点（11）
大数据计算系统架构（12）
练习（16）
第三节大数据技术体系（17）
大数据技术栈（17）
大数据计算支撑技术（20）
Hadoop生态系统（28）
练习（30）
第四节Hadoop平台构建（30）
Hadoop集群配置（30）
Hadoop的安装与运行（32）
练习（39）
本章小结（39）
第二章大数据采集和预处理（41）
概述（41）
节大数据采集（41）
大数据采集的基本概念（42）
大数据采集的技术和方法（45）
大数据采集工具的设计（48）
练习（50）
第二节互联网数据采集（51）
基于网络爬虫的数据采集（51）
系统日志采集（59）
日志数据采集示例（63）
练习（67）
第三节大数据清洗（68）
数据质量问题（68）
大数据清洗的对象（70）
大数据清洗的基本方法（71）
日志文件数据清洗示例（73）
练习（75）
第四节大数据采集和预处理工具（76）
ApacheFlume（76）
SplunkForwarder（83）
国内常见的大数据处理软件（84）
练习（86）
本章小结（86）
第三章大数据存储与管理（88）
概述（88）
节分布式存储系统（89）
集中式存储（89）
分布式存储（90）
练习（95）
第二节Hadoop分布式文件系统（HDFS）（96）
HDFS的相关概念（96）
HDFS的系统架构（100）
HDFS的存储机制（102）
HDFS的数据读写过程（104）
HDFS应用编程（106）
练习（114）
第三节非关系数据库（NoSQL）（115）
NoSQL概述（115）
NoSQL的技术基础（118）
NoSQL的数据存储类型（120）
典型的NoSQL工具（125）
练习（132）
第四节分布式数据库HBase（132）
HBase系统结构（133）
HBase数据模型与存储（138）
HBase数据读写（144）
HBase应用编程（145）
练习（152）
本章小结（153）
第四章大数据分析与计算（156）
概述（156）
节大数据分析（156）
何谓大数据分析（157）
大数据分析的类别（158）
大数据分析的基本方法（160）
练习（166）
第二节大数据挖掘（167）
数据关联分析（168）
数据聚类分析（169）
数据分类与预测（177）
练习（181）
第三节大数据处理系统（MapReduce/Spark）（182）
MapReduce（182）
Spark（191）
练习（202）
第四节Spark应用示例（203）
Spark配置及运行（203）
Spark的Scala编程（208）
Spark的主要应用场景（210）
练习（211）
本章小结（211）
第五章大数据可视化（214）
节可视化基础知识（214）
数据可视化（215）
大数据可视化（217）
大数据可视化设计（220）
练习（222）
第二节可视化分析研发资源与工具（222）
信息图表工具（223）
时间线工具（225）
地图工具（226）
可视化分析研发资源与编程语言（227）
练习（229）
第三节大数据可视化应用（229）
基于Web的数据可视化（229）
文本数据可视化（234）
社交网络可视化（235）
练习（236）
本章小结（237）
第六章大数据应用（239）
节大数据查询（239）
大数据查询分析引擎（239）
基于Spark的大数据实时查询（245）
大数据查询实例及其技术发展（248）
练习（249）
第二节大数据应用与发展（249）
大数据的社会价值（249）
大数据应用场景（252）
大数据应用发展趋势（257）
练习（259）
第三节大数据隐私与安全（259）
大数据应用中的安全（260）
大数据安全技术（261）
大数据安全与隐私保护措施（264）
练习（265）
本章小结（265）
附录A课程测验（267）
附录B术语表（270）
参考文献（278）