介绍QEMU 是 Quick Emulator 的缩写。从名称可以看出，它是一个模拟器。从功能上看，它可以在一种架构的硬件上模拟其他架构的硬件，比如 Android 开发时所用的官方模拟器底层即是基于 QEMU 的，它在 x86 平台上模拟 ARM。 为实现模拟不同架构硬件的功能，QEMU 会对 C ...

概述在使用 Java 时，Apache Common Pool 是一个非常常用的通用池解决方案，使用池技术可以缓存较为常用的对象、数据库连接、文件句柄等，避免在每次使用时创建，提高应用程序的响应速度。 对于一个通用池，应当提供以下功能： 可配置的初始化池大小、最大池大小、最多空闲资源大小; 提供获 ...

概述Selenium 提供了一系列控制浏览器的 API ，使用这些 API 可以方便的通过编程方式与浏览器进行交互，模拟用户操作，达到自动化测试的目的。 ChromeDriver 提供了 Selenium 与 Chrome 浏览器交互的方式，ChromeDriver 实现了 WebDriver Wi ...

概述本例使用 MapReduce 对 Web 日志中客户端 IP 进行统计 Mapper 的输入是 Web 日志，如下 12310.168.1.73 ...10.1.1.2 ...10.1.1.2 ... Mapper 程序以数据的偏移为 Key，日志行为 Value 输入。数据偏移对于本例可以忽略 ...

概述Phoenix 是 SQL on Hadoop 的一个方案，可以使用 Phoenix 来查询 HBase 中的数据。 下载安装从 Phoenix 官网 下载对应的压缩包，要根据对应的 HBase 版本选择，这里选择 apache-phoenix-4.13.1-HBase-1.2-bin.tar. ...

概述HBase 是 Hadoop 家族中分布式、可伸缩的大数据存储。使用 HBase 可以达到随机、实时读写大数据。HBase 支持数十亿的行与数百万的列。HBase 是根据 Google BigTable 论文实现的。 下载安装从 HBase 官网 下载并解压。 1234tar zxvf hbas ...

概述在使用 Spark 时，很多的例子是使用 Scala 语言进行编写，因此有必要对 Scala 的语法与使用进行学习。 Scala 是面向对象、函数式、静态类型编程语言。 Scala 提供了命令行，可以以命令行方式执行。 Scala 可以运行于 JVM 环境，能够与 Java 语言很方便地交互，同 ...

概述Spark 可以认为是改进版的 MapReduce，改进了 MapReduce 存在的以下问题 调度慢，启动耗时，由于 MapReduce 使用进程级的调度，相比 Spark 线程级调度，启动较慢； 计算慢，每一步都要保存中间结果到磁盘，相比 Spark 使用内存缓存中间结果较为耗时； 使用复 ...

概述Hive 提供了一种 SQL 方式编写 MapReduce 程序的方式，可以再进行数据分析任务时使用简单的 SQL 语句进行关联、分组、聚合、排序等查询。Hive 为大量数据的 OLAP 应用提供解决方案。底层基于 HDFS 存储数据。 下载安装从 Hive官网 下载 tar.gz 包，会自动分 ...

概述Hadoop MapReduce 可以方便的编写运行与数千台计算节点集群的大数据量处理程序。 MapReduce 是以 Key-Value 方式处理数据的，标准流程: 1(input) <k1, v1> -> map -> <k2, v2> -> com ...