宇宙湾

本文主要介绍如何使用 Apache Spark 实现实时的机器学习。

Apache Superset 是什么？

Apache Superset™ is a modern data exploration and visualization platform.

基础组件

Flask

　Python 几大著名 Web 框架之一，以其轻量级，高可扩展性而著名

• Jinja2
  模板引擎

• Werkzeug
  WSGI 工具集

Gunicorn

　Gunicorn 是一个开源的 Python WSGI HTTP 服务器，移植于 Ruby 的 Unicorn 项目的采用 pre-fork 模式的服务器

WSGI

　WSGI，即 Python Web Server Gateway Interface，是专门用于 Python 应用程序或框架与 Web 服务器之间的一种接口，没有官方的实现，因为 WSGI 更像一个协议，只要遵照这些协议，WSGI 应用都可以在 任何服务器上运行，反之亦然

Pre-Fork

　一个进程处理一个请求，基于 select 模型，所以最多一次创建 1024 个进程
　预先创建进程，pre-fork 采用的是预派生子进程方式，用子进程处理不同的请求，每个请求对应一个子进程，进程之间是彼此独立的
　一定程度上加快了进程的响应速度

介绍 Apache HBase 的基本概念、环境部署、常用命令、实战技巧、架构设计和性能优化，并记录了一些踩过的坑，及其解决方案。

Apache Calcite 是什么？

Apache Calcite™ is a dynamic data management framework.

基本概念

Catelog

　用于定义 SQL 语义相关的元数据与命名空间

SQL Parser

　负责将 SQL 转化成 AST（Abstract Syntax Tree）

SQL Validator

　负责通过 Catalog 对 AST 进行校证

Query Optimizer

　负责将 AST 转化成物理执行计划、优化物理执行计划

SQL Generator

　负责将物理执行计划反向转化成 SQL 语句

特性

• 支持标准 SQL 语言
• 通过适配器（Adapter）可以支持连接任何数据源
• 支持丰富的关系代数（并集、交集、连接、笛卡尔积等）
• 支持对逻辑规划规则进行定制（例如 Filter 下推）
• 支持成本模型优化（CBO, Cost-Based Optimizer 和 RBO, Rule-Based Optimizer）
• 支持管理物化视图（Materialized view）
• 支持查询流式数据
• 稳定可靠（开发迭代 10 年以上）
• 已贡献给 Apache 基金会（于 2013 年）
• 开源社区活跃（Apache Druid、Apache Hive、Apache Drill、Apache Flink、Apache Phoenix 等项目均在使用）

一幅持续扩展的物联网思维导图

更新记录