Python-Web学习-Flask框架初探

Python有上百种Web开发框架,有很多成熟的模板技术,选择Python开发Web应用,不但开发效率高,而且运行速度快。

WSGI

Web Server Gateway Interface:WSGI 规范了一种简单的接口,描述了web server如何与web application交互、web application如何处理请求。实现了WSGI的模块/库有wsgiref(python内置)、werkzeug.serving、twisted.web等

spark---RDD

RDD

现有的数据流系统(例如MapReduce)需要将数据输出到磁盘,然后在每次查询时重新加载,这带来较大的开销。因此,对以下两种应用的处理并不高效:

  • 迭代算法,图算法等需要重复利用数据的应用类型
  • 交互式数据挖掘工具,用户反复查询一个数据子集

RDD针对上述情况,有一些改进:

spark---hello spark java版


看了几个spark入门,大都是linux环境下scala和python版本的。自己在windows下折腾了一番才跑通,还是觉得有必要写一个windows/java版本的,希望对有相同需求的人有所帮助。

由于开发在windows下进行,提交任务时在线上linux集群。需要配置linux线上环境和window的开发环境。各种版本如下:

  • spark版本:spark-2.1.0
  • hadoop版本:hadoop-2.7.3
  • jdk版本:1.8.0_65
|