1.Python基础
1.1 Python概述
Python是做啥用的? 为啥要学Python？
前面我们介绍了Linux操作系统、MySQL数据库。Linux作为大数据平台的基石，其重要性，在这里就不说了；MySQL数据库或推广为其他数据库（实际上其他数据库，如Oracle、DB2、SQL server等）作为存储和管理数据系统，在企业中已运行几十年（当然还将将继续使用下去，在事物处理方面尤其独特优势）积累大量各行各业的数据，这些数据是大数据重要来源。平台有了，数据有了，接下来要做的就是处理和分析这些数据，而Python恰恰是解决这类问题的高手之一，可以毫不夸张的说，Python将把你带进一个数据处理、数据分析的五彩缤纷世界！Python将助你达到一个新境界！
当然在数据处理、数据分析、机器学习等方面除了Python还有其他一个工具，如R,MATLAB等，我们为啥选择Python？1、它开源，2，它易学，3，它强大，4，它与时俱进，它和大数据计算平台SPark的结合，可为强强联合，优势互补、相得益彰！Spark后面我们会重点介绍。
1.2 Python简介
Python是一种动态的高级解释性编程语言，简单易学，可读性高，功能强大，目前已广泛用于学校、企业、金融机构等。Python支持面向对象、模块和函数式编程，可以在windows、linux、Unix等操作系统上运行。它有如下主要特征：
- 开源：
由荷兰人Guido van Rossum在1989开发的，1991发行第一个正式版本，Python开发的里程碑：
1991年发行Python0.9.0；
1994年发行Python1.0；
2000年发行Python2.0；
2008年发行Python2.6；
2010年发行Python2.7；
2008年发行Python3.0；
2010年发行Python3.3；
2014年发行Python3.4.
从2008年开发有两版本在同时使用，而且这两个版本的代码不是100%兼容的，目前大部分实际使用的一般是Python2.6或Python2.7版本编写。
- 跨平台；
Python支持常用的操作系统，如Windows、Linux、Unix和Mac OS，既可在集群，也可运行在一些小设备上。
- 面向对象
Python支持面向对象、命令式、函数或过程式编程。
- 动态性
Python与JavaScript、PHP、Perl等语言类似，无需预先声明，直接赋值即可。
- 缩进感知
Python和大部分编程语言不同，它没有分号、begin、end等标记，使用缩进标记代码块、逻辑块，代替圆括号、方括号或分号等。
- 多用途
目前Python已广泛应用于web开发、数据库、图像处理、自然语言处理、网络、操作系统扩展等大型应用程序，也用于高级数据分析、图形处理等领域。
1.3 Python重要库
NumPy：基于Python的科学计算第三方库，提供了矩阵，线性代数，概率统计等的解 决方案。
Matplotlib：用以绘制一些高质量的数学2D或3D的图形。
Pandas：pandas构建在numpy之上，是python下强大的数据分析和探索工具，有类似 SQL的数据增、删、改并带有丰富的数据处理函数。
Ipython：它为交互式和探索式计算提供了一个强健且高效的环境，是一个增强的Python shell，是一个编程、测试、调试非常方便的工具。
StatsModels：注重数据的统计建模分析，它是python有了R语言的味道，它与Pandas 进行数据交互，安装时它依赖pandas。
Scikit-Learn：它是python下机器学习工具包，提供了完善的数据预处理、分类、回归、 聚类、预测和模型分析等数据分析与挖掘功能。
SciPy：主要功能：基于Python的matlab实现
Keras：它包含一种深度学习算法-人工神经网络，基于Theano，可以搭建各种深度学习 模型。
1.4 安装配置
上一节介绍的这些库可以用python的安装管理包Anaconda轻松搞定，Anaconda有Linux、windows平台的，在Linux下安装，先下载管理包Anaconda2-4.0.0-Linux-x86_64.sh，然后在Linux命令行下运行：bash Anaconda2-4.0.0-Linux-x86_64.sh，然后按缺省步骤即可，如果要安装其他库，如scipy，只要运行conda install scipy即可。
Python安装完成后，在命令运行python后，启动Python解释器：
退出Python解释器，在提示符下输入quit() 或 Ctrl-D即可。
当然我们也可用IPython，IPython是一种加强的交互式Python解释器，它更加方便、功能更强大、更神奇，它已经成为Python科学计算界的标准配置。启动Ipython，只要在命令行输入ipython。
在IPython我们可以进行计算、编程、运行脚本（用%run 脚本）、copy脚本（%paste）、测试脚本、可视化数据等，甚至可以运行shell命令，当然Tab补全功能、回看历史命令等它都有，方便快捷，功能强大，退出IPython解释器，在命令行输入quit或exit或Ctrl+D。后面我们以IPython为主。