在这一章节，我们介绍股票分析中的另类数据特征。与上一章节的技术指标和基本面指标不同，另类数据指的是那些并不直接反应市场变化或者公司基本经营状况的数据。我们首先会通过举例的方式介绍另类数据的主要类别以及一些成功的应用案例。然后我们会主要以文本数据为例，分析如何提取其中的情绪因子。 1. 另类数据介绍 另类数据可以被大致分为如下几类：个人活动产生的数据、商业活动产生的数据和高科技监测获取的数据。 1.1 个人活动产生的数据 包括社交媒体、新闻稿和评论、搜索引擎数据、网络搜索量和点击率等。个人活动产生的数据既包括广大普通投资者通过社交网络表达的股票投资观点，也包括重要人物通过社交网络发布的重大消息，...

在这一章节，我会接着上一章节介绍的股票技术指标，介绍如何在特征工程中利用技术指标和基本面指标。我也会以这两类特征为例，介绍特征工程中涉及的数据预处理、数据变换、特征选取等内容。特征工程的目标是最大限度地从原始数据中提取特征以供算法和模型使用。对于股票预测，除了增加不同种类的原始数据（历史价量、基本面数据等等），从已有的数据中提取有用的信息也是非常重要的环节。 1. 技术指标特征 在这一部分，我们以上一次课中涉及到的如下技术指标作为特征：  动量 简单滑动平均 指数加权移动平均 布林带  我们使用的是之前已经下载好的平安银行的股票数据。 import pandas as pd df = pd.r...

在这一章节，我们接着之前的两个章节，继续尝试使用一些深度学习模型，进行股票价格和收益率的预测。在这一章节，我们主要使用TensorFlow和Keras这两个库，搭建一个基本的多层感知器和长短时记忆模型，来进行对数收益率的预测，并且与之前的线性模型和机器学习模型的结果进行对比。 1. 准备工作 我们首先来了解一下深度学习基本的一些概念。按照维基百科上的定义，深度学习（deep learning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。深度学习可以认为是机器学习的一个子集，而机器学习是更广义的人工智能的一部分。在2000年之后，数据量的上涨、运算力的提升和深度学习算...

在这一部分，我们尝试使用一些机器学习模型，来进行股票收益率的预测。机器学习研究如何从数据中产生“模型”的算法，即“学习算法”。有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型，在面对新的情况时，模型会给我们提供相应的判断。在我们要讨论的股票预测的例子中，我们根据历史数据研究一个“模型”，这个模型在得到了今天的开盘价、收盘价等信息之后，能够预测明天股票收盘价是涨还是跌。 我们使用的是有监督学习，即根据有标签的历史数据来训练模型，这里的标签是根据要预测的股票价格的变动给出的。当我们要预测明天的对数收益率时，预测的是连续数值，可以归为一个回归问题，此时可以用我们之前介绍过的均方根误差...

在这一章节，我们尝试使用一些线性模型，对我们之前获取的股票价格进行预测。具体来说我们要处理的是一个基于时间序列的预测问题，给定一个时间序列的历史值：，我们来预测明天对应的下一个数值，例如根据今天为止的收盘价信息，预测明天的收盘价。我们也可以利用其他信息，例如开盘价、最高价、最低价以及我们之前提取的一些特征等，这些信息也可以帮助我们预测明天的情况。 这一章节的重点是线性模型，我们会利用最近的已知值、过去一段时间的平均值和ARIMA模型，预测未来一天的收盘价和对数收益率。 1. 准备数据 在这一部分，我们还是使用之前下载的平安银行的股票价格数据。当我们想要设计方法来预测时间序列时，其实都是在已知的...

在这一章，我们介绍如何获取股票数据，并进行一些简单的分析。作为最基本也是最常见的金融数据，股票价格数据的分析不仅仅出现在各种研究报告、分析文章中，也可以实实在在地应用于交易中，带来或丰厚的回报或巨额的亏损。了解股票数据的基本形式是接下来进行进一步分析和量化投资的基础。在这一章，我们会简介中国的股票市场现状，通过Tushare提供的接口下载具体的个股数据，并通过K线图的形式让大家了解基本的股票数据可视化的方式，然后演示如何通过TA-Lib这个工具计算技术指标和识别K线图的特定形态。 1 中国股票市场简介 股票是上市的股份公司发行的所有权凭证，是股份公司为筹集资金而发行给各股东作为持股凭证并借以取...

在这一章，我们介绍如何利用Python中的Matplotlib和seaborn这两个包，进行各种图表的绘制。 介绍 数据可视化，或者说绘图，是数据分析中最重要的工作之一。绘图可能是数据探索过程的一部分，例如帮助我们找出异常值、进行必要的数据转换、得出有关模型的想法等。绘图也可以用于结果分析和呈现，画出图表或者做一个可交互的数据可视化也许是数据分析工作的最终目标。在这一部分，我们学习如何在Python中使用Matplotlib和seaborn进行各种类型图像的绘制。 Matplotlib是一个用于创建出版质量图表的桌面绘图包，由John Hunter于2002年启动，其目的是为Python构建一...

在这一部分，我们介绍SciPy和StatsModels这两个库的使用，以及Python中的时间类型和Pandas中的时间序列。 1. SciPy SciPy模块依赖于NumPy模块，能够提供方便快捷的N维数组操作。SciPy数组可以和NumPy的ndarray，Pandas的Series、DataFrame一起使用，并且提供包括积分、优化等许多高效的数值运算。SciPy模块不仅易于使用，而且功能强大。 在下表中，我们列出了SciPy模块主要的子模块：    子模块名称 功能    cluster 聚类算法   constants 物理数学常数   fftpack 快速傅里叶变换   integ...

在这一部分，我们介绍SciPy和StatsModels这两个库的使用，以及Python中的时间类型和Pandas中的时间序列。 1. SciPy SciPy模块依赖于NumPy模块，能够提供方便快捷的N维数组操作。SciPy数组可以和NumPy的ndarray，Pandas的Series、DataFrame一起使用，并且提供包括积分、优化等许多高效的数值运算。SciPy模块不仅易于使用，而且功能强大。 在下表中，我们列出了SciPy模块主要的子模块：    子模块名称 功能    cluster 聚类算法   constants 物理数学常数   fftpack 快速傅里叶变换   integ...

在这一章，我们介绍如何利用Python中的Matplotlib和seaborn这两个包，进行各种图表的绘制。 介绍 数据可视化，或者说绘图，是数据分析中最重要的工作之一。绘图可能是数据探索过程的一部分，例如帮助我们找出异常值、进行必要的数据转换、得出有关模型的想法等。绘图也可以用于结果分析和呈现，画出图表或者做一个可交互的数据可视化也许是数据分析工作的最终目标。在这一部分，我们学习如何在Python中使用Matplotlib和seaborn进行各种类型图像的绘制。 Matplotlib是一个用于创建出版质量图表的桌面绘图包，由John Hunter于2002年启动，其目的是为Python构建一...

在这一章，我们接着介绍Pandas的基本使用方法。基于上一章介绍的Pandas的基本操作，我们尝试进行一些实际应用中经常会用到的数据处理步骤，例如缺失值检测和处理、数据格式的转换、数据集的合并和分组计算等。这一章使用的例子都是最简单的情况，在实际应用中我们可能会遇到更加复杂的需求，会要求我们能够更加灵活地运用这些基本数据处理技术，将困难的问题拆解为标准的情况进行处理。 1 数据清洗和准备 首先仍然是导入我们需要用到的Pandas和NumPy： import pandas as pd import numpy as np1.1 处理缺失数据 1.1.1 判断缺失数据 Pandas将缺失值统称为N...

在这一章，我们介绍Pandas这个库的使用，包括Pandas的基本情况，Series和DataFrame这两大数据结构，以及Pandas的文件操作。与NumPy一样，Pandas也是一系列数据分析功能的基础，很多数据分析的工具都是建立在Series和DataFrame格式的数据基础之上。 Pandas基本情况 Pandas是基于NumPy的一个库，是为了解决数据分析任务而创建的，含有使数据清洗和分析工作变得更快更简单的数据结构和操作工具。Pandas这个名字源于panel data（面板数据，这是结构化数据集在计量经济学中的术语）以及Python data analysis（Python数据分...

在这一章，我们接着介绍Pandas的基本使用方法。基于上一章介绍的Pandas的基本操作，我们尝试进行一些实际应用中经常会用到的数据处理步骤，例如缺失值检测和处理、数据格式的转换、数据集的合并和分组计算等。这一章使用的例子都是最简单的情况，在实际应用中我们可能会遇到更加复杂的需求，会要求我们能够更加灵活地运用这些基本数据处理技术，将困难的问题拆解为标准的情况进行处理。 1 数据清洗和准备 首先仍然是导入我们需要用到的Pandas和NumPy： import pandas as pd import numpy as np1.1 处理缺失数据 1.1.1 判断缺失数据 Pandas将缺失值统称为N...

在这一章，我们介绍Numpy这个库的基本使用方法。 NumPy基本情况 Python面向数组计算可以追溯到1995年，Jim Hugunin创建了Numeric库。接下来的10年，许多科学编程社区纷纷开始使用Python的数组编程，但是进入21世纪，库的生态系统变得碎片化了。2005年，Travis Oliphant从Numeric和Numarray项目整了出了NumPy（Numerical Python的简称）项目，进而所有社区都集合到了这个框架下。 NumPy是Python数值计算最重要的基础包，提供了以下功能（不限于此）：  快速高效的多（duo）维数组对象ndarray。 用于对数组执...