在很多人的心中，大数据只是一个模糊的概念；也有人说大数据可以“预测股市”、“预测地震”、“预测消费者行为”。但事实上，大数据与我们的关系可能比我们想象的还要密切。
从观察夜空到天气预报，从童话故事里的水晶球到如今的科技预言家nba常规赛每个球队有多少个主场，人类一直希望突破限制，更早地看透未来，而人类的生活也正在被大数据预测深刻地改变。
相信大家一定知道世界杯“章鱼保罗”的传说，但你可能不知道的是，它早已被大数据预测所取代：
世界杯期间，谷歌、百度、微软、高盛等公司纷纷推出比赛结果预测平台，其中百度的预测最为出色，64场比赛准确率高达67%，淘汰赛准确率更是高达94%。
从经验上看，只要有体育赛事的历史数据，并且和指数公司有合作，就可以对其他赛事做出预测，比如欧冠、NBA等赛事。
在今天的课堂上，我们将根据2015-2016年NBA常规赛和季后赛的比赛数据，预测正在进行的2016-2017年常规赛每场比赛的结果。
本教程由实验室大厦发布，完整教程、代码及在线练习地址为：NBA常规赛结果预测-利用比赛数据分析（更多课程请查看全部-课程-实验室大厦）
1.1 简介
你是否曾在朋友圈里被NBA比赛的进程或结果淹没过？又或许你是一个NBA狂热粉，比赛中的每一个进球、抢断、压哨球都会让你兴奋不已。我们除了观看精彩的比赛过程，对比赛的结果也充满好奇。因此，本课程将向你展示如何利用NBA比赛的过往数据来判断各支球队的战斗力，预测某场比赛的结果。
我们将根据2015-2016赛季NBA常规赛和季后赛的比赛数据，预测正在进行的2016-2017赛季常规赛每场比赛的结果。
1.2实验知识点 1.3实验环境 1.4实验流程
在本课程中，我们将按照以下流程实施NBA比赛数据分析任务：
获取比赛统计数据
分析比赛数据，得到代表每场比赛各队状态的特征表达
使用机器学习方法学习每场比赛与获胜球队之间的关系，并对2016-2017年的比赛做出预测
1.5 代码获取
本次实验的源代码可以通过以下命令获取：
$ wget http://labfile.oss.aliyuncs.com/courses/782/prediction.py
2. 获取NBA比赛统计数据 2.1 比赛数据简介
在本实验中，我们将使用 NBA 2015-16 赛季的统计数据。在这个网站上，你可以看到不同球员、球队、赛季和联赛的基本统计数据，例如得分、犯规次数、胜负次数等。这里我们将使用 NBA 2015-16 赛季的数据。
在本 2015-16 年摘要的所有表格中，我们将使用以下三个数据表：
Rk——等级
排行
G——游戏
比赛场次（各82场）
议员——
平均每场比赛时间
射门得分
投球安打数
射门得分
投影数量
射门得分率——投篮命中率
投球安打数
3P——三分球
三分球命中
3PA--三分球
三分球
3P%——三分球命中率
三分球命中率
2P——两分球
两分投篮
2PA--2分投篮
两分投篮
2P%——2分球
两分球命中率
FT-免费
罚球命中
罚球
罚球
罚球命中率——罚球
罚球命中率
ORB——
进攻篮板
DRB——
防守篮板
TRB——总计
总篮板数
AST——
协助
STL--
抢断球
黑色 --
堵塞
托福 --
错误
PF——犯规
个人罪犯
点对点——
分数
Rk（等级）
排行
年龄
球员平均年龄
W（获胜）
获胜次数
大号（）
失败次数
PW（胜利）
根据毕达哥拉斯理论计算的获胜概率
特等奖（）
根据毕达哥拉斯理论计算的输钱概率
MOV（的）
获胜间隔平均数
SOS（的）
用来判断对手的选择相对于本队或其他队而言的难度。0为平均线，可以是正数也可以是负数。
紧急救援委员会 ( )
離開 ( )
每 100 次进攻
DRtg ( )
每 100 次进攻的防守百分比
步速 (步速 )
每48分钟进行几轮比赛？
FTr（罚球率）
罚球与投篮的比率
3PAr (3 点利率)
三分球出手数占总出手数的比例
TS%（真实）
两分球、三分球和罚球的总命中率
eFG% ( 投篮命中率 )
有效投篮命中率（包括两分球和三分球）
累计价值百分比 ( )
每 100 场比赛失误数
圆周率 ( )
球队中每位球员的平均进攻篮板百分比
光纤/光纤放大器
罚球命中率
eFG% ( 投篮命中率 )
对手投篮命中率
累计价值百分比 ( )
对手的失误率
损失比率 ( )
球队每位球员的平均防守篮板率
FT/FGA (每次投篮命中)
对手罚球命中率
毕达哥拉斯原理：
我们将用这三个表格来评估球队过去的战斗力。另外，我们还需要2015-2016赛季NBA常规赛和2015-2016赛季季后赛每场比赛的比赛数据来评估Elo得分（后面的实验部分会讲解）。在从常规赛到季后赛的时间内，列出了2015年10月到2016年6月每场比赛的比赛情况。
在上图中，你可以看到2015年10月份的一些比赛数据，每个表包含的数据分别是：
日期
比赛日期
开始（东部时间）
比赛开始时间
/
客队
公共科学图书馆
客队最后得分
家/
主队
公共科学图书馆
主队最后比分
笔记
备注，注明是否加班等
在进行预测时，我们还需要2016-2017赛季NBA常规赛赛程数据以及2016-17赛季NBA常规赛赛程数据。
2.2 获取游戏数据
我们将使用 Team Per Game Stats 表数据作为示例，展示如何获取这三个统计数据。
进入用户，在导航栏中选择2015~2016赛季：
进入2015-2016赛季界面后，滑动窗口找到Team Per Game Stats表格，选择左上角的Share & more，在下拉菜单中选择Get table as CSV (for Excel)：
将界面中生成的csv格式数据复制下来，然后复制粘贴到文本编辑器中保存为csv文件：
为了方便同学们进行实验，我们将所有数据都保存成了csv文件并上传到了实验楼的云环境中，在后续的代码实现部分我们会提供这些文件的获取地址。
3.数据分析
在获得数据之后，我们会通过每支球队过去的比赛情况和Elo评级来确定每支球队的获胜概率。在评估每支球队过去的比赛情况时，我们会使用Team Per Game Stats、Per Game Stats和Stats三个表（以下分别称为T、O和M表）的数据作为代表比赛中某支球队的比赛特征。我们最终会预测每场比赛中哪支球队会获胜，但不会给出绝对的胜负局面，而是预测获胜球队的获胜概率。因此，我们会建立一个代表比赛的特征向量。它由两支球队的以往比赛情况统计（T、O和M表），以及两支球队的Elo评级组成。
关于Elo评分，不知道大家看过《社交网络》这部电影没有，这部电影中马克（主角原型就是创始人扎克伯格）在电影一开始就开发了一个美女排名系统，他利用朋友在窗户上写下的排名公式，对比不同女生之间的排名，最后PK决定胜负。
这个比较公式就是Elo Score评分系统。Elo最初是为了提供一种更好的方法来对国际象棋中的不同玩家进行排名而创建的。在当今的许多竞技运动或游戏中，Elo评分系统用于对玩家或选手进行排名，例如足球、篮球、棒球比赛，或者像LOL和DOTA这样的游戏。
这里我们简单介绍一下基于象棋比赛的Elo等级分系统。上图窗口上写的公式是PK双方（A、B）相互对抗的预期胜率计算公式。假设A、B当前等级分别为R_ARA、R_BRB，则A对B的预期胜率为：
B 对 A 的预期胜率为
如果选手A在该场比赛的实际得分S_ASA（胜一场得1分，平一场得0.5分，负一场得0分）与其预期胜率E_AEA有差异，则按照以下公式调整其等级分：
在国际象棋中，根据等级的不同，K值会做相应的调整：
因此，我们将用来表示某场比赛数据的特征向量为（添加 A 队和 B 队之间的比赛）：[A 队 Elo 分数，A 队的 T、O 和 M 表统计数据，B 队 Elo 分数，B 队的 T、O 和 M 表统计数据]
4 基于数据的模型训练与预测 4.1 实验准备
在本次实验环境中，我们会用到numpy、scipy和库，不过numpy在实验大楼里已经安装好了，所以在实验之前，我们需要使用pip命令安装另外三个库。
$ sudo pip install pandas $ sudo pip install scipy $ sudo pip install sklearn
安装完所需的实验库后，进入实验环境的Code目录，建立文件夹，通过以下地址获取我们帮您处理好的csv文件压缩包data.zip：
$ cd Code $ mkdir cs_782 && cd cs_782# 获取数据文件$ wget http://labfile.oss.aliyuncs.com/courses/782/data.zip# 解压data压缩包并且删除该压缩包$ unzip data.zip $ rm -r data.zip
数据文件夹里面有 2015 年至 2016 年的 NBA 数据 T、O 和 M 表，以及处理后的常规赛和挑战赛数据 2015~.csv。此数据文件是从 2015-16 年几个月的比赛数据中提取出来的，包含三个字段：
4.2 代码实现
在Code\目录下创建一个.py文件，启动实验，首先插入实验相关模块：
# -*- coding:utf-8 -*-import pandas as pdimport mathimport csvimport randomimport numpy as npfrom sklearn import cross_validation, linear_model
设置回归训练所需的参数变量：
# 当每支队伍没有elo等级分时，赋予其基础elo等级分base_elo = 1600team_elos = {} team_stats = {} X = [] y = [] folder = 'data' #存放数据的目录
首先需要初始化数据，从T、O、M表中读取数据，去掉一些不相关的数据并通过Team属性列把三个表连接起来：
# 根据每支队伍的Miscellaneous Opponent，Team统计数据csv文件进行初始化def initialize_data(Mstat, Ostat, Tstat):
new_Mstat = Mstat.drop(['Rk', 'Arena'], axis=1)
new_Ostat = Ostat.drop(['Rk', 'G', 'MP'], axis=1)
new_Tstat = Tstat.drop(['Rk', 'G', 'MP'], axis=1)
team_stats1 = pd.merge(new_Mstat, new_Ostat, how='left', on='Team')
team_stats1 = pd.merge(team_stats1, new_Tstat, how='left', on='Team') return team_stats1.set_index('Team', inplace=False, drop=True)
获取每支球队的 Elo Score 评分函数。当开始时没有评分时，为其分配一个初始值：
def get_elo(team): try: return team_elos[team] except: # 当最初没有elo时，给每个队伍最初赋base_elo team_elos[team] = base_elo return team_elos[team]
定义函数来计算每个球队的 Elo 评级：
# 计算每个球队的elo值def calc_elo(win_team, lose_team): winner_rank = get_elo(win_team) loser_rank = get_elo(lose_team) rank_diff = winner_rank - loser_rank exp = (rank_diff * -1) / 400 odds = 1 / (1 + math.pow(10, exp)) # 根据rank级别修改K值 if winner_rank < 2100: k = 32 elif winner_rank >= 2100 and winner_rank < 2400: k = 24 else: k = 16 new_winner_rank = round(winner_rank + (k * (1 - odds))) new_rank_diff = new_winner_rank - winner_rank new_loser_rank = loser_rank - new_rank_diff return new_winner_rank, new_loser_rank
基于我们初步做好的数据统计，以及各支球队的Elo分数计算结果，我们建立了2015-2016赛季常规赛和季后赛每场比赛对应的数据集（在主客场比赛中，我们认为主队的优势稍微大一些，因此我们会为主队加上100个评级分）：
def build_dataSet(all_data):
print("Building data set..")
X = []
skip = 0
for index, row in all_data.iterrows():
Wteam = row['WTeam']
Lteam = row['LTeam'] #获取最初的elo或是每个队伍最初的elo值
team1_elo = get_elo(Wteam)
team2_elo = get_elo(Lteam) # 给主场比赛的队伍加上100的elo值
if row['WLoc'] == 'H':
team1_elo += 100
else:
team2_elo += 100
# 把elo当为评价每个队伍的第一个特征值
team1_features = [team1_elo]
team2_features = [team2_elo] # 添加我们从basketball reference.com获得的每个队伍的统计信息
for key, value in team_stats.loc[Wteam].iteritems():
team1_features.append(value) for key, value in team_stats.loc[Lteam].iteritems():
team2_features.append(value) # 将两支队伍的特征值随机的分配在每场比赛数据的左右两侧
# 并将对应的0/1赋给y值
if random.random() > 0.5:
X.append(team1_features + team2_features)
y.append(0) else:
X.append(team2_features + team1_features)
y.append(1) if skip == 0: print X
skip = 1
# 根据这场比赛的数据更新队伍的elo值
new_winner_rank, new_loser_rank = calc_elo(Wteam, Lteam)
team_elos[Wteam] = new_winner_rank
team_elos[Lteam] = new_loser_rank return np.nan_to_num(X), y
最后在主函数中调用这些数据处理函数，采用如下方法建立回归模型：
if __name__ == '__main__':
Mstat = pd.read_csv(folder + '/15-16Miscellaneous_Stat.csv')
Ostat = pd.read_csv(folder + '/15-16Opponent_Per_Game_Stat.csv')
Tstat = pd.read_csv(folder + '/15-16Team_Per_Game_Stat.csv')
team_stats = initialize_data(Mstat, Ostat, Tstat)
result_data = pd.read_csv(folder + '/2015-2016_result.csv')
X, y = build_dataSet(result_data) # 训练网络模型
print("Fitting on %d game samples.." % len(X))
model = linear_model.LogisticRegression()
model.fit(X, y) #利用10折交叉验证计算训练正确率
print("Doing cross-validation..")
print(cross_validation.cross_val_score(model, X, y, cv = 10, scoring='accuracy', n_jobs=-1).mean())
最后用训练好的模型对2016年至2017年常规赛数据进行预测，用模型判断新一场比赛的结果，并返回获胜的概率：
def predict_winner(team_1, team_2, model): features = [] # team 1，客场队伍 features.append(get_elo(team_1)) for key, value in team_stats.loc[team_1].iteritems(): features.append(value) # team 2，主场队伍 features.append(get_elo(team_2) + 100) for key, value in team_stats.loc[team_2].iteritems(): features.append(value) features = np.nan_to_num(features) return model.predict_proba([features])
在主函数中调用此函数，将预测结果输出到16进制的.csv文件中：
#利用训练好的model在16-17年的比赛中进行预测
print('Predicting on new schedule..')
schedule1617 = pd.read_csv(folder + '/16-17Schedule.csv')
result = [] for index, row in schedule1617.iterrows():
team1 = row['Vteam']
team2 = row['Hteam']
pred = predict_winner(team1, team2, model)
prob = pred[0][0] if prob > 0.5:
winner = team1
loser = team2
result.append([winner, loser, prob]) else:
winner = team2
loser = team1
result.append([winner, loser, 1 - prob]) with open('16-17Result.csv', 'wb') as f:
writer = csv.writer(f)
writer.writerow(['win', 'lose', 'probability'])
writer.writerows(result)
五、结论
在这门课程中，我们用一些统计数据来计算NBA各支球队的Elo socre，并利用这些基础统计数据来评估各支球队过去的比赛情况，并根据国际水平分类方法Elo Score对球队目前的战斗力进行评分nba常规赛每个球队有多少个主场，最后结合这些不同球队的特点来判断一场比赛哪支球队能占据优势。但在我们的预测结果中，与以往不同的是，我们没有给出绝对的正分或负分，而是给出了胜算更大的球队能够赢下对方的概率。当然，在这里nba常规赛每个球队有多少个主场，我们用来评估一支球队表现的数据量太少了（只用了15-16年一年的数据），如果想要更准确、更系统的判断，当然可以从各个统计数据网站获取更多年份、更全面的数据。结合不同的回归和决策机器学习模型，可以构建出更全面、预测准确率更高的模型。里面有相关的篮球预测比赛项目，有兴趣的同学可以尝试一下。
6. 参考阅读 7. 课后练习
在本课程中，我们只使用了-learn提供的方法来训练回归模型。你是否可以尝试-learn中的其他机器学习方法，或者其他类似的开源框架，结合我们提供的数据集进行训练？如果使用-learn中的方法，可以参考实验室楼的课程：eBay在线拍卖数据分析。或者你可以尝试下图的模型：
本教程完整步骤、代码及在线练习地址：NBA常规赛结果预测-利用比赛数据分析（更多课程请查看全部-课程-实验室建设）
