競馬予想AIの作成⑤（XGBoostでタイム予測）

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import japanize_matplotlib

from sklearn.preprocessing import OrdinalEncoder
from sklearn.metrics import r2_score
from xgboost import XGBRegressor
import xgboost as xgb
from sklearn.metrics import mean_squared_error
from sklearn.metrics import mean_absolute_error


# レース結果を読み込む
df_race_result = pd.read_csv('./2021_1_2021_12_レースの結果.csv', encoding='cp932')

# カラム名を設定する
df_race_result.columns = ['タイム', '馬名', '性齢', '斤量', '騎手', '単勝', '人気', '馬体重',
                          '距離', '天候', '馬場', '状態','開催日', 'レース名', '開催場所']

# 欠損している行を削除する
df_race_result = df_race_result.dropna()

# 馬体重が'計不'になっている行を削除する
drop_target = df_race_result.index[(df_race_result['馬体重'] == '計不')]
df_race_result = df_race_result.drop(drop_target)

# 行を削除したのでindexをリセットする
df_race_result = df_race_result.reset_index(drop=True)

# 開催日の型をobjectからdatetime64に変換する
df_race_result['開催日'] = pd.to_datetime(df_race_result['開催日'], format='%Y年%m月%d日')

# 分秒の表記を秒に変換する
time_list = []
df_time = df_race_result['タイム'].str.split(':')
for i in df_time:
    times = float(i[0]) * 60 + float(i[1])
    time_list.append(times)

df_times_list = pd.DataFrame(time_list)
df_race_result['タイム'] = df_times_list

# 馬体重の（）を削除して現在の体重を取得する
weight_list = []
df_weight = df_race_result['馬体重'].str.split('(')
for i in df_weight:
    weight = float(i[0])
    weight_list.append(weight)

df_weight_list = pd.DataFrame(weight_list)
df_race_result['馬体重'] = df_weight_list

# 単勝の型をobjectからfloatに変換する
# 一部の値は'2,010.0'となっているので、'2010'に変換する
df_race_result = df_race_result.replace('2,010.0', '2010')
df_race_result['単勝'] = df_race_result['単勝'].astype(float)

# 入力データx、目的データyに分割
x = df_race_result.drop(['タイム'], axis=1)
y = df_race_result['タイム'].values

# 訓練データと検証データを分割する日付を設定する
mday = pd.to_datetime('2021-12-1')

# 訓練データと検証データを分割する
train_index = df_race_result['開催日'] < mday 
test_index = df_race_result['開催日'] >= mday

# 入力データ、目的データを訓練データ用と検証データ用に分割する
x_train = x[train_index]
x_test = x[test_index]

y_train = y[train_index]
y_test = y[test_index]

# 日付データの分割
dates_test = df_race_result['開催日'][test_index]

# 訓練データと検証データをラベルエンコーディングする
oe_x_train = OrdinalEncoder()
x_train_encoded = oe_x_train.fit_transform(x_train)     # Dataframeからndarrayに変わるとカラムがなくなり、
x_train_encoded = pd.DataFrame(x_train_encoded)         # 特徴量分析で特徴量名がf0,f1,f2,,となるのでndarrayからDataframeに戻す
x_train_encoded.columns = list(x_train.columns.values)  # カラムを付ける

oe_x_test = OrdinalEncoder()
x_test_encoded = oe_x_test.fit_transform(x_test)        # Dataframeからndarrayに変わるとカラムがなくなり
x_test_encoded = pd.DataFrame(x_test_encoded)           # 特徴量分析で特徴量名がf0,f1,f2,,となるのでndarrayからDataframeに戻す
x_test_encoded.columns = list(x_test.columns.values)    # カラムを付ける

# モデルを設定
algorithm = XGBRegressor(object='reg:squarederror', random_state=123)

# 学習と予測
algorithm.fit(x_train_encoded, y_train)
y_pred = algorithm.predict(x_test_encoded)

# 評価　R2値/MAE/RMSEの計算
r2_score = r2_score(y_test, y_pred)
mae = mean_absolute_error(y_test, y_pred)
rmse = np.sqrt(mean_squared_error(y_test, y_pred))

# 実タイムと予測タイムを散布図で比較
plt.figure(figsize=(6, 6))
y_max = y_test.max()
plt.plot((0, y_max), (0, y_max), c='k')
plt.scatter(y_test, y_pred, c='b')
plt.xlabel('実タイム')
plt.ylabel('予測タイム')
plt.title(f'実タイムと予測タイムの散布図(タイム) R2={r2_score:.4f}')
plt.grid()
plt.show()

# 予測タイムに対する重要度分析
fig, ax = plt.subplots(figsize=(8, 4))
xgb.plot_importance(algorithm, ax=ax, height=0.8, importance_type='gain',
                    show_values=False, title='予測タイムの重要度分析')
plt.show()

# 予測タイムを保存する
df_race_result_predict = x_test.copy()
df_race_result_predict['実タイム'] = y_test
df_race_result_predict['予測タイム'] = y_pred

df_race_result_predict.to_csv('./予測結果.csv', encoding='cp932', errors='ignore')