競馬予想AIの作成②（競馬データの取得②）

# pip install webdriver_manager

# ライブラリの読み込み
from webdriver_manager.chrome import ChromeDriverManager
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
from bs4 import BeautifulSoup
import urllib

# メイン
def main():
    # webdriver_managerで最適なchromeのバージョンをインストールして設定する
    browser = webdriver.Chrome(ChromeDriverManager().install())

    # 競馬データベースを開く
    browser.get('https://db.netkeiba.com/?pid=race_search_detail')

    # 指定した要素が見つかるまでの待ち時間を10秒と設定する
    browser.implicitly_wait(10)

    # 検索条件を設定して検索する
    search_rase(browser)

    # リンクページのURLリスト
    link_list = []

    no_click_next = 0
    count_click_next = 0
    while no_click_next == 0:
        # レース結果のリンクページのURLを取得する
        link_list = make_raseURL(browser, link_list)

        # 「次」をクリックし、「次」の有無とクリックした回数を返す
        no_click_next, count_click_next = click_next(browser, count_click_next)

    # レース結果のリンクページにアクセスして、レース結果を取得する
    # 日本レース以外のレース結果は取得しない
    # 日本以外のレースのリンクページには、/race/2022H1a00108/のようにアルファベットが含まれている
    # isdecimalで文字列が数字のみかを判定している
    for url in link_list:
        if url.split('/')[-2].isdecimal():
            with open('race_URL.txt', 'a') as f:
                f.write(url + '\n')


# 検索条件を設定して検索する
def search_rase(browser):
    print('検索条件を設定します')
    # 競争種別で「芝」と「ダート」にチェックを入れる
    elem_check_track_1 = browser.find_element(By.ID, value='check_track_1')
    elem_check_track_2 = browser.find_element(By.ID, value='check_track_2')

    elem_check_track_1.click()
    elem_check_track_2.click()

    # 期間を2010年から2022年に設定する
    elem_start_year = browser.find_element(By.NAME, value='start_year')
    elem_start_year_select = Select(elem_start_year)
    elem_start_year_select.select_by_value('2022')

    # 月を指定する場合は、select_by_valueで月数を指定する
    elem_start_month = browser.find_element(By.NAME, value='start_mon')
    elem_start_month_select = Select(elem_start_month)
    elem_start_month_select.select_by_value('1')

    elem_end_year = browser.find_element(By.NAME, value='end_year')
    elem_end_year_select = Select(elem_end_year)
    elem_end_year_select.select_by_value('2022')

    # 月を指定する場合は、select_by_valueで月数を指定する
    elem_end_month = browser.find_element(By.NAME, value='end_mon')
    elem_end_month_select = Select(elem_end_month)
    elem_end_month_select.select_by_value('2')

    # 画面を下にスクロールする
    # browser.execute_script('window.scrollTo(0, 400);')

    # 表示件数を100件にする
    elem_list = browser.find_element(By.NAME, value='list')
    elem_list_select = Select(elem_list)
    elem_list_select.select_by_value('100')

    # 検索をクリック(submit)する
    elem_search = browser.find_element(By.CLASS_NAME, value='search_detail_submit')
    elem_search.submit()

    print('検索を行います')


# 取得したHTMLからレース結果のURLを抽出し、URLリストを作成する
def make_raseURL(browser, link_list):
    print('取得したHTMLからレース結果のURLを抽出します')
    html = browser.page_source.encode('utf-8')      # UTF-8でHTMLを取得する
    soup = BeautifulSoup(html, 'html.parser')       # 検索結果をbeautifulSoupで読み込む
    table_data = soup.find(class_='nk_tb_common')   # 検索結果のテーブルを取得する

    for element in table_data.find_all('a'):
        url = element.get('href')   # リンクページを取得する

        # リンクページがjavascriptの場合は、次のリンクページの処理に移る
        if 'javascript' in url:
            continue

        # リンクページの絶対URLを作成する
        link_url = urllib.parse.urljoin('https://db.netkeiba.com', url)

        # レース結果のみを抽出する
        # レース結果のURLは'https://db.netkeiba.com/rase/yyyyXXmmddXX'となる
        # 馬情報のURLは'https://db.netkeiba.com/horse/yyyymmddXXXX'
        # 騎手情報のURLは'https://db.netkeiba.com/jockey/result/recent/'
        # レース結果以外のリンクページを除外するための単語リストを用意する
        word_list = ['horse', 'jockey', 'result', 'sum', 'list', 'movie']

        tmp_list = link_url.split('/') # リンクページのURLを'/'で分割する
        and_list = set(word_list) & set(tmp_list) # word_listとtmp_listを比較し、一致している単語を抽出する

        # 一致している単語が0のリンクページのURLのリストを作成する
        if len(and_list) == 0:
            link_list.append(link_url)

    print('URLを抽出しました')
    return link_list


# 画面下にスクロールして「次」をクリックする
def click_next(browser, count_click_next):
    # 画面を下にスクロールする
    browser.execute_script('window.scrollTo(0, 2500);')

    # 次をクリックする
    # 検索1ページ目のxpathは2ページ以降とは異なるため、count_click_nextで
    # 検索1ページ目なのかを判定している
    if count_click_next == 0:
        # xpath = '//*[@id="contents_liquid"]/div[2]/a' # 20230308 サイト変更に伴いxpathの指定を変更
        xpath = '//*[@id="contents_liquid"]/div[2]/ul[1]/li[14]/a/span/span'
        elem_search = browser.find_element(By.XPATH, value=xpath)
        elem_search.click()
        no_click_next = 0
    else:
        # 検索最後のページで次をクリックしようとすると例外処理が発生する
        # exceptで例外処理を取得し、no_click_nextに1を代入する
        try:
            # xpath = '//*[@id="contents_liquid"]/div[2]/a[2]' # 20230308 サイト変更に伴いxpathの指定を変更
            xpath = '//*[@id="contents_liquid"]/div[2]/ul[1]/li[14]/a/span/span'
            elem_search = browser.find_element(By.XPATH, value=xpath)
            elem_search.click()
            no_click_next = 0
        except:
            print('次のページ無し')
            no_click_next = 1

    count_click_next += 1 # ページ数を判別するためのフラグに1を加算する

    return no_click_next, count_click_next


if __name__ == "__main__":
    main()

====== WebDriver manager ======
Current google-chrome version is 102.0.5005
Get LATEST chromedriver version for 102.0.5005 google-chrome
Driver [C:\Users\xxxxx\.wdm\drivers\chromedriver\win32\102.0.5005.61\chromedriver.exe] found in cache
C:\Users\xxxxx\Google ドライブ\Web_Scraping\collect_HorseRace_ResultURL.py:12: DeprecationWarning: executable_path has been deprecated, please pass in a Service object
  browser = webdriver.Chrome(ChromeDriverManager().install())
検索条件を設定します
検索を行います
取得したHTMLからレース結果のURLを抽出します
URLを抽出しました
取得したHTMLからレース結果のURLを抽出します
URLを抽出しました
～中略～
取得したHTMLからレース結果のURLを抽出します
URLを抽出しました
取得したHTMLからレース結果のURLを抽出します
URLを抽出しました
次のページ無し

selenium.common.exceptions.ElementClickInterceptedException: Message: element click intercepted: Element

browser.execute_script('window.scrollTo(0, 2500);')

elem_tmp = browser.find_elements(By.CLASS_NAME, value='pager')
elem_next = elem_tmp[0].find_element(By.TAG_NAME, value='a')
loc_next = elem_next.location
x, y = loc_next['x'], loc_next['y']

actions.move_by_offset(x, y)
actions.click()
actions.perform()