Python 【更新】Netkeibaのスクレイピング制限についての整理
はじめに
Netkeibaの通信制限の内部処理が変わったような挙動を確認しました。
今までは、時間単位でのアクセス回数の上限を設けて通信制限を行っている、と推測できました。
2025年10月時点で、今までの推測される通信制限の...
Python
Python 
Python 競馬予測AIの作成㉖(Netkeiba.comから競馬結果の高速取得)
はじめに
前回公開したプログラムでは、１つのChromeを起動して自動操作でNetkeiba.comから競馬結果の情報を取得させてもらっていました。ただ、実行環境によっては、1か月分の競馬結果取得に３～４日ほど掛かっていました。
こ...
Python 競馬予測AIの作成㉕(netkeiba.comの仕様変更に対応)
はじめに
Netkeiba.comの出走馬の血統情報を表示している箇所が、JavaScript/DOM表示に変更されました。そのため、従来のrequestsによるHTTPリクエストでは血統情報を取得できなくなりました。
...
Python 競馬予測AIの作成㉕(順位予測モデル生成プログラムの改修)
はじめに
JRA日本中央競馬会の順位予測モデルを作成するプログラムについて改修しました。下記のプログラムにハードコーディングしていた内容をconfig.iniで設定できるようにしました。
学習・テストデータ分割日
...
Python 競馬予測AIの作成㉔(Netkeibaのレース結果をデータベースに保存)
はじめに
Netkeiba.comのレース結果をデータベースへ保存するように改修しました。
また、今までは行き当たりばったりにコードを作成していました。今後のことを考えて、コードを作成前に設計し、その内容を設計書に落とし込むことにし...
Python 競馬予測AIの作成㉓(競馬予測モデル分析レポートを作成するWebアプリ)
はじめに
競馬予測モデルの精度向上を目指し、様々なアルゴリズムとアンサンブル手法を駆使して複数の予測モデルを開発してきました。ただ、作成した予測モデルの数が増えると「どのモデルが最適なのか」という判断が難しくなっていました...
Python 競馬予測AIの作成㉒(競馬順位予測モデルの改修)
はじめに
JRAの競馬レースの着順を予測するモデルを作成していました。今回は、そのプログラムのを改修しました。改修のポイントは下記の3点です。
コードを役割ごとにモジュール化
順位予測モデルをXGBoostにLightGBM、Ca...
Python 競馬予測AIの作成㉑(Netkeibaのデータベースからレース結果取得プログラムの改修)
はじめに
2024年11月ごろにNetkeibaのスクレイピングの規約に更新がありました。
Netkeibaから過去のレース結果を取得する既存の手法だと、Netkeibaのスクレイピングの規約に違反してしまうので、プログラムを更新し...
Python Netkeibaのスクレイピング制限についての整理
はじめに
Netkeibaをスクレイピングする際には、通信制限を避けるための注意が必要です。通信制限が設けられる理由や基準、通信制限の解除ルール/回避方法、Pythonでのスクレイピング実装時のポイントについて解説します。について解説しま...
Python ジョブ管理システムの比較
はじめに
知人から「JP1/AJSでジョブを運用することになったんだけど、他のジョブ管理システムとの違いについて知っている？」との相談がありました。
いい機会だったので、ジョブ管理システムについて比較してみました。比較対...