Python 競馬予測AIの作成㉑(Netkeibaのデータベースからレース結果取得プログラムの改修)
はじめに
2024年11月ごろにNetkeibaのスクレイピングの規約に更新がありました。
Netkeibaから過去のレース結果を取得する既存の手法だと、Netkeibaのスクレイピングの規約に違反してしまうので、プログラムを更新し...
sakurater
Python 
Python Netkeibaのスクレイピング制限についての整理
はじめに
Netkeibaをスクレイピングする際には、通信制限を避けるための注意が必要です。通信制限が設けられる理由や基準、通信制限の解除ルール/回避方法、Pythonでのスクレイピング実装時のポイントについて解説します。について解説しま...
Python ジョブ管理システムの比較
はじめに
知人から「JP1/AJSでジョブを運用することになったんだけど、他のジョブ管理システムとの違いについて知っている？」との相談がありました。
いい機会だったので、ジョブ管理システムについて比較してみました。比較対...
システム開発 AWSやWordPressの運用保守業務に最適な契約形態は何？
はじめに
知人がAWSのEC2や、Wordpressを構築する業務を請け負っています。AWSのEC2や、Wordpressの運用保守業務も請け負うことを検討しているようで、どのような契約形態で請け負うのがよいのか、相談を受...
Python 【Python】アンサンブル学習を使って住宅価格を予測する
はじめに
競馬の順位予測システムを作成しています。順位予測の性能を向上させるためにアンサンブル学習を用いることを検討しています。ただ、アンサンブル学習を扱ったことがないので、まずはカリフォルニアの住宅価格のデータセットを用...
Python 「raise ValueError(f”found {cpu_count_physical} physical cores < 1″)」の解消方法
はじめに
競馬の順位予測システムを作成しています。順位予測モデルをLightGBMで作成したとき、下記の警告が出ました。モデルの作成に影響はなかったのですが、実行するたびに警告が出るので、警告が出ないようにするための対処方...
Python 「ValueError: numpy.dtype size changed, may indicate binary incompatibility. Expected 96 from C header, got 88 from PyObject」の解消方法
はじめに
競馬の順位予測システムを作成しています。順位予測の精度を上げるために、XGBoostとLightGBM、CatBoostを用いてアンサンブル学習を行う予定です。アンサンブルの動作確認のために、カルフォルニアの住宅...
Python LightGBMでGPUを使用するための環境構築
はじめに
GPUを使用してLightGBMのモデルを作成するための環境構築手順を整理しました。
競馬の順位予測モデルを作成しています。XGBoost、LightGBM、CatBoostでアンサンブル学習し、予測精度を向上...
Python 競馬予測AIの作成⑳(メインプログラムの改修)
はじめに
競馬予測システムにおけるメインプログラムを大幅に改修しました。
メインプログラムは、Pythonを学び始めたころに作成したコードで、可読性と保守性が低いコードでした。無駄に複数のファイルに分割されたコードでもあったので、い...
Python 競馬予測AIの作成⑲（順位予測処理の改修）
はじめに
競馬予測システムにおける順位予測を行うプログラムを改修しました。主な変更点は、保守性と可読性を向上させるために下記を実施しました。
関数ベースのプログラムからクラスベースに変更しました。
名前から用途が判るようにメソ...