Python 【更新】Netkeibaのスクレイピング制限についての整理
はじめに
Netkeibaの通信制限の内部処理が変わったような挙動を確認しました。
今までは、時間単位でのアクセス回数の上限を設けて通信制限を行っている、と推測できました。
2025年10月時点で、今までの推測される通信制限の...
Python 
Python 競馬予測AIの作成㉖(Netkeiba.comから競馬結果の高速取得)
はじめに
前回公開したプログラムでは、１つのChromeを起動して自動操作でNetkeiba.comから競馬結果の情報を取得させてもらっていました。ただ、実行環境によっては、1か月分の競馬結果取得に３～４日ほど掛かっていました。
こ...
n8n n8nでせどり商品選定の自動化④(完全版)
はじめに
今までの要素を組み合わせて、せどり商品選定の自動化ワークフローの完全版を作成します。
ワークフロー完全版の全体図は下記となります。
＜ワークフロー全体図＞
本ワークフローを実行すると、下記ようなCSVファイ...
Python 競馬予測AIの作成㉕(netkeiba.comの仕様変更に対応)
はじめに
Netkeiba.comの出走馬の血統情報を表示している箇所が、JavaScript/DOM表示に変更されました。そのため、従来のrequestsによるHTTPリクエストでは血統情報を取得できなくなりました。
...
n8n n8nでせどり商品選定の自動化③(各ECサイトのAPI取得)
はじめに
楽天市場、Yahooショッピング、eBayから商品情報を取得するために、各ECサイトのAPIを利用します。APIの取得方法をまとめました。
eBayのAPIは、楽天とYahooと異なり、有効期限が設...
n8n n8nでせどり商品選定の自動化②(AI Agentによる商品選定)
はじめに
今回はOpenAIを用いたせどり対象商品の選定を、n8nで実行する方法を紹介します。
OpenAIの有料プラン(5ドルの課金)が必要になります。
本手法では下記のn8nのノードを使用します。
ノード名
説...
n8n n8nでせどり商品選定の自動化①(n8nの実行環境の構築)
はじめに
世の中には様々な「自動化ツール」が存在しています。「スクリプトやマクロでよいのでは」との思いがあり、今まで「自動化ツール」を使用したことがありませんでした。
業務を行っている際、別チームがPower...
Python 競馬予測AIの作成㉕(順位予測モデル生成プログラムの改修)
はじめに
JRA日本中央競馬会の順位予測モデルを作成するプログラムについて改修しました。下記のプログラムにハードコーディングしていた内容をconfig.iniで設定できるようにしました。
学習・テストデータ分割日
...
Python 競馬予測AIの作成㉔(Netkeibaのレース結果をデータベースに保存)
はじめに
Netkeiba.comのレース結果をデータベースへ保存するように改修しました。
また、今までは行き当たりばったりにコードを作成していました。今後のことを考えて、コードを作成前に設計し、その内容を設計書に落とし込むことにし...
Python 競馬予測AIの作成㉓(競馬予測モデル分析レポートを作成するWebアプリ)
はじめに
競馬予測モデルの精度向上を目指し、様々なアルゴリズムとアンサンブル手法を駆使して複数の予測モデルを開発してきました。ただ、作成した予測モデルの数が増えると「どのモデルが最適なのか」という判断が難しくなっていました...