Pythonで高配当株を探す⑥(取得した有価証券報告書から値の抽出)

├─ＡＮＡホールディングス株式会社
   └─XBRL
      ├─AuditDoc
      └─PublicDoc
          └─images

<jpcrp_cor:NetSalesSummaryOfBusinessResults contextRef="CurrentYearDuration" decimals="-6" unitRef="JPY">3195537000000</jpcrp_cor:NetSalesSummaryOfBusin>

<jpdei_cor:FilerNameInJapaneseDEI contextRef="FilingDateInstant">いすゞ自動車株式会社</jpdei_cor:FilerNameInJapaneseDEI>

# 有価証券報告書(XBRLファイル)からデータを抽出するプログラム
# 事前準備
# - EdinetReportFetcher.pyでXBRLファイルを取得しておいてください。
# - pip installでtqdmをPython実行環境にインストールしておいてください。
# - XBRLファイルのパスをroot_folderに設定してください。
# - 抽出したデータを保存するファイルをoutput_fileに設定してください。
# 実行する方法
# - pythonの実行環境で下記を実行してください。引数はありません。
#   python XBRLDataExtractor.py

import os
import pandas as pd
from tqdm import tqdm
import xml.etree.ElementTree as ET


class XBRLProcessor:
    """
    XBRLファイルから企業情報を抽出し、CSVファイルに保存するためのクラスです。
    このクラスは、指定されたフォルダ内のXBRLファイルを探索し、提出本文書から企業情報と財務情報を抽出します。
    抽出した情報はCSVファイルに保存されます。
    """
    def __init__(self, root_folder, target_extension, exclude_keyword, list_jpcrp_cor_tag, list_jpdei_cor_tag, output_file):
        """

        :param root_folder: str
            XBRLファイルを探索するルートフォルダのパス
        :param target_extension: str
            探索するファイルの拡張子
        :param exclude_keyword: str or None
            除外するファイルパスに含まれるキーワード（不要ない場合はNone）
        :param list_jpcrp_cor_tag: list
            抽出する財務情報のタグのリスト（提出本文書）
        :param list_jpdei_cor_tag: list
            抽出する企業情報のタグのリスト（企業情報開示）
        :param output_file: str
            抽出した情報を保存するCSVファイルのパス
        """
        self.root_folder = root_folder
        self.target_extension = target_extension
        self.exclude_keyword = exclude_keyword
        self.list_jpcrp_cor_tag = list_jpcrp_cor_tag
        self.list_jpdei_cor_tag = list_jpdei_cor_tag
        self.output_file = output_file
        self.df_companies_info = pd.DataFrame()

    def search_files(self):
        """
        指定されたフォルダ内を、指定した拡張子のファイルを再帰的に検索してファイルパスのリストを取得します。
        このメソッドは、指定したフォルダ内を再帰的に探索し、指定された拡張子のファイルを特定し、
        ファイルパスのリストを作成します。また、除外キーワードが指定されている場合は、それを含むファイルパスは除外されます。

        :return: list
            検索対象の拡張子に一致したファイルのパスのリスト
        """
        matched_files = []
        for root, _, files in os.walk(self.root_folder):
            for file in files:
                if (file.endswith(self.target_extension) and
                        (self.exclude_keyword is None or self.exclude_keyword not in os.path.join(root, file))):
                    matched_files.append(os.path.join(root, file))
        return matched_files

    def parse_xbrl_file(self, xbrl_path):
        """
        指定されたXBRLファイルから企業情報と財務情報を抽出し、データフレームに格納します。
        このメソッドは、XBRLファイルを解析し、特定のタグ情報を抽出してデータフレームに整形します。
        タグ情報は提出本文書に関する情報（jpcrpとjpdei）で構成され、データフレーム形式で戻されます。

        :param xbrl_path: str
            解析対象のXBRLファイルのパス

        :return: pandas.DataFrame
            XBRLファイルから抽出したタグ情報が整形されたデータフレーム
        """
        dict_jpcrp_cor_parm = {}
        dict_jpdei_cor_parm = {}

        tree = ET.parse(xbrl_path)
        root = tree.getroot()

        for elem in root:
            for tag_name in self.list_jpcrp_cor_tag:
                if tag_name in elem.tag:
                    dict_jpcrp_cor_parm[f"{tag_name}_{elem.get('contextRef')}"] = elem.text

            for tag_name in self.list_jpdei_cor_tag:
                if tag_name in elem.tag:
                    dict_jpdei_cor_parm[tag_name] = elem.text

        df_jpdei_cor_parm = pd.DataFrame(list(dict_jpdei_cor_parm.items()),
                                         columns=["Tag_ContextRef",
                                                  dict_jpdei_cor_parm.get('FilerNameInJapaneseDEI', '')])
        df_jpcrp_cor_parm = pd.DataFrame(list(dict_jpcrp_cor_parm.items()),
                                         columns=['Tag_ContextRef',
                                                  dict_jpdei_cor_parm.get('FilerNameInJapaneseDEI', '')])

        df_company_info = pd.concat([df_jpdei_cor_parm, df_jpcrp_cor_parm])
        df_company_info = df_company_info.set_index('Tag_ContextRef')

        return df_company_info

    def process_xbrl_files(self):
        """
        XBRLファイルを処理し、指定したフォルダ内から対象の情報を抽出します。
        このメソッドは、指定されたフォルダ内を再帰的に検索し、対象の拡張子を持つファイルから企業情報を抽出します。
        抽出した情報は内部のデータフレームに保存されます。
        """
        found_files = self.search_files()
        for xbrl_path in tqdm(found_files):
            df_company_info = self.parse_xbrl_file(xbrl_path)
            self.df_companies_info = pd.concat([self.df_companies_info, df_company_info], axis=1)

    def save_to_csv(self):
        """
        抽出した情報をCSVファイルでoutput_fileに保存します。
        """
        self.df_companies_info.to_csv(self.output_file, encoding='cp932')


if __name__ == "__main__":
    # XBRLファイルの提出本文書から取得する財務情報のタグを設定
    list_jpcrp_cor_tag = [
        'NetSalesSummaryOfBusinessResults',                     # 売上高
        'OrdinaryIncomeLossSummaryOfBusinessResults',           # 経常利益
        'NetIncomeLossSummaryOfBusinessResults',                # 当期純利益
        'NetAssetsSummaryOfBusinessResults',                    # 純資産額
        'TotalAssetsSummaryOfBusinessResults',                  # 総資産額
        'NetAssetsPerShareSummaryOfBusinessResults',            # 1株当たり純資産額
        'DividendPaidPerShareSummaryOfBusinessResults',         # 1株当たり配当額
        'InterimDividendPaidPerShareSummaryOfBusinessResults',  # 1株当たり中間配当額
        'BasicEarningsLossPerShareSummaryOfBusinessResults',    # 1株当たり当期純利益
        'EquityToAssetRatioSummaryOfBusinessResults',           # 自己資本比率
        'RateOfReturnOnEquitySummaryOfBusinessResults',         # 自己資本利益率
        'PriceEarningsRatioSummaryOfBusinessResults',           # 株価収益率
        'PayoutRatioSummaryOfBusinessResults',                  # 配当性向
        'TotalShareholderReturn'                                # 株主総利回り
    ]

    # XBRLファイルの提出本文書から取得する企業情報のタグを設定
    list_jpdei_cor_tag = [
        'FilerNameInJapaneseDEI',   # 企業名
        'EDINETCodeDEI',            # EDINETコード
        'SecurityCodeDEI',          # EDINET証券コード
        'CurrentPeriodEndDateDEI'   # 決算日
    ]

    root_folder = 'C:/temp/data/zip/20231006/extract'
    target_extension = '.xbrl'
    exclude_keyword = 'AuditDoc'
    output_file = '企業財務情報一覧.csv'

    xbrl_processor = XBRLProcessor(root_folder, target_extension, exclude_keyword,
                                   list_jpcrp_cor_tag, list_jpdei_cor_tag, output_file)
    xbrl_processor.process_xbrl_files()
    xbrl_processor.save_to_csv()

pip install tqdm

> python XBRLDataExtractor.py