人的資本情報開示、「ChatGPT」を用いて約4000社の有価証券報告書を分析して見えたことは？

BizHint 編集部 2024年9月19日(木)掲載

近年「人的資本経営」の重要性が高まり、有価証券報告書でも人的資本情報開示が進んでいます。これをAIで分析した場合、どのようなことが可能になるでしょうか？　J.P.コンサルティングは、対話型AIツール「ChatGPT」を用いて、実際に約4000社の有価証券報告書を分析しました。

「情報解釈の方法の違い」「人間特有のバイアス」で、人間とAIに差異

J.P.コンサルティングでは分析結果を第1回レポート、第2回レポートとしてこれまでに公開。今回公開された第3回では、情報公開の意志を、日経225や東証市場の区分に焦点をおいてスコアを分析しています。

この調査ではレビュー結果を定量的に分析できるよう、ChatGPT（ChatGPT-4o miniモデル）へのプロンプトに「網羅性」など5つの評価基準を指定し、100点満点でスコア化しています。

まず、「積極的に開示を行う意思が見られる」～「開示が必要最小限に留まっている、試行錯誤中、十分な内容を盛り込めていない」と段階的にスコアを付けた結果、「満点（積極的に開示を行う意思が見られる企業）」は約21%に留まりました。「平均点未満（開示が必要最小限に留まっている、または開示内容について試行錯誤中であり、十分な内容を盛り込めていない企業）」47%が最多で、平均点は「77.03点」でした。

日経225に絞り込んだ場合は「全体平均点以上満点未満」が最多で、「満点」「全体平均点未満」の順になるなど、やはり改善が見られます。平均点は「85.99点」でした。

また、東証市場の区分別にスコア分布を見ると、「プライム市場（1537社）」は「全体平均点以上満点未満」40%が最多で平均85.89点、「スタンダード市場（1376社）」は「全体平均点未満」59%が最多で平均73.75点、「グロース市場（408社）」は「全体平均点未満」63%が最多で平均71.9点でした。やはりプライムが充実しています。

そして今回の調査では、AIと人間の評価の差異が観察されていました。特に、5つの評価基準のなかで「具体性」や「戦略との連動性」に関するスコアで相関が低くなる傾向がありました。

この差異の主な要因としては「情報解釈の方法の違い（AIは明示的に記載された情報のみを評価し、人間は文脈や背景知識を用いて“行間を読む”能力を持っている」と、「人間特有のバイアス（人間の評価者は、企業の評判や過去の実績などの外部要因に影響を受けやすい傾向がある）」の2つだと推察されています。そのため、今後AIによる情報収集が一般化するにつれ、より明確で具体的、かつ構造化された文章を作成する能力が重要になるでしょう。