エントリーシートのAI判定で、作業時間を4分の１に短縮。実用化までの試行錯誤と、運用のポイント

概要

ソフトバンクでは早くから自社で「IBM Watson」を導入し、現場部門主導でのAI活用を進めています。そのひとつが、採用業務。業務効率化を進める人事部門では、大きな課題となっていた新卒採用のエントリーシート評価において、2017年5月よりAIを活用し、大きな成果をあげています。採用におけるAI活用はセンシティブな側面があるなか、どのように活用しているのか、実用化までの試行錯誤と運用にあたってのポイントについて紹介します。

背景

採用活動におけるエントリーシートの評価が負担に

ソフトバンクの人事本部では、長く採用活動の効率化に取り組んでおり、採用面接における書類のデジタル化により管理工数を約8割削減するなど大きな成果をあげてきました。さらなる業務効率化のターゲットとして挙がったのが、採用業務におけるエントリーシートの評価でした。新卒採用では、エントリーシートでの選考後、SPI、一次面接、二次面接へと進みます。ソフトバンクでは1年を通して学生からのエントリーを受け付けるユニバーサル採用を導入しているものの、応募は1月から3月に集中。エントリーシートは採用担当者が一つずつ読んで評価していましたが、学校訪問の時期と重なるため、大きな負担となっていました。エントリーシートには「ソフトバンク社員の行動指針と合致する『あなたの強み』を教えてください」などの設問があり、その回答は平均600文字程度になります。慣れた担当者でも回答を読み込んで評価するには、ひとりあたり3分ほどかかります。ピーク時には1ヵ月数千件のエントリーシートが届くため、10人の担当者で分担しても、1日50～60件読まなければならず、毎日4～5時間エントリーシートの評価にかかってしまうこともありました。

また、複数人で分担するため、評価を統一しきれないことも課題でした。評価基準は共有しているものの、各自の判断に差が出てしまう可能性は否めません。AI活用により、採用担当者の負担軽減だけでなく、この点も解消できるのではと考えたのです。

導入

人事担当者自身が試行錯誤し、分類器（AIモデル）を作成

AI導入においては、自社で扱っていた「IBM Watson」のNLC（Natural Language Classifier）を活用することに。NLCは与えられたテキストを解析して、分類するモデルを簡単に構築できる機能であり、エントリーシートのテキストを解析することで「合格」「不合格」のカテゴリに分類できるのではないかと考えたのです。

NLCでは最初に教師データを学習させ、分類器と呼ばれるAIモデルを作成する必要があります。当初は「データは多いほどよいだろう」と考え、過去のエントリーシートと合否データをすべて教師データとして学習させたのですが、テストデータのほとんどが「合格」に分類されるなど、期待した結果は得られませんでした。そこで、対象期間を限定する、特定のメンバーが評価したものに絞るなど、教師データの質・量の調整を繰り返しおこないました。最終的には合格・不合格の典型的なデータを学習させることで、精度を高めることに成功。学習させていない過去のエントリーシートをAIに評価させたところ、担当者の合否判定とほぼ同じ結果が出るまでになりました。これらの試行錯誤は、AI部門に専用のツールを開発してもらい、人事部門の担当者が実施。どのような結果が出れば業務に活用できるのか、教師データとなるエントリーシートの傾向や内容など、実業務を把握している担当者自身でモデル作成をおこなったことで、検証開始から2ヵ月ほどと短期間での実用化につながりました。

活用

誤判定のリスクは、運用体制でカバー

実用化できる精度に至ったとはいえ、AIの評価は100％正確ではなく、誤った判定となるケースもありました。応募者のエントリーシートが、AIの誤った判定で不合格となっては大きな問題です。そこでこの点は、運用で対処することに。AIで不合格とされたエントリーシートについては、担当者が改めて読み、最終の合否判定をするフローとしたのです。万が一誤った判定があっても補正でき、担当者は「不合格」と判定されたエントリーシートのみ評価すればよいため、大きな負担軽減になります。もちろんなかには「本来ならば不合格だが、誤ってAIで合格と判定された」ものも含まれますが、こちらは面接などのフェーズで改めて合否を判定できるため、問題ないと判断しました。

分類器（AIモデル）作成では、100％の正確性を目指すのではなく、どの程度の精度が出れば実業務で利用できるのかといった判断が重要です。また誤った判定についてどのような運用でフォローするのかについても、実際の業務担当者が主体的に関わることで、実業務に即した検討が可能になるのです。

効果

年間680時間の作業を170時間に短縮。評価の客観性担保も実現

2017年5月からAIによるエントリーシート合否判定の運用を開始。その結果、エントリーシート評価の作業時間を年間680時間から170時間と4分の1に削減することができました。これにより人事担当者の時間に余裕が生まれ、内定者のフォローや面接での内面評価などに注力できるように。もうひとつ大きな効果として、エントリーシートをより客観的に評価できるようになった点も挙げられます。AIで評価することにより、担当者間の評価のバラツキを少なくすることが可能に。AIによる統一した基準での判定は、大きなメリットだと考えています。