DIGITAL BUSINESS EYE'S
テキストマイニングとAI
テキストマイニングとは？
テキストマイニングとは、文字列データ（テキストデータ）を対象としたデータマイニングです。大量の文字・文章のデータの中から、有益な情報を取り出すための方法として使われています。
企業や公的機関などには、膨大なデータが蓄積されています。そのうち実に8割以上が、テキストデータであるとも言われています。
蓄積されているデータをどのように活用していくか、活用できているか、できていないかが、企業の業績や業務効率にに大きく影響するようになってきているようです。例えば、
・アンケート調査の自由回答
・コールセンターのログ、音声記録
・Webサイト上のユーザ書き込み
・営業日報
・会議の議事録
などは代表的なテキストデータです。これらは、意味のある形で数値化や定型化することが難しかったため、以前は担当者が熟読・精査の上で「定性的に」内容を把握していました。あるいは、気の遠くなるようなアフターコーディング作業を経てようやく定量的に分析することができました。いずれにしても分析・解析するには時間がかかってしまい、効果的効率的に活用することが難しいデータでした。
昨今では、テキストマイニングを使って解析することによって、これらのデータから顧客や市場のニーズを抽出したり、自社商品やサービスの評判を分析したり、業務上の問題点を把握したり、時系列にどう変遷しているかを調べることも容易になってきています。
企業や公的機関などには、膨大なデータが蓄積されています。そのうち実に8割以上が、テキストデータであるとも言われています。
蓄積されているデータをどのように活用していくか、活用できているか、できていないかが、企業の業績や業務効率にに大きく影響するようになってきているようです。例えば、
・アンケート調査の自由回答
・コールセンターのログ、音声記録
・Webサイト上のユーザ書き込み
・営業日報
・会議の議事録
などは代表的なテキストデータです。これらは、意味のある形で数値化や定型化することが難しかったため、以前は担当者が熟読・精査の上で「定性的に」内容を把握していました。あるいは、気の遠くなるようなアフターコーディング作業を経てようやく定量的に分析することができました。いずれにしても分析・解析するには時間がかかってしまい、効果的効率的に活用することが難しいデータでした。
昨今では、テキストマイニングを使って解析することによって、これらのデータから顧客や市場のニーズを抽出したり、自社商品やサービスの評判を分析したり、業務上の問題点を把握したり、時系列にどう変遷しているかを調べることも容易になってきています。
テキストマイニングの解析方法
繰り返しますが、テキストマイニングは、文字列データを対象としたデータマイニングです。
テキストマイニングで取り扱うテキストデータは、定性データの代表的なものです。上でも述べたように、定性データは定量データのように簡単に数値化することができないため、データを客観的に抽出するためのルールやモデルが必要となります。
テキストデータは、データが定型化されていないため、元々定量データよりも解析が難しいデータです。さらにテキストデータの分析を困難にしているのは「日本語」という言語の持つ特異性です。日本語は、ほかの外国語に比べると文法が複雑です。単語と単語が区切られていないので、どこが単語の区切りなのかを判別する必要があったり、文法のゆらぎがあったりするために解析が非常に難しい言語なのです。
しかし現在では、自然言語処理がより高度になってきているため、日本語のテキストデータも、実用レベルでの解析できるようになってきました。日本語や英語などの人間の言葉を、コンピュータでデータとして保管したり計算したりするための技術のことを自然言語処理と言います。自然言語処理は、主に形態素解析、構文解析、意味解析、文脈解析の順で行われます。自然言語解析の手法を使って、文章を単語（名詞、動詞、形容詞等）に区切り、それらの出現頻度や相関関係を分析することで意味のある情報を読み取れるようになっています。定性データを定量的なデータに変換する技術が発達し、より効率よくデータを解析し活用することができるようになってきています。
テキストマイニングで取り扱うテキストデータは、定性データの代表的なものです。上でも述べたように、定性データは定量データのように簡単に数値化することができないため、データを客観的に抽出するためのルールやモデルが必要となります。
テキストデータは、データが定型化されていないため、元々定量データよりも解析が難しいデータです。さらにテキストデータの分析を困難にしているのは「日本語」という言語の持つ特異性です。日本語は、ほかの外国語に比べると文法が複雑です。単語と単語が区切られていないので、どこが単語の区切りなのかを判別する必要があったり、文法のゆらぎがあったりするために解析が非常に難しい言語なのです。
しかし現在では、自然言語処理がより高度になってきているため、日本語のテキストデータも、実用レベルでの解析できるようになってきました。日本語や英語などの人間の言葉を、コンピュータでデータとして保管したり計算したりするための技術のことを自然言語処理と言います。自然言語処理は、主に形態素解析、構文解析、意味解析、文脈解析の順で行われます。自然言語解析の手法を使って、文章を単語（名詞、動詞、形容詞等）に区切り、それらの出現頻度や相関関係を分析することで意味のある情報を読み取れるようになっています。定性データを定量的なデータに変換する技術が発達し、より効率よくデータを解析し活用することができるようになってきています。
テキストマイニングは、AIの活用でどうなっていく？
さて、これまで単語の分析を中心に行われてきたテキストマイニングですが、ＡＩ（人工知能）を活用することによって、より自由度の高い文章を解析できるようになり、新聞記事やネットの書き込みから将来の景気予測ができるまでになりつつあります。書き手の性格を分析できるAIが、社員の離職防止にも活用されるなど、自由記述文を分析する手法が、より高度化しつつあります。
AIはフォーマットの決まっていない、誰がどの様に書いた文章であっても、大量のテキストデータとして学習することができます。それによって、どの様なワードや言い回しが、どういった状況で使われているのかなどを、判断できるようになっています。
AIに学習させることで、前後の文脈を判断できるようになる。これを例えばSNSの書き込み監視に利用すると、管理者の負担を減らすことにもつながってきます。AIを使ったテキストマイニングによって、AIが人間に代わってできる仕事がこれからも増えていくと思われます。
AIはフォーマットの決まっていない、誰がどの様に書いた文章であっても、大量のテキストデータとして学習することができます。それによって、どの様なワードや言い回しが、どういった状況で使われているのかなどを、判断できるようになっています。
AIに学習させることで、前後の文脈を判断できるようになる。これを例えばSNSの書き込み監視に利用すると、管理者の負担を減らすことにもつながってきます。AIを使ったテキストマイニングによって、AIが人間に代わってできる仕事がこれからも増えていくと思われます。
テキストマイニングをAIで解析するメリット
アンケート調査の自由回答など、生活者が自分の言葉で回答する内容には、商品やサービスに対する本音、印象やイメージなどの情報が大量に埋め込まれています。こうした大量の生活者の意見や、SNSを分析するツールなどにも、すでにAIが活用されています。AIは大量のデータを、短時間で、高精度に意味づけることができるように進化し続けています。
テキストマイニングをAIを駆使して解析するメリットは、人間の力では対応しきれない、多様かつ大量なデータの解析が容易にできる点にあるのです。
テキストマイニングをAIを駆使して解析するメリットは、人間の力では対応しきれない、多様かつ大量なデータの解析が容易にできる点にあるのです。
テキストマイニングでAIを使う際の課題
AIは確かに大量のテキストデータの中から意味を読み取ってくれるツールとして発達してきています。そうはいっても、実はAIは読み取った「意味」を理解しているわけではありません。解析結果をきちんと読み取るための下準備や、読み取ってくれた「意味」をきちんと理解する人間の能力がますます重要になってくることを忘れてはいけません。
AIが仕事を奪うのではなく、心強いパートナーとして活用できる未来はもうすぐそこまで来ています！
AIが仕事を奪うのではなく、心強いパートナーとして活用できる未来はもうすぐそこまで来ています！
June 24 , 2020
K. Yamamoto
同じカテゴリの記事