KIBITの改良に成功、日本語に強くなる

**それでも動く名無し** · 2022/12/26(月) 18:38:52.90

日本語は、英語のように分かち書き（個々の単語間がスペースで区切られた表記）されず、また助詞などそれ単独では意味を持たない単語を伴うという特徴を持つ言語です。そのため、AIによる日本語の処理においては、文章を個々の単語などの形態素*1に分解する技術（形態素解析）と、分解して得られた形態素を解析する技術の2つの技術を要します。さらに、後者の技術において、分かち書きをした際に抽出される１文字の形態素、例えば、「は」や「に」が何の品詞であるかを判断することは難しく、証拠への関連性の有無の判断にどの程度関係するのかを評価することが課題となっていました。

今回、FRONTEOの研究開発チームは、KIBITを構成するAIエンジン「Illumination Forest（読み：イルミネーションフォレスト）」において、１文字からなる単語を機械学習により自動的に取捨選択するようにアルゴリズムを改良しました。その結果、改良前と比べRecall*2 が向上し、証拠に関連する文書の80%を発見するのに必要な人がレビューする文書数の最大7%の削減を実現しました（図参照、FRONTEOのテストデータを使用）。

本技術は、韓国語や中国語といった他の分かち書きされない言語にも適用が可能です。KIBITの強みの一つは処理が困難なアジア言語を得意とする点であり、今回の研究成果は、KIBITを搭載する幅広い製品群に一層の精度向上をもたらすものと見込まれます。

日本語を処理するKIBITの改良に成功
https://prtimes.jp/main/html/rd/p/000000500.000006776.html

**それでも動く名無し** · 2022/12/26(月) 18:39:06.65

ありがとナス！🍆

**それでも動く名無し** · 2022/12/26(月) 18:39:31.19

KIBIT BEACH BAR

**それでも動く名無し** · 2022/12/26(月) 18:39:31.38

お前を芸術品にしt…

**それでも動く名無し** · 2022/12/26(月) 18:40:04.48

KIBIT👈まあ偶然そうなることもあるやろ
KIBITのBeachBar👈これ

**それでも動く名無し** · 2022/12/26(月) 18:40:27.11

南由也にそっくりよね

**それでも動く名無し** · 2022/12/26(月) 18:41:24.76

もう許さねぇからなぁ？（豹変）

**それでも動く名無し** · 2022/12/26(月) 18:42:01.46

許してプンスカ