検索結果

形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業である。…

形態素（けいたいそ、英: morpheme）とは、言語学の用語で、意味をもつ表現要素の最小単位。ある言語においてそれ以上分解したら意味をなさなくなるところまで分割して抽出された、音素のまとまりの1つ1つを指す。 形態素の一般的な性質や、形態素間の結びつきなどを明らかにする言語学の領域は、形態論と呼ばれる。…

解析（lexical analysis）と、そのトークン列を受け取り構文木を作るなどする後処理段階の2段階に分けてその全体を広義の構文解析とし、特に後処理のみを指して狭義の構文解析とすることが多い（PEGのように融合して扱う場合も多い手法もある）。以下、その狭義の構文解析について述べる。 構文解析…

となる。 英文の場合は単語と単語の間にスペースが入るため、自然、スペースで区切られた文字列を抽出していけば、索引データの作成は容易となる。しかし日本語の場合は、単語をスペースで区切る「わかち書き」の習慣がないため、形態素解析技術を用いて、文脈の解析、単語分解を行い、それをもと…

は違ってきている。もともと自然言語の意味論的側面を全く無視して達成できることは非常に限られている。このため、自然言語処理には形態素解析と構文解析、文脈解析、意味解析などをSyntaxなど表層的な観点から解析をする学問であるが、自然言語理解は、意味をどのように理解するかという個々人の理解と…

MeCabはオープンソースの形態素解析エンジンで、奈良先端科学技術大学院大学出身、現GoogleソフトウェアエンジニアでGoogle 日本語入力開発者の一人である工藤拓によって開発されている。名称は開発者の好物「和布蕪（めかぶ）」から取られた。 開発開始当初は…

ChaSen（茶筌）は、形態素解析ツールのひとつ。奈良先端科学技術大学院大学松本研究室で開発された。 ベースとなった形態素解析ツールは JUMAN であるが、統計的な手法を用いており、解析速度と使い勝手の向上を目指している。現在はIPA品詞体系を使用しており、JUMAN とはその方向性が異なっている。…

形態素の単位に細分するのに対し、日本語の自然言語処理では、日本語がもっぱらわかち書きなどをせず、ベタ書きすることから、日本語においてはまず形態素解析を行い、つぎにトップダウンの処理を行なって、そのすり合わせ結果から文節となるカタマリを切出すチャンキングが必要となる。 自然言語解析…

ひらがなである程度まとまった文章の読みをかなで入力し（未変換文字列）、変換キーを押すことで漢字仮名交じり文に変換される。 IMEは文節の区切りを判別して文節ごとに漢字変換を行う。文節を自動判別することを形態素解析と呼び、多くのIMEはこの形態素解析を利用して変換を行う。文節ごとに分けられた単語は…

と処理（形態素解析、構文解析、意味解析等）、データ集計と分析（データの抽出と分析、視覚化）を行う。 テキストを何らかの単位で分解し、その要素の頻度を集計し、それをまとめたり、視覚化したりすることは、テキストマイニングにおいて最も基本的な作業である。 一般的にとられる手法は…

Spotlightでは日本語形態素解析が不十分だったため、Googleで使われていたMeCabを採用した（/usr/lib/、/usr/include/mecab.h 等参照）。 事前に検索対象をインデックス化する構造のため、旧バージョンからアップデートした場合は…

Method）は、Appleが開発・配付しているオペレーティングシステムのmacOSに組み込まれている日本語入力システムである。 2014年リリースのOS X Yosemiteから、長年利用されてきた「ことえり」に替り、新たに採用された。日本語形態素解析エンジンにはMeCabを利用している。キーボード操作性は「ことえり」を踏襲している。…

がリリースする SKK には、Daredevil SKK(ddskk)の名が付けられている。 SKKが他の日本語インプットメソッドと大きく異なるのは、かな漢字変換において形態素解析に基づいた変換を行わないことである。かなと漢字の境界をユーザが指定することになるため、形態素解析では不可避の解析…

KAKASI（かかし）は、日本語の漢字仮名交じり文を平仮名やローマ字綴りの文に変換するプログラムである。単語ごとにわかち書きができる機能により形態素解析エンジンとしてNamazu等の全文検索エンジンと組み合わせて用いられることも多い。 KAKASIは"kanji kana simple…

」と連接すると「kakanaide」となることは、母音連続・子音連続を解消するために /r/ や /a/ が挿入されたものと考えられ、それぞれの形態素は一貫して同じ形態で記述できる。このように考えると、日本語の活用とは、語幹／派生接辞／語尾といった形態素が膠着的に連接していき、結果生じた母音連続や…

OS 8に搭載された「ことえり2」で辞書を大幅に強化し、固有名詞などについてはサードパーティの製品を上回る性能を発揮したものの、文脈を考慮した変換ができなかったため、形態素解析に基づくAI変換を採用した他社製品に変換効率で水をあけられていた。一方、Mac OS 8.5に搭載された「ことえり2…

計算機科学における字句解析 (じくかいせき、英: lexical analysis) とは、ある言語で書かれた文について、その文字の並びを解析し、言語的に意味のある最小の単位（トークン）に分解する処理のこと。 字句解析は、コンピュータを用いた自然言語処理でも、プログラミング言語のコンパイルでも行われる。…

の使用が広まりつつある）、男性名詞と女性名詞、及び男女両方を含む複数形の間に派生関係はない　― 同音異義語が、形態論の曖昧さが形態素解析の多義化をもたらすエスペラントには存在するが、合成語の形態素がけっして重複しないロジバンには存在しえない　― パーサによる解析…

大学や研究機関による成果の最も早いものは、1954年にジョージタウン大学などの研究グループにより発表された。これを皮切りに、形態素解析や係り受け解析などの機械翻訳に必要な技術の研究が始まった。日本では1950年代に九州大学の栗原俊彦らが研究を開始し、1950年代末に実験機「KT-1」を、またそれとは…

（「守護国界章における三時教判の研究」） 2011年、日本印度学仏教学会賞 2018年、情報処理学会論文誌ジャーナル特選（「古典中国語(漢文)の形態素解析とその応用」） 学生時代よりコンピュータに親しみ、仏典の電子化に関心を抱く。石井公成（駒澤大学名誉教授）によって紹介されたN-Gramを用いた漢文仏典分析を進めるため、morogram…