検索結果

形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業である。…

1975年。『形態論・序説』むぎ書房,1996年,1996年,ISBN 978-4-8384-0111-6 に再録） ^ 『広辞苑』 言語学 形態論 形態素解析 全文検索 クランベリー型形態素 書記素 語彙素 ブリタニカ国際大百科事典 小項目事典『形態素』 - コトバンク…

文章（具体的にはマークアップなどの注記の入っていないベタの文字列）を対象として、 自然言語であれば、形態素に切分け、さらにその間の関連（修飾-被修飾など）といったような、統語論的関係を図式化するなどして明確化・解析する手続きである。 プログラミング言語など形式言語の場合は、形式文法に従い構文木を得る手続きである。…

解析手法（統計や確率など）が広められた為、パーサ（統語解析器）などの精度や速度が一段と上がり、その意味合いは違ってきている。もともと自然言語の意味論的側面を全く無視して達成できることは非常に限られている。このため、自然言語処理には形態素解析と構文解析、文脈解析、意味解析…

た。学校文法でも連文節を導入することもある。 英語などでは、文節に相当する単語でまず区切られており、それを形態素の単位に細分するのに対し、日本語の自然言語処理では、日本語がもっぱらわかち書きなどをせず、ベタ書きすることから、日本語においてはまず形態素解析を行い、つぎにトップダウンの処理を行なって、そ…

これを踏まえて、一般的には準備作業（テキストの電子化、表記ゆれなどのクリーニング）、加工と処理（形態素解析、構文解析、意味解析等）、データ集計と分析（データの抽出と分析、視覚化）を行う。 テキストを何らかの単位で分解し、その要素の頻度を集計し、それをまとめたり…

形態素を認定できる。語尾「-u」が「着-」に連接するときに「kiru」という形態をとることや、「-naide」が「書k-」と連接すると「kakanaide」となることは、母音連続・子音連続を解消するために /r/ や /a/ が挿入されたものと考えられ、それぞれの形態素は一貫して同じ形態…

計算機科学における字句解析 (じくかいせき、英: lexical analysis) とは、ある言語で書かれた文について、その文字の並びを解析し、言語的に意味のある最小の単位（トークン）に分解する処理のこと。 字句解析は、コンピュータを用いた自然言語処理でも、プログラミング言語のコンパイルでも行われる。…

約1200あまり（2014年時点）という語根の数から、約144万語以上の合成語の創出が可能であるとされている。形態素（合成語の各成分）は非曖昧に特定の語根に対応するので、同音異義語ができないようになっている。さらに、ロジバンの形態素は、合成語の形態素解析の結果が必ず１通りになるよう設計されているため、合成語の意味が把握しやすくなっ…

大学や研究機関による成果の最も早いものは、1954年にジョージタウン大学などの研究グループにより発表された。これを皮切りに、形態素解析や係り受け解析などの機械翻訳に必要な技術の研究が始まった。日本では1950年代に九州大学の栗原俊彦らが研究を開始し、1950年代末に実験機「KT-1」を…

予測変換の搭載方法は単に以前の入力履歴を記録して候補を表示するもの、候補に関連した接続語などを呈示するもの、入力された文字列を形態素解析により解析するもの、内部辞書や外部データベースなどを参照するものなどがある。さらに進んで現在の季節や時間と連動した候補を出す機能、文脈を判断する機能、…

条件付き確率場（じょうけんつきかくりつば、英語: Conditional random field、略称: CRF）は無向グラフにより表現される確率的グラフィカルモデルの一つであり、識別モデルである。これは自然言語処理、生体情報工学、コンピュータビジョンなどの分野で連続データの解析などによく利用される。特にCRFは形態素解析…

索窓が完全に撤去され、事実上サービスを終了したと報じられた。 コンピュータ等の計算機を用いた自然言語処理の基礎技術であるマルチバイトコード対応の形態素解析。 ^ INTERNET Watch “ムーター、検索結果を仕分け表示するWeb検索サイト「Mooter」”. インプレス. (2006年2月16日)…

新聞記事など現実世界に存在するテキストには大量の固有表現 (Named Entity) が含まれている。形態素解析などを行なう際、それらの固有表現は辞書に登録されていない場合、未知語として扱われ、解析の誤りを起こす。そのため、様々な固有表現を辞書に登録する必要があるが、前述の通り、現実のテキストには大…

Stratonovichによる非線形フィルタリング問題の最適化についての初期の成果に関連している。 隠れマルコフモデルは、音声認識、バイオインフォマティクス、形態素解析（自然言語処理）、楽譜追跡、部分放電など、時系列パターンの認識に応用されている。連続的かつ伸縮しうる信号列のパターン抽出には適しているが、反面、…

れは印欧語族の諸言語同士の比較再構による推定による。印欧語族の言語は、屈折的語形変化の大部分を失ったものも多いが、英語も含めて依然全て屈折語である。しかし近年の内的再構とその形態素解析により、より古い段階の印欧祖語ではセム祖語のように語幹内の母音交替を伴う屈折が起こっていた可能性が極めて高いことが判明した。…

法が異なるため、分解する方法の違いによってフィルタ精度が変化してしまう。 このような問題に対応するため、日本語に対応するベイジアンフィルタでは、形態素解析などの自然言語処理が追加されていることがある。 もうひとつの問題として、日本語のメールにおける文字コードの問題もある。通常日本語でのメールであれ…

な技術・ソフトウェア群・コンピュータシステム、アルゴリズムとも言われる。主力な特化型AIとしては、 自然言語処理（機械翻訳・かな漢字変換・構文解析・形態素解析・RNN等）、 専門家の論理、知識や条件による判断を模倣するエキスパートシステム、ナレッジグラフ、因果推論…

形態素・音素・アクセントなどを表すラベルを付与するとともに、音声認識や人手での調整により、ラベルと音声区間の対応を取る。音声を合成する際には一般に、まず入力テキストをテキスト解析器により解析し、そのテキストの文・フレーズ・アクセント句・形態素…

単語を抽出する処理は、形態論を扱うため、言語に依存したアルゴリズムを含んでいる。英語のように語形変化の小さい言語でさえ、単語の抽出処理は複数形や所有の表現のような現象を取り扱う必要がある。ドイツ語・ハンガリー語・フィンランド語のように単語が連結される言語（総合的言語）では、形態素解析が役に立つ。…