自然語(yǔ)言處理（NLP）知識(shí)整理及概述（一）
這是我在留學(xué)期間選修的課程 ：natura language process。 這篇文章主要是為了大致的梳理這門課上的知識(shí)點(diǎn)，方便日后復(fù)習(xí)。因此，語(yǔ)言處理的主體對(duì)象是English。
簡(jiǎn)單來說，語(yǔ)言模型就是一個(gè)對(duì)于不同單詞出現(xiàn)概率的統(tǒng)計(jì)。
然而，對(duì)于英語(yǔ)來說，每個(gè)單詞可能有不同的時(shí)態(tài)和單復(fù)數(shù)等形態(tài)變化。因此，在做統(tǒng)計(jì)前，需要先對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理和歸一化。
分割句子后，每句話應(yīng)該作為一個(gè)元素單獨(dú)存儲(chǔ)。
一般來說，常用的是 unigram, bigram 和trigram, 即以1-3 個(gè)詞作為一個(gè)對(duì)象來統(tǒng)計(jì)。n 越大， 統(tǒng)計(jì)結(jié)果也越稀疏。一個(gè)七八個(gè)詞的組合重復(fù)出現(xiàn)的概率，顯然遠(yuǎn)低于2-3個(gè)詞的組合。 另一方面，根據(jù)馬爾科夫鏈， 一個(gè)單詞的出現(xiàn)，可以認(rèn)為僅跟前一個(gè)詞有關(guān)系，所以也沒有太大必要追求過大的n。
n-gram 是一個(gè)重要的基礎(chǔ)概念， 它所提供的概率分析可以做到很多事情， 例如機(jī)器翻譯“請(qǐng)給我打電話”：P(“please call me”) > P("please call I ")。 又比如拼寫糾正：基于概率， “its 5pm now” → 糾正為 “it's 5pm now”
沒有比較就沒有傷害。 對(duì)于語(yǔ)言模型的評(píng)估， 也需要有一個(gè)比較的對(duì)象。因此，要用兩種方法建立不同的語(yǔ)言模型（當(dāng)然也可以對(duì)比前人的工作成果）。顯然，任意給一個(gè)測(cè)試用的句子，如果在某一模型中的出現(xiàn)概率都比較大，那么這個(gè)模型顯然更好。 具體來說， 評(píng)估方法有兩種：
首個(gè)單詞問題 ：對(duì)于一個(gè)基于bigram或trigram的模型，在計(jì)算一個(gè)句子的perplexity時(shí)，前1或2個(gè)單詞需要不能直接得到，依賴于句子開頭的標(biāo)識(shí)符。也即是說，在訓(xùn)練 n-gram 模型時(shí)， 對(duì)于每個(gè)句子，分別在開頭和結(jié)尾填充n-1個(gè)<s>。從而保證在計(jì)算perplexity的時(shí)候能夠正確地從第一個(gè)單詞開始計(jì)算。這也是為什么前面 sentence segmentation 的時(shí)候要將句子區(qū)別存儲(chǔ)的原因。
顯然，無論用來生成LM的corpus多么龐大，總會(huì)有些單詞沒有被包含其中（稱為out of vocabulary， OOV）。 解決方法有兩種， 一是實(shí)現(xiàn)設(shè)定一個(gè)固定的字典，在訓(xùn)練LM過程中，所有不在字典中的單詞統(tǒng)一轉(zhuǎn)換成 token <UNK>， 另一種是將LM中出現(xiàn)頻率小于n次的單詞當(dāng)作 <UNK>，剩下的作為字典。 根據(jù)字典對(duì)測(cè)試數(shù)據(jù)做相同操作，就可以避免OOV的問題。
在處理完OOV問題后，還有一個(gè)問題需要處理：所有單詞都在字典中，但是單詞的組合并沒有在LM中出現(xiàn)這一情況。 此時(shí)就需要對(duì)基于bigram或trigram的LM進(jìn)行smooth操作，規(guī)避這一問題。Smoothing過程有1點(diǎn)需要注意，就是smooth之后的模型，其所有概率加起來，必須仍然為1。常見的smoothing方法有：
特別的，工程上最適合的應(yīng)該是 stupid backoff algorithm, 這一算法并不確保整體概率為1。僅僅是在回退時(shí)乘以系數(shù)0.4計(jì)算。即如果trigram沒有找到，就使用0.4×P(bigram)， 如果bigram還是沒找到， 就是要 0.4×0.4×P(unigram)。由于OOV問題已解決，所以對(duì)于任意一個(gè)詞，必然能計(jì)算出其概率。
相關(guān)閱讀： Large Language Models in Machine Translation
什么是自然語(yǔ)言處理?看這篇文章就夠了!
在這個(gè)日新月異的領(lǐng)域，持續(xù)學(xué)習(xí)至關(guān)重要。推薦GitHub資源：fighting41love\/funNLP，那里有豐富的學(xué)習(xí)資源和實(shí)戰(zhàn)案例，助你領(lǐng)略NLP的深度與廣度。綜上所述，自然語(yǔ)言處理是一門博大精深的學(xué)問，理解其原理、掌握技術(shù)工具，將帶你穿越語(yǔ)言的迷宮，解鎖智能科技的新篇章。
nlp是什么意思?
一、NLP的基本定義 自然語(yǔ)言處理是一種技術(shù)，涉及到計(jì)算機(jī)對(duì)人類語(yǔ)言的識(shí)別、理解、分析以及生成。這種技術(shù)旨在讓計(jì)算機(jī)能夠像人類一樣處理和理解自然語(yǔ)言，從而實(shí)現(xiàn)人機(jī)交互的更加智能化。二、NLP的主要任務(wù) NLP的主要任務(wù)包括詞匯分析、句法分析、語(yǔ)義理解、文本分類、信息提取、機(jī)器翻譯等。這些任務(wù)都是為了...
Elasticsearch:什么是自然語(yǔ)言處理(NLP)?
自然語(yǔ)言處理 (NLP) 是人工智能的一種形式，專注于計(jì)算機(jī)與人類之間的交互，通過理解和處理自然語(yǔ)言來進(jìn)行交流。NLP 是計(jì)算語(yǔ)言學(xué)的一個(gè)分支，它結(jié)合了計(jì)算機(jī)科學(xué)、語(yǔ)言學(xué)和人工智能領(lǐng)域，旨在研究人類語(yǔ)言的計(jì)算方面。NLP 的發(fā)展歷史可追溯至 20 世紀(jì) 50 年代，當(dāng)時(shí)計(jì)算機(jī)科學(xué)家開始探索如何讓機(jī)器理解并...
自然語(yǔ)言處理的主要任務(wù)
此外，自然語(yǔ)言生成技術(shù)還常用于自動(dòng)化報(bào)告生成、機(jī)器翻譯等場(chǎng)景，極大提高了文本生成的效率。除了理解與生成，NLP還關(guān)注文本的分析和處理。這包括詞性標(biāo)注、句法分析、命名實(shí)體識(shí)別等任務(wù)。詞性標(biāo)注是為文本中的每個(gè)詞分配一個(gè)詞性標(biāo)簽，如名詞、動(dòng)詞等，有助于后續(xù)的語(yǔ)言處理。句法分析則是解析句子的結(jié)構(gòu)，...
什么是「自然語(yǔ)言處理」?
自然語(yǔ)言處理（NLP）是計(jì)算機(jī)科學(xué)領(lǐng)域的一個(gè)分支，旨在讓計(jì)算機(jī)理解、解釋并生成自然語(yǔ)言，以模擬人類對(duì)語(yǔ)言的理解和交互。NLP的核心目標(biāo)是讓計(jì)算機(jī)能夠理解人類的語(yǔ)言，實(shí)現(xiàn)與人類的自然交互。這一概念的提出，源于人們對(duì)計(jì)算機(jī)能夠真正理解人類語(yǔ)言并像人類一樣進(jìn)行溝通的渴望。NLP技術(shù)包括自然語(yǔ)言理解（NLU）...
NLP(自然語(yǔ)言處理)技術(shù)分類及國(guó)內(nèi)概況
根據(jù)技術(shù)實(shí)現(xiàn)難度不同，NLP系統(tǒng)主要分為簡(jiǎn)單匹配式、模糊匹配式和段落理解式三種類型。簡(jiǎn)單匹配式主要通過關(guān)鍵字匹配技術(shù)自動(dòng)回答問題或進(jìn)行相關(guān)輔導(dǎo)。模糊匹配式在簡(jiǎn)單匹配式基礎(chǔ)上增加了同義詞和反義詞的匹配，即使學(xué)生所提問題中未直接匹配答案，但與關(guān)鍵字同義或反義的詞仍能匹配找到相關(guān)應(yīng)答。段落理解式...
NLP基礎(chǔ)知識(shí)和綜述
一種流行的自然語(yǔ)言處理庫(kù)、自帶語(yǔ)料庫(kù)、具有分類,分詞等很多功能,國(guó)外使用者居多,類似中文的jieba處理庫(kù) 為單詞序列分配概率的模型就叫做語(yǔ)言模型。 通俗來說, 語(yǔ)言模型就是這樣一個(gè)模型:對(duì)于任意的詞序列,它能夠計(jì)算出這個(gè)序列是一句話的概率。或者說語(yǔ)言模型能預(yù)測(cè)單詞序列的下一個(gè)詞是什么。 ** n-gram Languag...
自然語(yǔ)言處理包括哪些內(nèi)容
自然語(yǔ)言處理包括內(nèi)容如下：1、自然語(yǔ)言處理（Natural Language Processing，NLP）是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向。它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的各種理論和方法。自然語(yǔ)言處理是一門融語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、數(shù)學(xué)于一體的科學(xué)。2、因此，這一領(lǐng)域的研究將涉及自然語(yǔ)言，即...
NLP基礎(chǔ)知識(shí)
NLP基礎(chǔ)知識(shí)涵蓋了自然語(yǔ)言處理中一系列核心概念與技術(shù)。其中，Token化是將文本分解為一系列可操作的基本單位的過程，例如在文本"I like NLP"的Token化結(jié)果為['I', 'like', 'NLP']。在處理自然語(yǔ)言處理任務(wù)時(shí)，Token和詞匯表(Vocab)是基礎(chǔ)。Token用于表示文本中的詞、詞組或字符，而詞匯表則是一個(gè)...
什么是 自然語(yǔ)言處理?為什么選擇 NLP?
自然語(yǔ)言處理（NLP）是計(jì)算機(jī)科學(xué)的分支，它通過AI技術(shù)解析和理解人類自然語(yǔ)言（書面或口語(yǔ)）。其核心目標(biāo)是讓計(jì)算機(jī)能處理文本和語(yǔ)音數(shù)據(jù)，從而進(jìn)行內(nèi)容理解、分類和信息抽取，甚至生成人類可讀的響應(yīng)。NLP包括自然語(yǔ)言生成（NLG）和自然語(yǔ)言理解（NLU）兩個(gè)關(guān)鍵部分，前者如自動(dòng)文本生成，后者則能捕捉語(yǔ)境和...
相關(guān)評(píng)說：
大新縣耙裝： ______ 自然語(yǔ)言通常是指一種自然地隨文化演化的語(yǔ)言.英語(yǔ)、漢語(yǔ)、日語(yǔ)為自然語(yǔ)言的例子,而世界語(yǔ)則為人造語(yǔ)言,即是一種為某些特定目的而創(chuàng)造的語(yǔ)言. 不過,有時(shí)所有人類使用的語(yǔ)言(包括上述自然地隨文化演化的語(yǔ)言,以及人造語(yǔ)言)...
大新縣耙裝： ______ 理論上,NLP是一種很吸引人的人機(jī)交互方式.早期的語(yǔ)言處理系統(tǒng)如SHRDLU,當(dāng)它們處于一個(gè)有限的“積木世界”,運(yùn)用有限的詞匯表會(huì)話時(shí),工作得相當(dāng)好.這使得研究員們對(duì)此系統(tǒng)相當(dāng)樂觀,然而,當(dāng)把這個(gè)系統(tǒng)拓展到充滿了現(xiàn)實(shí)世界的含糊與不確定性的環(huán)境中時(shí),他們很快喪失了信心.由于理解(understanding)自然語(yǔ)言,需要關(guān)于外在世界的廣泛知識(shí)以及運(yùn)用操作這些知識(shí)的能力,自然語(yǔ)言認(rèn)知,同時(shí)也被視為一個(gè)人工智能完備(AI-complete)的問題.同時(shí),在自然語(yǔ)言處理中,理解的定義也變成一個(gè)主要的問題.有關(guān)理解定義問題的研究已經(jīng)引發(fā)關(guān)注.
大新縣耙裝： ______ 1、數(shù)據(jù)采集:ETL工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中,成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ). 2、數(shù)據(jù)存取:關(guān)系數(shù)據(jù)庫(kù)、...
大新縣耙裝： ______ 計(jì)算機(jī)編程和算法都會(huì) 英文屬性的操作,我們中文做自然語(yǔ)言處理的話需要將中文轉(zhuǎn)換成向量或者其他形式讓計(jì)算機(jī)能夠識(shí)別找尋規(guī)律.英文的自然語(yǔ)言處理剛好就不用多一步操作直接進(jìn)行轉(zhuǎn)換訓(xùn)練即可.
大新縣耙裝： ______ 數(shù)據(jù)挖掘,機(jī)器學(xué)習(xí),自然語(yǔ)言處理三者的關(guān)系:1、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理三者之間既有交集也有不同,彼此之間既有聯(lián)系和互相運(yùn)用,也有各自不同的領(lǐng)域和應(yīng)用.2、數(shù)據(jù)挖掘是一門交叉性很強(qiáng)的學(xué)科,可以用到機(jī)器學(xué)習(xí)算法...
大新縣耙裝： ______ “你好,我叫大白,是你的私人健康助手,在你嗷地叫一聲的時(shí)候,我會(huì)察覺出你需... 這樣機(jī)器人就能夠感受到至少10級(jí)的撫摸,并給予互動(dòng).結(jié)合自然語(yǔ)言處理系統(tǒng),機(jī)...
大新縣耙裝： ______ nltk(natural language toolkit)是python的自然語(yǔ)言處理工具包.自然語(yǔ)言是指人們?nèi)粘＝涣魇褂玫恼Z(yǔ)言,如英語(yǔ),印地語(yǔ),葡萄牙語(yǔ)等.“自然語(yǔ)言處理”(Natural Language Processing 簡(jiǎn)稱NLP)包含所有用計(jì)算機(jī)對(duì)自然語(yǔ)言進(jìn)行的操作,從最簡(jiǎn)單的通過計(jì)數(shù)詞出現(xiàn)的頻率來比較不同的寫作風(fēng)格,到最復(fù)雜的完全“理解”人所說的話,至少要能達(dá)到對(duì)人的話語(yǔ)作出有效反應(yīng)的程度.
