การประมวลผลภาษาธรรมชาติ

การประมวลผลภาษาธรรมชาติมีรากฐานมาจากทศวรรษที่ 1950 ในปี 1950 Alan Turing ได้ตีพิมพ์บทความชื่อ " Computing Machinery and Intelligence " ซึ่งเสนอสิ่งที่ปัจจุบันเรียกว่าการทดสอบทัวริงเป็นเกณฑ์ความฉลาดซึ่งเป็นงานที่เกี่ยวข้องกับการตีความอัตโนมัติและการสร้างภาษาธรรมชาติ แต่ในเวลานั้นไม่ได้พูดชัดแจ้ง เป็นปัญหาที่แยกจากปัญญาประดิษฐ์

NLP เชิงสัญลักษณ์ (ปี 1950 - ต้นปี 1990)

หลักฐานของ NLP เชิงสัญลักษณ์ได้รับการสรุปอย่างดีจากการทดลองในห้องภาษาจีนของJohn Searle : ด้วยการรวบรวมกฎต่างๆ (เช่นวลีภาษาจีนที่มีคำถามและคำตอบที่ตรงกัน) คอมพิวเตอร์จะเลียนแบบความเข้าใจภาษาธรรมชาติ (หรืองาน NLP อื่น ๆ ) โดย ใช้กฎเหล่านั้นกับข้อมูลที่เผชิญอยู่

• 1950s : การทดลองของจอร์จทาวน์ในปีพ. ศ. 2497 เกี่ยวข้องกับการแปลประโยคภาษารัสเซียมากกว่าหกสิบประโยคเป็นภาษาอังกฤษโดยอัตโนมัติ ผู้เขียนอ้างว่าภายในสามหรือห้าปีการแปลด้วยเครื่องจะแก้ปัญหาได้ ^[2]อย่างไรก็ตามความก้าวหน้าที่แท้จริงช้าลงมากและหลังจากรายงาน ALPACในปี 2509 ซึ่งพบว่าการวิจัยที่ยาวนานกว่า 10 ปีไม่สามารถบรรลุความคาดหวังได้เงินทุนสำหรับการแปลด้วยเครื่องก็ลดลงอย่างมาก การวิจัยเพิ่มเติมเล็กน้อยเกี่ยวกับการแปลด้วยเครื่องได้ดำเนินการจนถึงปลายทศวรรษที่ 1980 เมื่อมีการพัฒนาระบบการแปลด้วยเครื่องเชิงสถิติเป็นครั้งแรก
• 1960 : ระบบประมวลผลภาษาธรรมชาติที่ประสบความสำเร็จอย่างโดดเด่นที่พัฒนาขึ้นในทศวรรษ 1960 ได้แก่SHRDLUซึ่งเป็นระบบภาษาธรรมชาติที่ทำงานใน " โลกบล็อก " ที่ถูก จำกัด ด้วยคำศัพท์ที่ จำกัด และELIZAซึ่งเป็นการจำลองของนักจิตอายุรเวทโรเจอร์ที่เขียนโดยJoseph Weizenbaumระหว่างปีพ. ศ. 2507 ถึง 2509 การใช้ข้อมูลแทบไม่เกี่ยวกับความคิดหรืออารมณ์ของมนุษย์บางครั้ง ELIZA ก็ให้การโต้ตอบที่เหมือนมนุษย์จนน่าตกใจ เมื่อ "ผู้ป่วย" มีฐานความรู้ที่มีขนาดเล็กมาก ELIZA อาจให้คำตอบทั่วไปเช่นตอบว่า "หัวของฉันเจ็บ" พร้อมกับ "ทำไมคุณถึงพูดว่าหัวของคุณเจ็บ"
• 1970s : ในช่วงปี 1970 โปรแกรมเมอร์หลายคนเริ่มเขียน "แนวคิดออนโทโลยี " ซึ่งจัดโครงสร้างข้อมูลในโลกแห่งความเป็นจริงให้เป็นข้อมูลที่เข้าใจได้ด้วยคอมพิวเตอร์ ตัวอย่าง ได้แก่ MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politics (Carbonell, 1979) และ Plot Units (Lehnert 1981) ). ในช่วงเวลานี้มีการเขียนแชทบอทจำนวนมากเป็นครั้งแรก(เช่นPARRY )
• ยุค 80 : ช่วงปี 1980 และต้นปี 1990 ถือเป็นวันแห่งวิธีสัญลักษณ์ใน NLP จุดเน้นของเวลารวมถึงการวิจัยเกี่ยวกับการแยกวิเคราะห์ตามกฎ (เช่นการพัฒนาHPSGเป็นการดำเนินการเชิงคำนวณของไวยากรณ์กำเนิด ) สัณฐานวิทยา (เช่นสัณฐานวิทยาสองระดับ^[3] ) ความหมาย (เช่นอัลกอริทึม Lesk ) การอ้างอิง (เช่นภายใน Centering Theory ^[4] ) และส่วนอื่น ๆ ของความเข้าใจภาษาธรรมชาติ (เช่นในทฤษฎีโครงสร้างวาทศิลป์ ) สายอื่น ๆ ของการวิจัยอย่างต่อเนื่องเช่นการพัฒนาของ chatterbots กับRacterและJabberwacky การพัฒนาที่สำคัญ (ซึ่งนำไปสู่การเปลี่ยนแปลงทางสถิติในช่วงทศวรรษ 1990) คือความสำคัญที่เพิ่มขึ้นของการประเมินเชิงปริมาณในช่วงนี้ ^[5]

NLP ทางสถิติ (1990s - 2010s)

จนถึงทศวรรษ 1980 ระบบประมวลผลภาษาธรรมชาติส่วนใหญ่ตั้งอยู่บนพื้นฐานของกฎที่เขียนด้วยมือที่ซับซ้อน อย่างไรก็ตามเริ่มตั้งแต่ปลายทศวรรษที่ 1980 เป็นต้นมามีการปฏิวัติการประมวลผลภาษาธรรมชาติด้วยการนำอัลกอริทึมการเรียนรู้ของเครื่องมาใช้ในการประมวลผลภาษา นี่เป็นเพราะทั้งพลังในการคำนวณที่เพิ่มขึ้นอย่างต่อเนื่อง (ดูกฎของมัวร์ ) และการลดการครอบงำของทฤษฎีภาษาศาสตร์ของChomskyanทีละน้อย(เช่นไวยากรณ์การเปลี่ยนแปลง ) ซึ่งพื้นฐานทางทฤษฎีไม่สนับสนุนรูปแบบของภาษาคอร์ปัสที่อยู่ภายใต้แนวทางการเรียนรู้ของเครื่อง ไปจนถึงการประมวลผลภาษา ^[6]

• 1990s : ความสำเร็จในช่วงต้นของวิธีการทางสถิติใน NLP เกิดขึ้นในด้านการแปลด้วยเครื่องโดยเฉพาะอย่างยิ่งในการทำงานที่ IBM Research ระบบเหล่านี้สามารถใช้ประโยชน์จากเอกสารข้อความหลายภาษาที่มีอยู่ซึ่งได้รับการผลิตโดยรัฐสภาแคนาดาและสหภาพยุโรปอันเป็นผลมาจากกฎหมายที่เรียกร้องให้แปลการดำเนินการของรัฐบาลทั้งหมดเป็นภาษาราชการทั้งหมดของระบบที่เกี่ยวข้องของรัฐบาล อย่างไรก็ตามระบบอื่น ๆ ส่วนใหญ่ขึ้นอยู่กับองค์กรที่พัฒนาขึ้นโดยเฉพาะสำหรับงานที่ใช้ระบบเหล่านี้ซึ่ง (และมักจะยังคงเป็น) ข้อ จำกัด ที่สำคัญในความสำเร็จของระบบเหล่านี้ เป็นผลให้งานวิจัยจำนวนมากได้ใช้วิธีการเรียนรู้ที่มีประสิทธิภาพมากขึ้นจากข้อมูลจำนวน จำกัด
• ยุค 2000 : ด้วยการเติบโตของเว็บทำให้มีข้อมูลภาษาดิบ (ที่ไม่ได้อธิบาย) เพิ่มขึ้นตั้งแต่กลางทศวรรษที่ 1990 งานวิจัยจึงได้เน้นมากขึ้นในใกล้ชิดและเรียนรู้กึ่งภายใต้การดูแลขั้นตอนวิธีการ อัลกอริทึมดังกล่าวสามารถเรียนรู้จากข้อมูลที่ไม่ได้มีการใส่คำอธิบายประกอบด้วยมือพร้อมคำตอบที่ต้องการหรือใช้ข้อมูลที่มีคำอธิบายประกอบและข้อมูลที่ไม่มีคำอธิบายประกอบร่วมกัน โดยทั่วไปงานนี้ยากกว่าการเรียนรู้ภายใต้การดูแลมากและโดยทั่วไปจะให้ผลลัพธ์ที่แม่นยำน้อยกว่าสำหรับข้อมูลอินพุตจำนวนหนึ่ง อย่างไรก็ตามมีข้อมูลที่ไม่มีคำอธิบายประกอบจำนวนมหาศาลที่พร้อมใช้งาน (รวมถึงเนื้อหาทั้งหมดของเวิลด์ไวด์เว็บ ) ซึ่งมักจะชดเชยผลลัพธ์ที่ด้อยกว่าหากอัลกอริทึมที่ใช้มีความซับซ้อนของเวลาต่ำพอที่จะ นำไปใช้ได้จริง

NLP ประสาท (ปัจจุบัน)

ในปี 2010 การเรียนรู้การเป็นตัวแทนและวิธีการเรียนรู้แบบแมชชีนแบบเครือข่ายประสาทเทียมได้แพร่หลายในการประมวลผลภาษาธรรมชาติเนื่องจากส่วนหนึ่งของผลลัพธ์ที่แสดงให้เห็นว่าเทคนิคดังกล่าว^{[7] [8]}สามารถบรรลุผลลัพธ์ที่ล้ำสมัยได้ ในงานภาษาธรรมชาติหลายอย่างเช่นในการสร้างแบบจำลองภาษา^{[9] การ}แยกวิเคราะห์^{[10] [11]}และอื่น ๆ อีกมากมาย สิ่งนี้มีความสำคัญมากขึ้นในการแพทย์และการดูแลสุขภาพโดยที่ NLP ถูกนำมาใช้เพื่อวิเคราะห์บันทึกและข้อความในบันทึกสุขภาพอิเล็กทรอนิกส์ซึ่งจะไม่สามารถเข้าถึงได้เพื่อการศึกษาเมื่อต้องการปรับปรุงการดูแล ^[12]

ในยุคแรกระบบประมวลผลภาษาหลายระบบได้รับการออกแบบโดยใช้วิธีเชิงสัญลักษณ์กล่าวคือการเขียนโค้ดด้วยมือของชุดของกฎควบคู่ไปกับการค้นหาพจนานุกรม: ^{[13] [14]}เช่นโดยการเขียนไวยากรณ์หรือกำหนดกฎเกณฑ์การแก้ปัญหาสำหรับการกั้น

ระบบใหม่ ๆ ที่ใช้อัลกอริทึมการเรียนรู้ของเครื่องมีข้อดีหลายประการเหนือกฎที่ผลิตด้วยมือ:

• ขั้นตอนการเรียนรู้ที่ใช้ระหว่างการเรียนรู้ของเครื่องจะมุ่งเน้นไปที่กรณีทั่วไปโดยอัตโนมัติในขณะที่การเขียนกฎด้วยมือมักไม่ชัดเจนว่าควรนำความพยายามไปที่ใด
• ขั้นตอนการเรียนรู้อัตโนมัติสามารถใช้อัลกอริธึมการอนุมานทางสถิติเพื่อสร้างแบบจำลองที่มีประสิทธิภาพสำหรับข้อมูลที่ไม่คุ้นเคย (เช่นมีคำหรือโครงสร้างที่ไม่เคยเห็นมาก่อน) และการป้อนข้อมูลที่ผิดพลาด (เช่นคำที่สะกดผิดหรือคำที่ละไว้โดยไม่ได้ตั้งใจ) โดยทั่วไปการจัดการข้อมูลดังกล่าวอย่างสง่างามด้วยกฎที่เขียนด้วยลายมือหรือโดยทั่วไปแล้วการสร้างระบบของกฎที่เขียนด้วยลายมือซึ่งทำให้ตัดสินใจได้อย่างนุ่มนวลเป็นเรื่องยากมากเกิดข้อผิดพลาดได้ง่ายและใช้เวลานาน
• ระบบที่อาศัยการเรียนรู้กฎโดยอัตโนมัติสามารถทำให้ถูกต้องมากขึ้นเพียงแค่ให้ข้อมูลอินพุตเพิ่มเติม อย่างไรก็ตามระบบที่ใช้กฎที่เขียนด้วยลายมือสามารถทำให้ถูกต้องมากขึ้นโดยการเพิ่มความซับซ้อนของกฎซึ่งเป็นงานที่ยากกว่ามาก โดยเฉพาะอย่างยิ่งมีการจำกัดความซับซ้อนของระบบตามกฎที่เขียนด้วยลายมือซึ่งทำให้ระบบไม่สามารถจัดการได้มากขึ้นเรื่อย ๆ อย่างไรก็ตามการสร้างข้อมูลเพิ่มเติมเพื่อป้อนเข้าสู่ระบบแมชชีนเลิร์นนิงจำเป็นต้องเพิ่มจำนวนชั่วโมงทำงานที่สอดคล้องกันโดยทั่วไปจะไม่มีการเพิ่มความซับซ้อนของกระบวนการใส่คำอธิบายประกอบอย่างมีนัยสำคัญ

แม้จะได้รับความนิยมในการเรียนรู้ของเครื่องในการวิจัย NLP แต่วิธีการเชิงสัญลักษณ์ก็ยังคงใช้กันทั่วไป (2020)

• เมื่อข้อมูลการฝึกอบรมมีไม่เพียงพอที่จะนำวิธีการเรียนรู้ของเครื่องไปใช้อย่างประสบความสำเร็จเช่นสำหรับการแปลภาษาด้วยเครื่องที่ใช้ทรัพยากรต่ำเช่นที่จัดเตรียมโดยระบบApertium
• สำหรับการประมวลผลล่วงหน้าในไปป์ไลน์ NLP เช่นโทเค็นหรือ
• สำหรับการประมวลผลหลังการประมวลผลและการแปลงเอาต์พุตของไปป์ไลน์ NLP เช่นสำหรับการแยกความรู้จากการแยกวิเคราะห์วากยสัมพันธ์

วิธีการทางสถิติ

นับตั้งแต่ที่เรียกว่า "การปฏิวัติทางสถิติ" ^{[15] [16]}ในช่วงปลายทศวรรษที่ 1980 และกลางทศวรรษที่ 1990 การวิจัยการประมวลผลภาษาที่เป็นธรรมชาติส่วนใหญ่อาศัยการเรียนรู้ของเครื่องเป็นอย่างมาก เครื่องเรียนรู้กระบวนทัศน์สายแทนการใช้อนุมานทางสถิติโดยอัตโนมัติเรียนรู้กฎระเบียบดังกล่าวผ่านการวิเคราะห์ที่มีขนาดใหญ่corpora (รูปพหูพจน์ของคลังเป็นชุดของเอกสารที่อาจมีมนุษย์หรือคอมพิวเตอร์คำอธิบายประกอบ) ของตัวอย่างจริงของโลกทั่วไป

อัลกอริธึมแมชชีนเลิร์นนิงคลาสต่างๆมากมายถูกนำไปใช้กับงานประมวลผลภาษาธรรมชาติ อัลกอริทึมเหล่านี้ใช้เป็นอินพุต "คุณลักษณะ" ชุดใหญ่ที่สร้างขึ้นจากข้อมูลอินพุต อย่างไรก็ตามการวิจัยได้ให้ความสำคัญกับแบบจำลองทางสถิติมากขึ้นซึ่งทำการตัดสินใจที่นุ่มนวลและน่าจะเป็นไปได้โดยยึดน้ำหนักที่มีมูลค่าจริงเข้ากับคุณลักษณะการป้อนข้อมูลแต่ละรายการ แบบจำลองดังกล่าวมีข้อได้เปรียบที่สามารถแสดงความแน่นอนสัมพัทธ์ของคำตอบที่เป็นไปได้ที่แตกต่างกันจำนวนมากแทนที่จะเป็นเพียงคำตอบเดียวทำให้ได้ผลลัพธ์ที่น่าเชื่อถือมากขึ้นเมื่อรวมโมเดลดังกล่าวเป็นส่วนประกอบของระบบที่ใหญ่

อัลกอริธึมแมชชีนเลิร์นนิงที่เก่าแก่ที่สุดบางส่วนเช่นแผนผังการตัดสินใจได้สร้างระบบของกฎที่ยากถ้าเป็นเช่นนั้นซึ่งคล้ายกับกฎที่เขียนด้วยมือที่มีอยู่ อย่างไรก็ตามการติดแท็กส่วนหนึ่งของคำพูดได้นำการใช้แบบจำลอง Markov ที่ซ่อนอยู่มาใช้ในการประมวลผลภาษาธรรมชาติและการวิจัยได้มุ่งเน้นไปที่แบบจำลองทางสถิติมากขึ้นซึ่งทำการตัดสินใจที่นุ่มนวลและน่าจะเป็นไปได้โดยอาศัยการแนบน้ำหนักที่มีมูลค่าจริงเข้ากับคุณสมบัติที่ประกอบเป็นข้อมูลที่ป้อนเข้า ข้อมูล. รุ่นภาษาแคชตามที่หลายคนรู้จำเสียงพูดของระบบที่พึ่งพาเป็นตัวอย่างของแบบจำลองทางสถิติดังกล่าว โดยทั่วไปแล้วโมเดลดังกล่าวจะมีประสิทธิภาพมากขึ้นเมื่อได้รับอินพุตที่ไม่คุ้นเคยโดยเฉพาะอินพุตที่มีข้อผิดพลาด (เช่นเดียวกับข้อมูลในโลกแห่งความเป็นจริง) และให้ผลลัพธ์ที่น่าเชื่อถือมากขึ้นเมื่อรวมเข้ากับระบบขนาดใหญ่ซึ่งประกอบด้วยงานย่อยหลายงาน

นับตั้งแต่การเปลี่ยนระบบประสาทวิธีการทางสถิติในการวิจัย NLP ถูกแทนที่ด้วยโครงข่ายประสาทเทียมเป็นส่วนใหญ่ อย่างไรก็ตามข้อมูลเหล่านี้ยังคงมีความเกี่ยวข้องกับบริบทที่จำเป็นต้องมีความสามารถในการตีความทางสถิติและความโปร่งใส

โครงข่ายประสาท

ข้อเสียเปรียบที่สำคัญของวิธีการทางสถิติคือต้องใช้วิศวกรรมคุณลักษณะที่ซับซ้อน ตั้งแต่ปี 2015 เป็นต้นมา^[17]สาขานี้จึงละทิ้งวิธีการทางสถิติส่วนใหญ่และเปลี่ยนไปใช้เครือข่ายประสาทเทียมสำหรับการเรียนรู้ของเครื่อง เทคนิคที่ได้รับความนิยม ได้แก่ การใช้การฝังคำเพื่อจับคุณสมบัติทางความหมายของคำและการเพิ่มขึ้นของการเรียนรู้แบบ end-to-end ของงานระดับที่สูงขึ้น (เช่นการตอบคำถาม) แทนที่จะอาศัยไปป์ไลน์ของงานระดับกลางที่แยกจากกัน (เช่น การติดแท็กส่วนหนึ่งของคำพูดและการแยกวิเคราะห์การอ้างอิง) ในบางพื้นที่การเปลี่ยนแปลงนี้ก่อให้เกิดการเปลี่ยนแปลงอย่างมากในวิธีการออกแบบระบบ NLP ดังนั้นแนวทางที่ใช้เครือข่ายประสาทเทียมเชิงลึกอาจถูกมองว่าเป็นกระบวนทัศน์ใหม่ที่แตกต่างจากการประมวลผลภาษาธรรมชาติทางสถิติ ตัวอย่างเช่นคำว่าการแปลด้วยเครื่องระบบประสาท (NMT) เน้นย้ำถึงความจริงที่ว่าแนวทางการแปลด้วยเครื่องที่เน้นการเรียนรู้เชิงลึกจะเรียนรู้การแปลงแบบลำดับต่อลำดับได้โดยตรงซึ่งขัดขวางความจำเป็นในขั้นตอนกลางเช่นการจัดตำแหน่งคำและการสร้างแบบจำลองภาษาที่ใช้ในทางสถิติ การแปลด้วยเครื่อง (SMT) ผลงานล่าสุดมักจะใช้โครงสร้างที่ไม่ใช่ทางเทคนิคของงานที่กำหนดเพื่อสร้างเครือข่ายประสาทที่เหมาะสม ^[18]

ต่อไปนี้เป็นรายการของงานวิจัยที่พบบ่อยที่สุดในการประมวลผลภาษาธรรมชาติ งานเหล่านี้บางอย่างมีแอปพลิเคชันในโลกแห่งความเป็นจริงโดยตรงในขณะที่งานอื่น ๆ มักทำหน้าที่เป็นงานย่อยที่ใช้เพื่อช่วยในการแก้ปัญหางานขนาดใหญ่

แม้ว่างานประมวลผลภาษาธรรมชาติจะเกี่ยวพันกันอย่างใกล้ชิด แต่ก็สามารถแบ่งย่อยเป็นหมวดหมู่ได้เพื่อความสะดวก การแบ่งหยาบได้รับด้านล่าง

การประมวลผลข้อความและคำพูด

การรู้จำอักขระด้วยแสง (OCR)

กำหนดรูปภาพที่แสดงข้อความที่พิมพ์ให้กำหนดข้อความที่เกี่ยวข้อง

การรู้จำเสียง

ให้คลิปเสียงของคน ๆ หนึ่งหรือคนที่พูดให้กำหนดการแสดงข้อความของคำพูด นี่คือสิ่งที่ตรงกันข้ามกับ ข้อความเป็นคำพูดและเป็นหนึ่งในปัญหาที่ยากมากที่เรียกว่า " AI-complete " (ดูด้านบน) ในการ พูดที่เป็นธรรมชาติแทบจะไม่มีการหยุดชั่วคราวระหว่างคำที่ต่อเนื่องกันดังนั้นการแบ่งส่วนคำพูดจึง เป็นงานย่อยที่จำเป็นในการรู้จำเสียง (ดูด้านล่าง) ในภาษาพูดส่วนใหญ่เสียงที่แสดงถึงตัวอักษรที่ต่อเนื่องกันจะผสมผสานกันในกระบวนการที่เรียกว่า coarticulationดังนั้นการแปลง สัญญาณแอนะล็อกเป็นอักขระที่ไม่ต่อเนื่องอาจเป็นกระบวนการที่ยากมาก นอกจากนี้เนื่องจากคำในภาษาเดียวกันถูกพูดโดยผู้ที่มีสำเนียงที่แตกต่างกันซอฟต์แวร์การรู้จำเสียงจึงต้องสามารถรับรู้อินพุตที่หลากหลายว่าเหมือนกันในแง่ของความเท่าเทียมกันของข้อความ

การแบ่งส่วนคำพูด

ให้คลิปเสียงของคนพูดหรือคนพูดให้แยกเป็นคำ งานย่อยของ การรู้จำเสียงและโดยทั่วไปจะจัดกลุ่มไว้ด้วยกัน

การอ่านออกเสียงข้อความ

ให้ข้อความแปลงหน่วยเหล่านั้นและสร้างตัวแทนที่เป็นเสียงพูด การอ่านออกเสียงข้อความสามารถใช้เพื่อช่วยเหลือผู้พิการทางสายตาได้ ^[19]

การแบ่งส่วนคำ ( Tokenization )

แยกข้อความที่ต่อเนื่องกันออกเป็นคำแยกกัน สำหรับภาษาเช่น ภาษาอังกฤษนี่เป็นเรื่องเล็กน้อยเนื่องจากโดยปกติแล้วคำจะถูกคั่นด้วยช่องว่าง แต่บางภาษาเขียนเช่น จีน , ญี่ปุ่นและ ไทยทำขอบเขตของคำไม่ได้ทำเครื่องหมายในแฟชั่นดังกล่าวและในบรรดาการแบ่งส่วนภาษาข้อความเป็นงานที่สำคัญต้องมีความรู้ของ คำศัพท์และ สัณฐานวิทยาของคำในภาษา บางครั้งกระบวนการนี้ยังใช้ในกรณีเช่นการสร้าง ถุงคำ (BOW) ในการขุดข้อมูล

การวิเคราะห์ทางสัณฐานวิทยา

Lemmatization

งานในการลบคำลงท้ายที่ผันแปรเท่านั้นและเพื่อส่งคืนรูปแบบพจนานุกรมฐานของคำซึ่งเรียกอีกอย่างว่า lemma Lemmatization เป็นอีกเทคนิคหนึ่งในการลดคำให้อยู่ในรูปแบบปกติ แต่ในกรณีนี้การแปลงจะใช้พจนานุกรมเพื่อแมปคำกับรูปแบบที่แท้จริง ^[20]

การแบ่งส่วนสัณฐานวิทยา

แยกคำออกเป็นแต่ละ morphemesและระบุระดับของ morphemes ความยากของงานนี้ขึ้นอยู่กับความซับซ้อนของ สัณฐานวิทยา ( กล่าวคือโครงสร้างของคำ) ของภาษาที่พิจารณาอย่างมาก ภาษาอังกฤษมีสัณฐานวิทยาที่ค่อนข้างเรียบง่ายโดยเฉพาะอย่างยิ่ง สัณฐานวิทยาแบบผันแปรดังนั้นจึงมักเป็นไปได้ที่จะเพิกเฉยต่องานนี้โดยสิ้นเชิงและเพียงแค่จำลองรูปแบบของคำที่เป็นไปได้ทั้งหมด ( เช่น "เปิดเปิดเปิดเปิด") เป็นคำแยกกัน ในภาษาเช่น ตุรกีหรือ Meitei , ^[21]สูง ติดเป็นก้อนภาษาอินเดีย แต่วิธีการดังกล่าวเป็นไปไม่ได้เป็นแต่ละรายการพจนานุกรมมีหลายพันรูปแบบคำที่เป็นไปได้

การติดแท็กบางส่วนของคำพูด

กำหนดประโยคกำหนด ส่วนของคำพูด (POS) สำหรับแต่ละคำ หลายคำโดยเฉพาะอย่างยิ่งคนทั่วไปสามารถเป็นหลาย ส่วนของคำพูด ตัวอย่างเช่น "book" อาจเป็น คำนาม ("the book on the table") หรือ verb ("to book a flight"); "ชุด" อาจจะเป็น คำนาม , คำกริยาหรือ คำคุณศัพท์ ; และ "out" อาจเป็นส่วนต่างๆของคำพูดอย่างน้อยห้าส่วน

Stemming

กระบวนการลดคำที่ผันแปร (หรือบางครั้งมา) ให้อยู่ในรูปแบบฐาน ( เช่น "ปิด" จะเป็นรากของ "ปิด", "ปิด", "ปิด", "ใกล้ชิด" เป็นต้น) การใช้ Stemming จะให้ผลลัพธ์ที่คล้ายกันกับการใช้คำนาม แต่ทำเช่นนั้นบนพื้นฐานของกฎไม่ใช่พจนานุกรม

การวิเคราะห์วากยสัมพันธ์

การเหนี่ยวนำไวยากรณ์^[22]

สร้าง ไวยากรณ์ที่เป็นทางการที่อธิบายไวยากรณ์ของภาษา

การแตกประโยค (หรือเรียกอีกอย่างว่า "การลด ความสับสนของขอบเขตประโยค ")

ระบุข้อความให้ค้นหาขอบเขตของประโยค ขอบเขตประโยคที่มักจะมีการทำเครื่องหมายโดย ระยะเวลาหรือ เครื่องหมายวรรคตอนแต่ตัวอักษรเดียวกันเหล่านี้สามารถตอบสนองวัตถุประสงค์อื่น ๆ ( เช่นเครื่องหมาย ตัวย่อ )

การแยกวิเคราะห์

กำหนดโครงสร้างการ แยกวิเคราะห์ (การวิเคราะห์ทางไวยากรณ์) ของประโยคที่กำหนด ไวยากรณ์สำหรับ ภาษาธรรมชาติเป็น ที่คลุมเครือและประโยคทั่วไปมีการวิเคราะห์ความเป็นไปได้หลายอาจจะแปลกใจสำหรับประโยคทั่วไปอาจจะมีหลายพันแยกวิเคราะห์ศักยภาพ (ซึ่งส่วนใหญ่จะดูเหมือนไร้สาระอย่างสมบูรณ์เพื่อมนุษย์) : มีสองประเภทหลักของการแยกมี การแยกการพึ่งพาและ เขตเลือกตั้งแยก การแยกวิเคราะห์การอ้างอิงจะเน้นที่ความสัมพันธ์ระหว่างคำในประโยค (การทำเครื่องหมายสิ่งต่างๆเช่นออบเจ็กต์หลักและเพรดิเคต) ในขณะที่การแยกวิเคราะห์แบบแบ่งเขตจะมุ่งเน้นไปที่การสร้างโครงสร้างการแยกวิเคราะห์โดยใช้ไวยากรณ์ที่ไม่มีบริบทที่น่าจะเป็น (PCFG) (ดู ไวยากรณ์แบบสุ่ม )

ความหมายของคำศัพท์ (ของแต่ละคำในบริบท)

ความหมายของคำศัพท์

ความหมายเชิงคำนวณของแต่ละคำในบริบทคืออะไร?

ความหมายการกระจาย

เราจะเรียนรู้การแทนค่าความหมายจากข้อมูลได้อย่างไร?

การรับรู้เอนทิตีที่มีชื่อ (NER)

ให้กระแสของข้อความกำหนดว่ารายการใดในแผนที่ข้อความเป็นชื่อที่เหมาะสมเช่นบุคคลหรือสถานที่และประเภทของชื่อแต่ละชื่อนั้นคืออะไร (เช่นบุคคลสถานที่ตั้งองค์กร) แม้ว่าการ ใช้อักษรตัวพิมพ์ใหญ่จะช่วยในการระบุชื่อเอนทิตีในภาษาเช่นภาษาอังกฤษ แต่ข้อมูลนี้ไม่สามารถช่วยในการกำหนดประเภทของ เอนทิตีที่ระบุชื่อได้และในกรณีใด ๆ มักจะไม่ถูกต้องหรือไม่เพียงพอ ตัวอย่างเช่นอักษรตัวแรกของประโยคจะเป็นตัวพิมพ์ใหญ่เช่นกันและเอนทิตีที่ตั้งชื่อมักจะมีหลายคำซึ่งมีเพียงบางคำเท่านั้นที่เป็นตัวพิมพ์ใหญ่ นอกจากนี้ภาษาอื่น ๆ อีกมากมายในสคริปต์ที่ไม่ใช่ภาษาตะวันตก (เช่น ภาษาจีนหรือ ภาษาอาหรับ ) ไม่มีการใช้อักษรตัวพิมพ์ใหญ่เลยแม้แต่ภาษาที่ใช้อักษรตัวพิมพ์ใหญ่ก็ไม่สามารถใช้เพื่อแยกแยะชื่อได้อย่างสม่ำเสมอ ยกตัวอย่างเช่น เยอรมัน capitalizes ทุก นามไม่ว่าพวกเขาจะมีชื่อและ ฝรั่งเศสและ สเปนไม่ได้ใช้ประโยชน์ชื่อที่ทำหน้าที่เป็น คำคุณศัพท์

การวิเคราะห์ความรู้สึก (ดู การวิเคราะห์ความรู้สึกหลายรูปแบบด้วย )

โดยปกติจะดึงข้อมูลส่วนตัวจากชุดเอกสารโดยมักใช้บทวิจารณ์ออนไลน์เพื่อกำหนด "ขั้ว" เกี่ยวกับวัตถุที่เฉพาะเจาะจง เป็นประโยชน์อย่างยิ่งสำหรับการระบุแนวโน้มของความคิดเห็นสาธารณะในโซเชียลมีเดียสำหรับการตลาด

การแยกคำศัพท์

เป้าหมายของการแยกคำศัพท์คือการดึงคำที่เกี่ยวข้องออกจากคลังข้อมูลที่กำหนดโดยอัตโนมัติ

การเปลี่ยนความรู้สึกของคำ

หลายคำมีมากกว่าหนึ่ง ความหมาย ; เราต้องเลือกความหมายที่เหมาะสมที่สุดในบริบท สำหรับปัญหานี้เรามักจะได้รับรายการของคำและความรู้สึกของคำที่เกี่ยวข้องเช่นจากพจนานุกรมหรือแหล่งข้อมูลออนไลน์เช่น WordNet

ความหมายเชิงสัมพันธ์ (ความหมายของแต่ละประโยค)

การแยกความสัมพันธ์

ระบุข้อความจำนวนหนึ่งระบุความสัมพันธ์ระหว่างหน่วยงานที่ระบุชื่อ (เช่นใครแต่งงานกับใคร)

การแยกวิเคราะห์ความหมาย

ให้ข้อความชิ้นหนึ่ง (โดยทั่วไปคือประโยค) สร้างการแสดงความหมายอย่างเป็นทางการไม่ว่าจะเป็นกราฟ (เช่นในการ แยกวิเคราะห์ AMR ) หรือตามรูปแบบเชิงตรรกะ (เช่นในการ แยกวิเคราะห์ DRT ) โดยทั่วไปแล้วความท้าทายนี้จะรวมถึงแง่มุมของงาน NLP พื้นฐานอื่น ๆ จากความหมาย (เช่นการติดฉลากบทบาทเชิงความหมายการลดทอนความรู้สึกของคำ) และสามารถขยายได้เพื่อรวมถึงการวิเคราะห์วาทกรรมแบบเต็มรูปแบบ (เช่นการวิเคราะห์วาทกรรมการกำหนดแกนกลางดู ความเข้าใจภาษาธรรมชาติด้านล่าง)

การติดฉลากบทบาทเชิงความหมาย (ดูการติดฉลากบทบาทเชิงความหมายโดยนัยด้านล่าง)

กำหนดประโยคเดียวระบุและแยกความหมายของเพรดิเคตเชิงความหมาย (เช่นกรอบคำพูด ) จากนั้นระบุและจัดประเภทองค์ประกอบของเฟรม ( บทบาทเชิงความหมาย )

วาทกรรม (ความหมายนอกเหนือจากแต่ละประโยค)

ความละเอียดของ Coreference

กำหนดประโยคหรือข้อความที่ใหญ่กว่าให้กำหนดว่าคำใด ("กล่าวถึง") อ้างถึงวัตถุเดียวกัน ("เอนทิตี") ความละเอียด Anaphoraเป็นตัวอย่างเฉพาะของงานนี้และเกี่ยวข้องกับการจับคู่ สรรพนามกับคำนามหรือชื่อที่พวกเขาอ้างถึง งานทั่วไปมากขึ้นของความละเอียด coreference นอกจากนี้ยังมีการระบุที่เรียกว่า "ความสัมพันธ์เชื่อมโยง" ที่เกี่ยวข้องกับ สำนวนที่หมาย ตัวอย่างเช่นในประโยคเช่น "เขาเข้าไปในบ้านของจอห์นทางประตูหน้า" "ประตูหน้า" เป็นสำนวนที่อ้างถึงและความสัมพันธ์เชื่อมโยงที่จะระบุคือความจริงที่ว่าประตูที่อ้างถึงคือประตูหน้าของจอห์น บ้าน (แทนที่จะเป็นโครงสร้างอื่น ๆ ที่อาจอ้างถึง)

การวิเคราะห์วาทกรรม

เกณฑ์นี้ประกอบด้วยงานที่เกี่ยวข้องหลายอย่าง งานหนึ่งคือการแยกวิเคราะห์วาทกรรมกล่าวคือการระบุ โครงสร้างวาทกรรมของข้อความที่เกี่ยวโยงกันกล่าวคือลักษณะของความสัมพันธ์ของวาทกรรมระหว่างประโยค (เช่นการอธิบายรายละเอียดการอธิบายความเปรียบต่าง) งานที่เป็นไปได้อีกอย่างหนึ่งคือการจดจำและจัดประเภทของการ พูดเป็นกลุ่มข้อความ (เช่นคำถามใช่ไม่ใช่คำถามเกี่ยวกับเนื้อหาคำสั่งการยืนยัน ฯลฯ )

การติดฉลากบทบาทเชิงความหมายโดยนัย

ให้ประโยคเดียวระบุและแยกความหมายของเพรดิเคตเชิงความหมาย (เช่นกรอบคำพูด ) และบทบาททางความหมายที่ชัดเจนในประโยคปัจจุบัน (ดู การติดฉลากบทบาทเชิงความหมายด้านบน) จากนั้นระบุบทบาทเชิงความหมายที่ไม่ได้รับรู้อย่างชัดเจนในประโยคปัจจุบันจัดประเภทเป็นอาร์กิวเมนต์ที่รับรู้อย่างชัดเจนจากที่อื่นในข้อความและที่ไม่ได้ระบุและแก้ไขอดีตกับข้อความท้องถิ่น งานที่เกี่ยวข้องอย่างใกล้ชิดคือการแก้ปัญหา anaphora เป็นศูนย์กล่าวคือการขยายความละเอียดคอร์เฟอเรนซ์ไปยัง ภาษาโปรดรอป

การรับรู้การส่งมอบข้อความ

กำหนดส่วนข้อความสองส่วนให้พิจารณาว่าส่วนที่เป็นจริงส่งผลต่ออีกส่วนหนึ่งนำไปสู่การปฏิเสธของอีกฝ่ายหนึ่งหรืออนุญาตให้อีกส่วนหนึ่งเป็นจริงหรือเท็จ ^[23]

การแบ่งส่วนหัวข้อและการรับรู้

ระบุกลุ่มข้อความแยกเป็นส่วน ๆ ซึ่งแต่ละส่วนอุทิศให้กับหัวข้อและระบุหัวข้อของกลุ่มนั้น

การขุดอาร์กิวเมนต์

เป้าหมายของการขุดอาร์กิวเมนต์คือการแยกและระบุโครงสร้างอาร์กิวเมนต์โดยอัตโนมัติจาก ข้อความภาษาธรรมชาติด้วยความช่วยเหลือของโปรแกรมคอมพิวเตอร์ ^[24]โครงสร้างการโต้แย้งดังกล่าวรวมถึงหลักฐานข้อสรุป รูปแบบการโต้แย้งและความสัมพันธ์ระหว่างอาร์กิวเมนต์หลักและย่อยหรือการโต้แย้งหลักและการโต้แย้งในวาทกรรม ^{[25] [26]}

แอปพลิเคชัน NLP ระดับสูงขึ้น

การสรุปอัตโนมัติ (การสรุปข้อความ)

จัดทำสรุปข้อความที่อ่านได้ มักใช้เพื่อสรุปเนื้อหาประเภทที่รู้จักเช่นเอกสารการวิจัยบทความในส่วนการเงินของหนังสือพิมพ์

การสร้างหนังสือ

ไม่ใช่งาน NLP ที่เหมาะสม แต่เป็นส่วนเสริมของการสร้างภาษาธรรมชาติและงาน NLP อื่น ๆ คือการสร้างหนังสือที่มีคุณสมบัติครบถ้วน หนังสือที่สร้างด้วยเครื่องจักรเล่มแรกถูกสร้างขึ้นโดยระบบที่ใช้กฎในปี 1984 (Racter เคราของตำรวจถูกสร้างขึ้นครึ่งหนึ่ง ) ^[27]ผลงานตีพิมพ์ครั้งแรกโดยเครือข่ายประสาทเทียมได้รับการตีพิมพ์ในปี 2018 1 the Roadซึ่งวางตลาดเป็นนวนิยายมีคำหกสิบล้านคำ ทั้งสองระบบเหล่านี้มีพื้นซับซ้อน แต่ไม่ใช่ sensical (ความหมายฟรี) รุ่นภาษา หนังสือวิทยาศาสตร์ที่สร้างด้วยเครื่องจักรเล่มแรกได้รับการตีพิมพ์ในปี 2019 (Beta Writer, แบตเตอรี่ลิเธียมไอออน , สปริงเกอร์, จาม) ^[28]แตกต่างจาก Racterและ 1 the Roadสิ่งนี้มีพื้นฐานมาจากความรู้ที่เป็นข้อเท็จจริงและอิงจากการสรุปข้อความ

การจัดการการสนทนา

ระบบคอมพิวเตอร์มีไว้เพื่อสนทนากับมนุษย์

เอกสาร AI

แพลตฟอร์ม Document AI อยู่ด้านบนของเทคโนโลยี NLP ทำให้ผู้ใช้ที่ไม่มีประสบการณ์ด้านปัญญาประดิษฐ์แมชชีนเลิร์นนิงหรือ NLP มาก่อนสามารถฝึกคอมพิวเตอร์เพื่อดึงข้อมูลเฉพาะที่ต้องการจากเอกสารประเภทต่างๆได้อย่างรวดเร็ว Document AI ที่ขับเคลื่อนด้วย NLP ช่วยให้ทีมที่ไม่ใช่ฝ่ายเทคนิคสามารถเข้าถึงข้อมูลที่ซ่อนอยู่ในเอกสารได้อย่างรวดเร็วตัวอย่างเช่นทนายความนักวิเคราะห์ธุรกิจและนักบัญชี ^[29]

การแก้ไขข้อผิดพลาดทางไวยากรณ์

การตรวจจับและแก้ไขข้อผิดพลาดทางไวยากรณ์เกี่ยวข้องกับความกว้างวงกว้างของปัญหาในทุกระดับของการวิเคราะห์ทางภาษา (สัทศาสตร์ / อักขรวิธีสัณฐานวิทยาวากยสัมพันธ์ความหมายเชิงปฏิบัติ) การแก้ไขข้อผิดพลาดทางไวยากรณ์มีผลกระทบเนื่องจากมีผลกระทบต่อผู้คนหลายร้อยล้านคนที่ใช้หรือได้รับภาษาอังกฤษเป็นภาษาที่สอง ดังนั้นจึงต้องมีงานที่ใช้ร่วมกันหลายอย่างตั้งแต่ปี 2011 ^{[30] [31] [32]}เท่าที่การสะกดการันต์สัณฐานวิทยาวากยสัมพันธ์และแง่มุมบางประการของความหมายมีความเกี่ยวข้องและเนื่องจากการพัฒนาแบบจำลองภาษาประสาทที่มีประสิทธิภาพเช่น ในฐานะ GPT-2ตอนนี้ (2019) ถือได้ว่าเป็นปัญหาที่แก้ไขได้ส่วนใหญ่และกำลังวางตลาดในแอพพลิเคชั่นเชิงพาณิชย์ต่างๆ ^[33]

การแปลด้วยเครื่อง

แปลข้อความจากภาษามนุษย์หนึ่งไปเป็นอีกภาษาหนึ่งโดยอัตโนมัติ นี่เป็นหนึ่งในปัญหาที่ยากที่สุดและเป็นส่วนหนึ่งของปัญหาที่เรียกกันติดปากว่า " AI-complete " กล่าวคือต้องการความรู้ประเภทต่างๆทั้งหมดที่มนุษย์มีอยู่ (ไวยากรณ์ความหมายข้อเท็จจริงเกี่ยวกับโลกแห่งความเป็นจริง ฯลฯ .) เพื่อแก้ปัญหาอย่างถูกต้อง

การสร้างภาษาธรรมชาติ (NLG):

แปลงข้อมูลจากฐานข้อมูลคอมพิวเตอร์หรือเจตจำนงเชิงความหมายเป็นภาษามนุษย์ที่อ่านได้

ความเข้าใจภาษาธรรมชาติ (NLU)

แปลงส่วนของข้อความให้เป็นการแสดงที่เป็นทางการมากขึ้นเช่น โครงสร้างลอจิกลำดับที่หนึ่งซึ่งง่ายกว่าสำหรับ โปรแกรมคอมพิวเตอร์ในการจัดการ ความเข้าใจภาษาธรรมชาติเกี่ยวข้องกับการระบุความหมายที่ตั้งใจไว้จากความหมายหลาย ๆ อย่างที่เป็นไปได้ซึ่งได้มาจากการแสดงออกทางภาษาที่เป็นธรรมชาติซึ่งโดยปกติจะอยู่ในรูปของสัญกรณ์ที่จัดระเบียบของแนวคิดภาษาธรรมชาติ การแนะนำและการสร้างรูปแบบภาษาและภววิทยาเป็นวิธีแก้ปัญหาเชิงประจักษ์ที่มีประสิทธิภาพ การทำให้เป็นทางการอย่างชัดเจนของความหมายภาษาธรรมชาติโดยไม่ต้องสับสนกับสมมติฐานโดยปริยายเช่นสมมติฐาน แบบโลกปิด (CWA) เทียบกับ สมมติฐานแบบโลกเปิดหรืออัตนัยใช่ / ไม่ใช่เทียบกับวัตถุประสงค์จริง / เท็จคาดว่าสำหรับการสร้างพื้นฐานของการจัดรูปแบบความหมาย . ^[34]

การตอบคำถาม

กำหนดคำถามภาษามนุษย์ให้กำหนดคำตอบ คำถามทั่วไปจะมีคำตอบที่เฉพาะเจาะจง (เช่น "เมืองหลวงของแคนาดาคืออะไร") แต่บางครั้งก็มีการพิจารณาคำถามปลายเปิดด้วยเช่นกัน (เช่น "ความหมายของชีวิตคืออะไร")

จากแนวโน้มที่มีมายาวนานในสาขานี้จึงสามารถคาดการณ์ทิศทางในอนาคตของ NLP ได้ ในปี 2020 แนวโน้มสามประการในหัวข้อของงาน CoNLL ที่ใช้ร่วมกันมายาวนานสามารถสังเกตได้: ^[35]

• ความสนใจในแง่มุมที่เป็นนามธรรมมากขึ้น "ความรู้ความเข้าใจ" ของภาษาธรรมชาติ (2542-2544: การแยกวิเคราะห์แบบตื้น, 2545-03: การรับรู้เอนทิตีที่มีชื่อ, 2006-09 / 2017-18: ไวยากรณ์การพึ่งพา, 2004-05 / 2008-09 การแสดงบทบาทเชิงความหมาย, การประชุมแกนกลาง 2011-12, 2015-16: การแยกวิเคราะห์วาทกรรม, 2019: การแยกวิเคราะห์เชิงความหมาย)
• เพิ่มความสนใจในหลายภาษาและอาจมีหลายรูปแบบ (อังกฤษตั้งแต่ปี 2542 สเปนดัตช์ตั้งแต่ปี 2545 เยอรมันตั้งแต่ปี 2546 บัลแกเรียเดนมาร์กญี่ปุ่นโปรตุเกสสโลวีเนียสวีเดนตุรกีตั้งแต่ปี 2549 บาสก์คาตาลันจีนกรีกฮังการี , อิตาลี, ตุรกีตั้งแต่ปี 2550; เช็กตั้งแต่ปี 2009 ภาษาอาหรับตั้งแต่ปี 2012; 2017: 40+ ภาษา 2018: 60 + / 100 + ภาษา)
• การกำจัดการแสดงสัญลักษณ์ (ตามกฎเหนือการดูแลไปสู่วิธีการดูแลที่อ่อนแอการเรียนรู้การเป็นตัวแทนและระบบ end-to-end)

ความรู้ความเข้าใจและ NLP

แอปพลิเคชัน NLP ระดับสูงขึ้นไปส่วนใหญ่เกี่ยวข้องกับลักษณะที่เลียนแบบพฤติกรรมที่ชาญฉลาดและความเข้าใจภาษาธรรมชาติที่ชัดเจน การพูดในวงกว้างมากขึ้นการดำเนินงานทางเทคนิคของแง่มุมที่ก้าวหน้ามากขึ้นของพฤติกรรมการรับรู้แสดงถึงวิถีการพัฒนาอย่างหนึ่งของ NLP (ดูแนวโน้มของงานที่ใช้ร่วมกันของ CoNLL ด้านบน)

ความรู้ความเข้าใจหมายถึง "การกระทำทางจิตหรือกระบวนการแสวงหาความรู้และความเข้าใจผ่านความคิดประสบการณ์และความรู้สึก" ^[36] วิทยาศาสตร์ทางปัญญาคือสหวิทยาการการศึกษาทางวิทยาศาสตร์เกี่ยวกับจิตใจและกระบวนการของมัน ^[37] ภาษาศาสตร์องค์ความรู้เป็นสาขาภาษาศาสตร์แบบสหวิทยาการซึ่งรวมความรู้และการวิจัยจากทั้งจิตวิทยาและภาษาศาสตร์ ^[38]โดยเฉพาะอย่างยิ่งในช่วงยุคของNLP เชิงสัญลักษณ์พื้นที่ของภาษาศาสตร์เชิงคำนวณยังคงมีความสัมพันธ์อย่างแน่นแฟ้นกับการศึกษาเกี่ยวกับความรู้ความเข้าใจ

ตัวอย่างเช่นจอร์จเลคมีวิธีการที่จะสร้างการประมวลผลภาษาธรรมชาติ (NLP) ขั้นตอนวิธีการผ่านมุมมองของวิทยาศาสตร์พุทธิปัญญาพร้อมกับผลการวิจัยของภูมิปัญญาภาษาศาสตร์ , ^[39]มีสองกำหนดด้าน:

1. ใช้ทฤษฎีอุปมาเชิงความคิดซึ่งอธิบายโดย Lakoff ว่า“ ความเข้าใจในความคิดหนึ่งในแง่ของอีกความคิดหนึ่ง” ซึ่งให้แนวคิดเกี่ยวกับเจตนาของผู้เขียน ^[40]ตัวอย่างเช่นพิจารณาภาษาอังกฤษคำว่า“บิ๊ก” เมื่อใช้ในการเปรียบเทียบ ( “ นั่นคือต้นไม้ใหญ่” ) ผู้เขียนมีเจตนาที่จะบอกเป็นนัยว่าต้นไม้นั้นมีขนาด“ ใหญ่ทางร่างกาย”เมื่อเทียบกับต้นไม้อื่น ๆ หรือที่ผู้เขียนได้สัมผัส เมื่อนำมาใช้เปรียบเทียบ ( “พรุ่งนี้เป็นวันที่ยิ่งใหญ่” ), ผู้เขียนเป็นความตั้งใจที่จะบ่งบอกถึง“ความสำคัญ” เจตนาที่อยู่เบื้องหลังการใช้งานอื่น ๆ เช่นใน"เธอเป็นคนตัวใหญ่"จะค่อนข้างคลุมเครือสำหรับบุคคลและอัลกอริธึม NLP เกี่ยวกับความรู้ความเข้าใจเหมือนกันโดยไม่มีข้อมูลเพิ่มเติม
2. กำหนดหน่วยวัดความหมายสัมพัทธ์ให้กับคำวลีประโยคหรือชิ้นส่วนของข้อความตามข้อมูลที่นำเสนอก่อนและหลังชิ้นส่วนของข้อความที่กำลังวิเคราะห์เช่นโดยใช้ไวยากรณ์ที่ไม่มีบริบทที่น่าจะเป็น(PCFG) สมการทางคณิตศาสตร์สำหรับอัลกอริทึมดังกล่าวถูกนำเสนอในสิทธิบัตรของสหรัฐอเมริกา 9269353 :

${\ displaystyle {RMM (token_ {N})} = {PMM (token_ {N})} \ times {\ frac {1} {2d}} \ left (\ sum _ {i = -d} ^ {d} {((PMM (token_ {N-1})} \ times {PF (token_ {N}, token_ {N-1})) _ {i}} \ right)}$

ที่ไหน

RMMคือการวัดความหมายสัมพัทธ์

โทเค็นคือส่วนของข้อความประโยควลีหรือคำใด ๆ

Nคือจำนวนโทเค็นที่กำลังวิเคราะห์

PMMคือการวัดความหมายที่น่าจะเป็นไปได้ตามองค์กร

dคือตำแหน่งของโทเค็นตามลำดับของ โทเค็น N-1

PFเป็นฟังก์ชันความน่าจะเป็นที่เฉพาะเจาะจงสำหรับภาษา

ความสัมพันธ์กับภาษาศาสตร์องค์ความรู้เป็นส่วนหนึ่งของมรดกทางประวัติศาสตร์ของ NLP แต่ได้รับการกล่าวถึงน้อยลงนับตั้งแต่มีการเปลี่ยนแปลงทางสถิติในช่วงทศวรรษที่ 1990 อย่างไรก็ตามแนวทางในการพัฒนาแบบจำลองความรู้ความเข้าใจไปสู่กรอบการปฏิบัติงานทางเทคนิคได้ดำเนินการตามบริบทของกรอบต่างๆเช่นไวยากรณ์เกี่ยวกับความรู้ความเข้าใจ^[41]ไวยากรณ์เชิงหน้าที่^[42]ไวยากรณ์การก่อสร้าง^[43]จิตวิทยาเชิงคำนวณและประสาทวิทยาทางปัญญา (เช่นACT-R ) อย่างไรก็ตามมีการรับรู้อย่าง จำกัด ใน NLP กระแสหลัก (ซึ่งวัดจากการปรากฏตัวในการประชุมใหญ่^[44]ของACL ) เมื่อไม่นานมานี้แนวคิดของ NLP เกี่ยวกับความรู้ความเข้าใจได้รับการฟื้นฟูขึ้นใหม่เพื่อให้บรรลุความสามารถในการอธิบายเช่นภายใต้แนวคิดของ "cognitive AI" ^{[45] ใน}ทำนองเดียวกันแนวความคิดของ NLP เกี่ยวกับความรู้ความเข้าใจนั้นมีอยู่ในแบบจำลองของระบบประสาทแบบหลายรูปแบบ NLP (แม้ว่าจะไม่ค่อยมีความชัดเจนก็ตาม) ^[46]