การเรียนรู้ของเครื่อง

แมชชีนเลิร์นนิงเกี่ยวข้องกับคอมพิวเตอร์ที่ค้นพบวิธีที่สามารถทำงานได้โดยไม่ต้องมีการตั้งโปรแกรมอย่างชัดเจนให้ทำเช่นนั้น มันเกี่ยวข้องกับคอมพิวเตอร์ที่เรียนรู้จากข้อมูลที่ให้มาเพื่อให้ทำงานบางอย่างได้ สำหรับงานง่ายๆที่มอบหมายให้กับคอมพิวเตอร์คุณสามารถตั้งโปรแกรมอัลกอริทึมเพื่อบอกวิธีการดำเนินการตามขั้นตอนทั้งหมดที่จำเป็นต่อเครื่องเพื่อแก้ปัญหาในมือ ในส่วนของคอมพิวเตอร์ไม่จำเป็นต้องเรียนรู้ สำหรับงานขั้นสูงอาจเป็นเรื่องท้าทายสำหรับมนุษย์ในการสร้างอัลกอริทึมที่จำเป็นด้วยตนเอง ในทางปฏิบัติมันสามารถช่วยให้เครื่องพัฒนาอัลกอริทึมของตัวเองได้อย่างมีประสิทธิภาพแทนที่จะให้โปรแกรมเมอร์ที่เป็นมนุษย์ระบุทุกขั้นตอนที่จำเป็น ^[7]

วินัยของการเรียนรู้ของเครื่องใช้วิธีการต่างๆในการสอนคอมพิวเตอร์ให้ทำงานให้สำเร็จโดยที่ไม่มีอัลกอริทึมที่น่าพอใจ ในกรณีที่มีคำตอบที่เป็นไปได้จำนวนมากแนวทางหนึ่งคือการระบุคำตอบที่ถูกต้องว่าถูกต้อง จากนั้นสามารถใช้เป็นข้อมูลการฝึกอบรมสำหรับคอมพิวเตอร์เพื่อปรับปรุงอัลกอริทึมที่ใช้เพื่อหาคำตอบที่ถูกต้อง ตัวอย่างเช่นในการฝึกอบรมระบบสำหรับงานการรู้จำอักขระดิจิทัลมักใช้ชุดข้อมูลMNISTของตัวเลขที่เขียนด้วยลายมือ ^[7]

ระยะเวลาเรียนรู้เครื่องได้รับการประกาศเกียรติคุณในปี 1959 โดยอาร์เธอร์ซามูเอลชาวอเมริกันIBMerและเป็นผู้บุกเบิกในด้านการเล่นเกมคอมพิวเตอร์และปัญญาประดิษฐ์ ^{[8] [9]}หนังสือที่เป็นตัวแทนของการวิจัยแมชชีนเลิร์นนิงในช่วงทศวรรษ 1960 คือหนังสือของ Nilsson เรื่องเครื่องจักรการเรียนรู้ซึ่งส่วนใหญ่เกี่ยวข้องกับการเรียนรู้ของเครื่องเพื่อการจำแนกรูปแบบ ^[10]ความสนใจที่เกี่ยวข้องกับการจดจำรูปแบบยังคงดำเนินต่อไปในปี 1970 ตามที่ Duda และ Hart อธิบายไว้ในปี 1973 ^[11]ในปี 1981 ได้รับรายงานเกี่ยวกับการใช้กลยุทธ์การสอนเพื่อให้เครือข่ายประสาทเรียนรู้ที่จะจดจำอักขระ 40 ตัว (26 ตัวอักษร 10 ตัวเลขและสัญลักษณ์พิเศษ 4 ตัว) จากเทอร์มินัลคอมพิวเตอร์ ^[12]

Tom M. Mitchellให้คำจำกัดความที่เป็นทางการและเป็นทางการมากขึ้นของอัลกอริทึมที่ศึกษาในสาขาแมชชีนเลิร์นนิงว่า "โปรแกรมคอมพิวเตอร์ได้รับการกล่าวถึงว่าเรียนรู้จากประสบการณ์Eเกี่ยวกับงานบางประเภทTและการวัดประสิทธิภาพPหากประสิทธิภาพในงาน ในTซึ่งวัดโดยPจะดีขึ้นด้วยประสบการณ์E " ^[13]คำจำกัดความของงานที่เกี่ยวข้องกับการเรียนรู้ของเครื่องให้คำจำกัดความพื้นฐานในการปฏิบัติงานมากกว่าการกำหนดสาขาในแง่ของความรู้ความเข้าใจ สิ่งนี้เป็นไปตามข้อเสนอของAlan Turingในกระดาษ " Computing Machinery and Intelligence " ซึ่งคำถาม "เครื่องจักรคิดได้หรือไม่" ถูกแทนที่ด้วยคำถาม "เครื่องจักรสามารถทำในสิ่งที่เรา (ในฐานะหน่วยงานทางความคิด) ทำได้หรือไม่" ^[14]

แมชชีนเลิร์นนิงในปัจจุบันมีวัตถุประสงค์ 2 ประการประการหนึ่งคือการจัดประเภทข้อมูลตามแบบจำลองที่ได้รับการพัฒนาและจุดประสงค์อื่น ๆ คือการคาดคะเนผลลัพธ์ในอนาคตตามแบบจำลองเหล่านี้ อัลกอริทึมสมมุติเฉพาะสำหรับการจำแนกข้อมูลอาจใช้การมองเห็นของโมลด้วยคอมพิวเตอร์ควบคู่ไปกับการเรียนรู้ภายใต้การดูแลเพื่อฝึกให้สามารถจำแนกไฝที่เป็นมะเร็งได้ ในขณะที่อัลกอริทึมการเรียนรู้ของเครื่องสำหรับการซื้อขายหุ้นอาจแจ้งให้ผู้ซื้อขายทราบถึงการคาดการณ์ที่อาจเกิดขึ้นในอนาคต ^[15]

ปัญญาประดิษฐ์

แมชชีนเลิร์นนิงเป็นฟิลด์ย่อยของ AI ^[16]

ส่วนหนึ่งของแมชชีนเลิร์นนิงเป็นฟิลด์ย่อยของ AI หรือส่วนหนึ่งของ AI เป็นฟิลด์ย่อยของแมชชีนเลิร์นนิง ^[17]

ในฐานะที่เป็นความพยายามทางวิทยาศาสตร์การเรียนรู้ของเครื่องจึงเกิดขึ้นจากการแสวงหาปัญญาประดิษฐ์ ในยุคแรกของ AI เป็นระเบียบวินัยทางวิชาการนักวิจัยบางคนสนใจที่จะให้เครื่องจักรเรียนรู้จากข้อมูล พวกเขาพยายามที่จะแก้ไขปัญหาด้วยวิธีการเชิงสัญลักษณ์ต่าง ๆ เช่นเดียวกับสิ่งที่เรียกว่า " เครือข่ายประสาท "; เหล่านี้ส่วนใหญ่เป็นเพอร์เซปตรอนและรุ่นอื่น ๆที่พบในภายหลังจะเป็น reinventions ของแบบจำลองเชิงเส้นทั่วไปของสถิติ ^[18] ความน่าจะเป็นเหตุผลที่ยังถูกจ้างโดยเฉพาะอย่างยิ่งในอัตโนมัติวินิจฉัยทางการแพทย์ ^{[19] : 488}

อย่างไรก็ตามการให้ความสำคัญมากขึ้นเกี่ยวกับแนวทางเชิงตรรกะที่ใช้ความรู้ทำให้เกิดความแตกแยกระหว่าง AI และการเรียนรู้ของเครื่อง ระบบความน่าจะเป็นถูกรบกวนจากปัญหาทางทฤษฎีและทางปฏิบัติของการได้มาและการเป็นตัวแทนของข้อมูล ^{[19] : 488}ในปี 1980 ระบบผู้เชี่ยวชาญได้เข้ามามีบทบาทเหนือ AI และสถิติก็ไม่เป็นที่ต้องการ ^[20]การทำงานกับการเรียนรู้สัญลักษณ์ / ความรู้ตามไม่ดำเนินการต่อภายใน AI ที่นำไปสู่การโปรแกรมตรรกะเชิงอุปนัยแต่บรรทัดสถิติอื่น ๆ ของการวิจัยคือตอนนี้นอก AI เหมาะสมในการจดจำรูปแบบและการดึงข้อมูล ^{[19] : 708–710;} การวิจัยเครือข่ายประสาทเทียม⁷⁵⁵ถูกละทิ้งโดย AI และวิทยาการคอมพิวเตอร์ในช่วงเวลาเดียวกัน บรรทัดนี้มากเกินไปได้อย่างต่อเนื่องนอกสนาม AI / CS ขณะที่ " connectionism " โดยนักวิจัยจากสาขาวิชาอื่น ๆ รวมทั้งHopfield , Rumelhartและฮินตัน ความสำเร็จหลักของพวกเขาเกิดขึ้นในช่วงกลางทศวรรษที่ 1980 ด้วยการคิดค้นbackpropagationขึ้นมาใหม่ ^{[19] : 25}

แมชชีนเลิร์นนิง (ML) ซึ่งจัดโครงสร้างใหม่เป็นสาขาวิชาแยกต่างหากเริ่มเฟื่องฟูในปี 1990 สนามเปลี่ยนเป้าหมายจากการบรรลุปัญญาประดิษฐ์เป็นการแก้ปัญหาที่สามารถแก้ไขได้ในลักษณะที่ใช้งานได้จริง มันเปลี่ยนโฟกัสไปจากแนวทางเชิงสัญลักษณ์ที่สืบทอดมาจาก AI และไปสู่วิธีการและแบบจำลองที่ยืมมาจากสถิติและทฤษฎีความน่าจะเป็น ^[20]

ในปี 2020 แหล่งข้อมูลหลายแห่งยังคงยืนยันว่าการเรียนรู้ของเครื่องยังคงเป็นสาขาย่อยของ AI ^{[21] [22] [16]}ความขัดแย้งหลักคือ ML ทั้งหมดเป็นส่วนหนึ่งของ AI หรือไม่เนื่องจากหมายความว่าใครก็ตามที่ใช้ ML สามารถอ้างว่าตนใช้ AI ได้ คนอื่น ๆ มีความเห็นว่า ML ทั้งหมดไม่ได้เป็นส่วนหนึ่งของ AI ^{[23] [24] [25]}ซึ่งมีเพียงชุดย่อย 'อัจฉริยะ' ของ ML เท่านั้นที่เป็นส่วนหนึ่งของ AI ^[26]

คำถามกับสิ่งที่เป็นความแตกต่างระหว่าง ML และ AI ที่เป็นคำตอบจากแคว้นยูเดียเพิร์ลในหนังสือของทำไม ^[27]ดังนั้น ML จึงเรียนรู้และคาดการณ์โดยอาศัยการสังเกตแบบพาสซีฟในขณะที่ AI หมายถึงตัวแทนที่มีปฏิสัมพันธ์กับสิ่งแวดล้อมเพื่อเรียนรู้และดำเนินการเพื่อเพิ่มโอกาสในการบรรลุเป้าหมาย ^[30]

การขุดข้อมูล

เครื่องเรียนรู้และทำเหมืองข้อมูลมักจะใช้วิธีการเดียวกันและซ้อนทับกันอย่างมีนัยสำคัญ แต่ในขณะที่การเรียนรู้เครื่องมุ่งเน้นไปที่การคาดการณ์บนพื้นฐานที่รู้จักกันในคุณสมบัติที่ได้เรียนรู้จากข้อมูลการฝึกอบรมการทำเหมืองข้อมูลมุ่งเน้นไปที่การค้นพบของ (ก่อนหน้านี้) ที่ไม่รู้จักคุณสมบัติในข้อมูล (นี้คือ ขั้นตอนการวิเคราะห์การค้นพบความรู้ในฐานข้อมูล) การขุดข้อมูลใช้วิธีการเรียนรู้ของเครื่องหลายวิธี แต่มีเป้าหมายที่แตกต่างกัน ในทางกลับกันแมชชีนเลิร์นนิงยังใช้วิธีการขุดข้อมูลเป็น "การเรียนรู้ที่ไม่มีผู้ดูแล" หรือเป็นขั้นตอนก่อนการประมวลผลเพื่อปรับปรุงความแม่นยำของผู้เรียน ความสับสนส่วนใหญ่ระหว่างชุมชนการวิจัยทั้งสองนี้ (ซึ่งมักมีการประชุมแยกกันและวารสารแยกกันECML PKDDเป็นข้อยกเว้นที่สำคัญ) มาจากสมมติฐานพื้นฐานที่พวกเขาทำงานด้วย: ในแมชชีนเลิร์นนิงโดยปกติแล้วประสิทธิภาพจะได้รับการประเมินเกี่ยวกับความสามารถในการผลิตซ้ำความรู้ที่รู้จักในขณะที่ในการค้นหาความรู้และการขุดข้อมูล (KDD) ภารกิจหลักคือการค้นพบความรู้ที่ไม่รู้จักมาก่อน เมื่อประเมินตามความรู้ที่ทราบแล้ววิธีการที่ไม่มีข้อมูล (ไม่ได้รับการดูแล) จะมีประสิทธิภาพดีกว่าวิธีการอื่น ๆ ที่ได้รับการดูแลอย่างง่ายดายในขณะที่ในงาน KDD ทั่วไปจะไม่สามารถใช้วิธีการภายใต้การดูแลได้เนื่องจากข้อมูลการฝึกอบรมไม่พร้อมใช้งาน

การเพิ่มประสิทธิภาพ

แมชชีนเลิร์นนิงยังมีความสัมพันธ์ใกล้ชิดกับการเพิ่มประสิทธิภาพ : ปัญหาการเรียนรู้จำนวนมากถูกกำหนดขึ้นเพื่อลดฟังก์ชันการสูญเสียบางส่วนในชุดการฝึกอบรม ฟังก์ชันการสูญเสียเป็นการแสดงความคลาดเคลื่อนระหว่างการคาดคะเนของแบบจำลองที่ได้รับการฝึกฝนและอินสแตนซ์ปัญหาที่เกิดขึ้นจริง (ตัวอย่างเช่นในการจัดหมวดหมู่เราต้องการกำหนดป้ายกำกับให้กับอินสแตนซ์และแบบจำลองจะได้รับการฝึกฝนให้คาดการณ์ป้ายกำกับที่กำหนดไว้ล่วงหน้าของชุด ตัวอย่าง). ^[31]

ลักษณะทั่วไป

ความแตกต่างระหว่างการเพิ่มประสิทธิภาพและการเรียนรู้ของเครื่องเกิดจากเป้าหมายของการวางนัยทั่วไป: ในขณะที่อัลกอริธึมการเพิ่มประสิทธิภาพสามารถลดการสูญเสียในชุดการฝึกอบรมการเรียนรู้ของเครื่องเกี่ยวข้องกับการลดการสูญเสียของตัวอย่างที่มองไม่เห็น การกำหนดลักษณะทั่วไปของอัลกอริธึมการเรียนรู้ต่างๆเป็นหัวข้อสำคัญของการวิจัยในปัจจุบันโดยเฉพาะอย่างยิ่งสำหรับอัลกอริทึมการเรียนรู้เชิงลึก

สถิติ

การเรียนรู้ของเครื่องและสถิติเป็นสาขาที่เกี่ยวข้องอย่างใกล้ชิดในแง่ของวิธีการ แต่มีความแตกต่างกันในเป้าหมายหลัก: สถิติดึงการอนุมานประชากรจากกลุ่มตัวอย่างในขณะที่การเรียนรู้ของเครื่องพบรูปแบบการคาดการณ์ที่เข้าใจได้โดยทั่วไป ^[32]ตามที่ไมเคิลไอ. จอร์แดนแนวคิดของการเรียนรู้ของเครื่องตั้งแต่หลักการระเบียบวิธีไปจนถึงเครื่องมือทางทฤษฎีมีประวัติมายาวนานในสถิติ ^[33]นอกจากนี้เขายังแนะนำคำว่าdata scienceเป็นตัวยึดเพื่อเรียกเขตข้อมูลโดยรวม ^[33]

ลีโอเบรแมนโดดเด่นทางสถิติสองกระบวนทัศน์การสร้างแบบจำลอง: รูปแบบข้อมูลและรูปแบบอัลกอริทึม^[34]ขัดแย้ง "รูปแบบอัลกอริทึม" หมายความว่ามากหรือน้อยกว่าเครื่องอัลกอริทึมเช่นการเรียนรู้ป่าสุ่ม

สถิติบางคนได้นำวิธีการจากการเรียนรู้เครื่องที่นำไปสู่สนามรวมกันที่พวกเขาเรียกว่าการเรียนรู้ทางสถิติ ^[35]

วัตถุประสงค์หลักของผู้เรียนคือการสรุปจากประสบการณ์ ^{[4] [36] ลักษณะ}ทั่วไปในบริบทนี้คือความสามารถของเครื่องการเรียนรู้ในการดำเนินการอย่างถูกต้องกับตัวอย่าง / งานใหม่ที่มองไม่เห็นหลังจากได้สัมผัสกับชุดข้อมูลการเรียนรู้ ตัวอย่างการฝึกอบรมมาจากการแจกแจงความน่าจะเป็นโดยทั่วไปที่ไม่ทราบสาเหตุ (ถือว่าเป็นตัวแทนของพื้นที่ที่เกิดขึ้น) และผู้เรียนต้องสร้างแบบจำลองทั่วไปเกี่ยวกับพื้นที่นี้เพื่อให้สามารถคาดการณ์ได้อย่างแม่นยำเพียงพอในกรณีใหม่ ๆ

การวิเคราะห์การคำนวณของขั้นตอนวิธีการเรียนรู้เครื่องและประสิทธิภาพการทำงานของพวกเขาเป็นสาขาหนึ่งของวิชาวิทยาการคอมพิวเตอร์ที่รู้จักกันเป็นทฤษฎีการเรียนรู้คอมพิวเตอร์ เนื่องจากชุดฝึกมีขอบเขต จำกัด และอนาคตไม่แน่นอนทฤษฎีการเรียนรู้มักไม่รับประกันประสิทธิภาพของอัลกอริทึม แต่ขอบเขตความน่าจะเป็นของประสิทธิภาพนั้นค่อนข้างธรรมดา สลายตัวอคติความแปรปรวนเป็นวิธีหนึ่งที่จะหาจำนวนทั่วไปข้อผิดพลาด

เพื่อประสิทธิภาพที่ดีที่สุดในบริบทของการวางนัยทั่วไปความซับซ้อนของสมมติฐานควรตรงกับความซับซ้อนของฟังก์ชันที่อยู่ภายใต้ข้อมูล หากสมมติฐานมีความซับซ้อนน้อยกว่าฟังก์ชันแสดงว่าแบบจำลองมีข้อมูลน้อยกว่า หากความซับซ้อนของแบบจำลองเพิ่มขึ้นตามการตอบสนองข้อผิดพลาดในการฝึกอบรมจะลดลง แต่ถ้าสมมุติฐานซับซ้อนเกินไปแบบจำลองนั้นอาจมีการปรับแต่งมากเกินไปและการกำหนดลักษณะทั่วไปจะด้อยลง ^[37]

นอกเหนือจากขอบเขตด้านประสิทธิภาพแล้วนักทฤษฎีการเรียนรู้ยังศึกษาความซับซ้อนของเวลาและความเป็นไปได้ของการเรียนรู้ ในทางทฤษฎีการเรียนรู้คอมพิวเตอร์คำนวณถือว่าเป็นไปได้ว่าจะสามารถทำได้ในเวลาพหุนาม ผลลัพธ์ของความซับซ้อนของเวลามีสองประเภท ผลลัพธ์ที่เป็นบวกแสดงให้เห็นว่าฟังก์ชันบางคลาสสามารถเรียนรู้ได้ในเวลาพหุนาม ผลลัพธ์เชิงลบแสดงให้เห็นว่าไม่สามารถเรียนรู้บางคลาสในเวลาพหุนาม

โดยทั่วไปแล้ววิธีการเรียนรู้ของเครื่องจะแบ่งออกเป็นสามประเภทกว้าง ๆ โดยขึ้นอยู่กับลักษณะของ "สัญญาณ" หรือ "ข้อเสนอแนะ" ที่มีให้ในระบบการเรียนรู้:

• การเรียนรู้ภายใต้การดูแล : คอมพิวเตอร์จะแสดงอินพุตตัวอย่างและเอาต์พุตที่ต้องการซึ่งกำหนดโดย "ครู" และเป้าหมายคือการเรียนรู้กฎทั่วไปที่จับคู่อินพุตกับเอาต์พุต
• การเรียนรู้ที่ไม่มีผู้ดูแล: ไม่มีการกำหนดป้ายกำกับให้กับอัลกอริทึมการเรียนรู้โดยปล่อยให้อัลกอริทึมการเรียนรู้เป็นของตัวเองเพื่อค้นหาโครงสร้างในอินพุต การเรียนรู้ที่ไม่มีผู้ดูแลอาจเป็นเป้าหมายในตัวมันเอง (การค้นพบรูปแบบที่ซ่อนอยู่ในข้อมูล) หรือวิธีการไปสู่จุดจบ ( การเรียนรู้คุณลักษณะ )
• การเรียนรู้การเสริมกำลัง : โปรแกรมคอมพิวเตอร์โต้ตอบกับสภาพแวดล้อมแบบไดนามิกซึ่งจะต้องทำเป้าหมายบางอย่าง (เช่นขับรถหรือเล่นเกมกับคู่ต่อสู้) ในขณะที่สำรวจพื้นที่ปัญหาโปรแกรมจะให้ข้อเสนอแนะที่คล้ายคลึงกับรางวัลซึ่งจะพยายามเพิ่มให้มากที่สุด ^[4]

การเรียนรู้ภายใต้การดูแล

การสนับสนุนเครื่องเวกเตอร์เป็นรูปแบบการเรียนรู้ภายใต้การดูแลที่แบ่งข้อมูลลงในภูมิภาคคั่นด้วย ขอบเขตเชิงเส้น ที่นี่ขอบเขตเชิงเส้นแบ่งวงกลมสีดำออกจากสีขาว

อัลกอริทึมการเรียนรู้ภายใต้การดูแลสร้างแบบจำลองทางคณิตศาสตร์ของชุดข้อมูลที่มีทั้งอินพุตและเอาต์พุตที่ต้องการ ^[38]ข้อมูลนี้เรียกว่าข้อมูลการฝึกอบรมและประกอบด้วยชุดตัวอย่างการฝึกอบรม ตัวอย่างการฝึกอบรมแต่ละรายการมีอินพุตอย่างน้อยหนึ่งรายการและเอาต์พุตที่ต้องการหรือที่เรียกว่าสัญญาณควบคุม ในแบบจำลองทางคณิตศาสตร์แต่ละตัวอย่างเช่นการฝึกอบรมมีตัวแทนเป็นอาร์เรย์หรือเวกเตอร์บางครั้งเรียกว่าเวกเตอร์คุณลักษณะและข้อมูลการฝึกอบรมเป็นตัวแทนจากเมทริกซ์ ผ่านการเพิ่มประสิทธิภาพการซ้ำของฟังก์ชันวัตถุประสงค์ภายใต้การดูแลขั้นตอนวิธีการเรียนรู้เรียนรู้ฟังก์ชั่นที่สามารถใช้ในการทำนายการส่งออกที่เกี่ยวข้องกับปัจจัยการผลิตใหม่ ^[39]ฟังก์ชันที่เหมาะสมที่สุดจะช่วยให้อัลกอริทึมสามารถกำหนดเอาต์พุตสำหรับอินพุตที่ไม่ได้เป็นส่วนหนึ่งของข้อมูลการฝึกอบรมได้อย่างถูกต้อง อัลกอริทึมที่ปรับปรุงความถูกต้องของผลลัพธ์หรือการคาดการณ์เมื่อเวลาผ่านไปกล่าวกันว่าได้เรียนรู้ที่จะทำงานนั้น ^[13]

ประเภทของขั้นตอนวิธีการเรียนรู้ภายใต้การดูแลรวมถึงการเรียนรู้การใช้งาน , การจัดหมวดหมู่และการถดถอย ^[40]อัลกอริทึมการจำแนกจะใช้เมื่อเอาต์พุตถูก จำกัด ไว้ที่ชุดค่าที่ จำกัด และอัลกอริทึมการถดถอยจะใช้เมื่อผลลัพธ์อาจมีค่าตัวเลขใด ๆ ภายในช่วง ตัวอย่างเช่นสำหรับอัลกอริทึมการจัดหมวดหมู่ที่กรองอีเมลข้อมูลที่ป้อนจะเป็นอีเมลขาเข้าและผลลัพธ์จะเป็นชื่อของโฟลเดอร์ที่จะส่งอีเมล

การเรียนรู้เกี่ยวกับความคล้ายคลึงกันเป็นพื้นที่ของการเรียนรู้ของเครื่องภายใต้การดูแลที่เกี่ยวข้องอย่างใกล้ชิดกับการถดถอยและการจำแนกประเภท แต่เป้าหมายคือการเรียนรู้จากตัวอย่างโดยใช้ฟังก์ชันความคล้ายคลึงกันที่วัดว่าวัตถุทั้งสองมีความเหมือนหรือเกี่ยวข้องกันอย่างไร แต่ก็มีการใช้งานในการจัดอันดับ , ระบบข้อเสนอแนะการติดตามตัวภาพการตรวจสอบใบหน้าและการตรวจสอบลำโพง

การเรียนรู้ที่ไม่มีผู้ดูแล

อัลกอริทึมการเรียนรู้ที่ไม่ได้รับการดูแลใช้ชุดข้อมูลที่มีเฉพาะอินพุตและค้นหาโครงสร้างในข้อมูลเช่นการจัดกลุ่มหรือการจัดกลุ่มจุดข้อมูล ดังนั้นอัลกอริทึมจึงเรียนรู้จากข้อมูลการทดสอบที่ไม่ได้รับการติดป้ายจำแนกหรือจัดหมวดหมู่ แทนที่จะตอบสนองต่อข้อเสนอแนะอัลกอริทึมการเรียนรู้ที่ไม่ได้รับการดูแลจะระบุความคล้ายคลึงกันในข้อมูลและตอบสนองตามการมีหรือไม่มีความคล้ายคลึงกันดังกล่าวในข้อมูลใหม่แต่ละชิ้น แอพลิเคชันกลางของการเรียนรู้ใกล้ชิดในด้านของการประมาณค่าความหนาแน่นในสถิติเช่นการหาฟังก์ชั่นความหนาแน่นของความน่าจะเป็น ^[41]แม้ว่าการเรียนรู้โดยไม่ได้รับการดูแลจะครอบคลุมโดเมนอื่น ๆ ที่เกี่ยวข้องกับการสรุปและอธิบายคุณลักษณะของข้อมูล

การวิเคราะห์คลัสเตอร์คือการกำหนดชุดของการสังเกตเป็นส่วนย่อย (เรียกว่าคลัสเตอร์ ) เพื่อให้การสังเกตภายในคลัสเตอร์เดียวกันมีความคล้ายคลึงกันตามเกณฑ์ที่กำหนดไว้ล่วงหน้าอย่างน้อยหนึ่งเกณฑ์ในขณะที่การสังเกตที่ดึงมาจากคลัสเตอร์ที่แตกต่างกันจะแตกต่างกัน เทคนิคการจัดกลุ่มที่แตกต่างกันทำให้เกิดสมมติฐานที่แตกต่างกันเกี่ยวกับโครงสร้างของข้อมูลซึ่งมักกำหนดโดยเมตริกความคล้ายคลึงกันและประเมินผลเช่นโดยความกะทัดรัดภายในหรือความคล้ายคลึงกันระหว่างสมาชิกของคลัสเตอร์เดียวกันและการแยกความแตกต่างระหว่างคลัสเตอร์ วิธีการอื่น ๆ จะขึ้นอยู่กับความหนาแน่นประมาณและการเชื่อมต่อกราฟ

การเรียนรู้แบบกึ่งดูแล

การเรียนรู้กึ่งภายใต้การดูแลอยู่ระหว่างการเรียนรู้ใกล้ชิด (ไม่มีข้อมูลการฝึกอบรมที่มีป้ายกำกับ) และภายใต้การดูแลการเรียนรู้ (ที่มีข้อมูลการฝึกอบรมที่มีข้อความสมบูรณ์) ตัวอย่างการฝึกอบรมบางส่วนไม่มีป้ายกำกับการฝึกอบรม แต่นักวิจัยด้านแมชชีนเลิร์นนิงหลายคนพบว่าข้อมูลที่ไม่มีป้ายกำกับเมื่อใช้ร่วมกับข้อมูลที่มีป้ายกำกับจำนวนเล็กน้อยสามารถทำให้เกิดการปรับปรุงความแม่นยำในการเรียนรู้ได้มาก

ในการเรียนรู้ที่ได้รับการดูแลอย่างอ่อนป้ายการฝึกอบรมจะมีเสียงดัง จำกัด หรือไม่ชัดเจน อย่างไรก็ตามป้ายเหล่านี้มักจะได้ราคาถูกกว่าทำให้ได้ชุดฝึกที่มีประสิทธิภาพมากขึ้น ^[42]

การเรียนรู้แบบเสริมกำลัง

การเรียนรู้แบบเสริมกำลังเป็นส่วนหนึ่งของการเรียนรู้ของเครื่องที่เกี่ยวข้องกับวิธีที่ตัวแทนซอฟต์แวร์ควรดำเนินการในสภาพแวดล้อมเพื่อเพิ่มแนวคิดเกี่ยวกับรางวัลสะสมให้ได้มากที่สุด เนื่องจากการทั่วไปของข้อมูลที่มีการศึกษาในสาขาวิชาอื่น ๆ เป็นจำนวนมากเช่นทฤษฎีเกม , ทฤษฎีการควบคุม , การดำเนินงานวิจัย , ทฤษฎีสารสนเทศ , การเพิ่มประสิทธิภาพการจำลอง-based , ระบบตัวแทนหลาย , ความฉลาดแบบกลุ่ม , สถิติและขั้นตอนวิธีพันธุกรรม ในการเรียนรู้ของเครื่องโดยทั่วไปสภาพแวดล้อมจะแสดงเป็นกระบวนการตัดสินใจของ Markov (MDP) อัลกอริธึมการเรียนรู้การเสริมแรงจำนวนมากใช้เทคนิคการเขียนโปรแกรมแบบไดนามิก ^[43]อัลกอริธึมการเรียนรู้แบบเสริมกำลังไม่ถือว่ามีความรู้เกี่ยวกับแบบจำลองทางคณิตศาสตร์ที่แน่นอนของ MDP และจะใช้เมื่อแบบจำลองที่แน่นอนไม่สามารถทำได้ อัลกอริธึมการเรียนรู้การเสริมกำลังใช้ในยานยนต์อิสระหรือในการเรียนรู้ที่จะเล่นเกมกับคู่ต่อสู้ที่เป็นมนุษย์

การลดขนาด

การลดขนาดเป็นกระบวนการลดจำนวนตัวแปรสุ่มภายใต้การพิจารณาโดยการรับชุดของตัวแปรหลัก ^[44]กล่าวอีกนัยหนึ่งก็คือกระบวนการลดขนาดของชุดคุณลักษณะของคุณหรือที่เรียกว่าไม่มีคุณลักษณะ เทคนิคการลดขนาดส่วนใหญ่ถือได้ว่าเป็นการกำจัดคุณลักษณะหรือการสกัด วิธีการลดขนาดที่เป็นที่นิยมวิธีหนึ่งเรียกว่าเป็นการวิเคราะห์องค์ประกอบหลัก

• การวิเคราะห์องค์ประกอบหลัก (PCA)

PCA เกี่ยวข้องกับการเปลี่ยนข้อมูลมิติที่สูงขึ้น (เช่น 3D) เป็นพื้นที่ขนาดเล็ก (เช่น 2D) ส่งผลให้มีขนาดข้อมูลที่เล็กลง (2D แทนที่จะเป็น 3D) ในขณะที่เก็บตัวแปรดั้งเดิมทั้งหมดไว้ในแบบจำลองโดยไม่เปลี่ยนแปลงข้อมูล ^[45]

ประเภทอื่น ๆ

มีการพัฒนาแนวทางอื่น ๆ ซึ่งไม่เข้ากับการจัดหมวดหมู่สามเท่านี้อย่างเรียบร้อยและบางครั้งระบบแมชชีนเลิร์นนิงเดียวกันก็ใช้มากกว่าหนึ่งวิธี ยกตัวอย่างเช่นการสร้างแบบจำลองหัวข้อ , การเรียนรู้เมตา ^[46]

ในปี 2020 การเรียนรู้เชิงลึกได้กลายเป็นแนวทางที่โดดเด่นสำหรับการทำงานอย่างต่อเนื่องในสาขาแมชชีนเลิร์นนิง ^[7]

เรียนด้วยตัวเอง

การเรียนรู้ด้วยตนเองเป็นกระบวนทัศน์การเรียนรู้ของเครื่องถูกนำมาใช้ในปีพ. ศ. 2525 พร้อมกับเครือข่ายประสาทเทียมที่สามารถเรียนรู้ด้วยตนเองที่ชื่ออาร์เรย์แบบปรับได้ของคานขวาง (CAA) ^[47]เป็นการเรียนรู้ที่ไม่มีรางวัลจากภายนอกและไม่มีคำแนะนำจากครูภายนอก อัลกอริธึมการเรียนรู้ด้วยตนเองของ CAA คำนวณในลักษณะคานประตูทั้งการตัดสินใจเกี่ยวกับการกระทำและอารมณ์ (ความรู้สึก) เกี่ยวกับสถานการณ์ที่เป็นผล ระบบขับเคลื่อนโดยปฏิสัมพันธ์ระหว่างความรู้ความเข้าใจและอารมณ์ ^[48]อัลกอริทึมการเรียนรู้ด้วยตนเองจะอัปเดตเมทริกซ์หน่วยความจำ W = || w (a, s) || ดังนั้นในการทำซ้ำแต่ละครั้งจะดำเนินการตามขั้นตอนการเรียนรู้ของเครื่องดังต่อไปนี้:

 ในสถานการณ์ให้ดำเนินการ a; รับผลของสถานการณ์ '; คำนวณอารมณ์ของการอยู่ในสถานการณ์ที่เป็นผล v (s '); อัพเดตหน่วยความจำคาน w '(a, s) = w (a, s) + v (s')

เป็นระบบที่มีอินพุตสถานการณ์และเอาต์พุตการกระทำ (หรือพฤติกรรม) เพียงหนึ่งรายการเท่านั้น ไม่มีอินพุตเสริมแรงแยกต่างหากหรืออินพุตคำแนะนำจากสภาพแวดล้อม ค่า backpropagated (การเสริมแรงทุติยภูมิ) คืออารมณ์ที่มีต่อสถานการณ์ที่ตามมา CAA มีอยู่ในสองสภาพแวดล้อมหนึ่งคือสภาพแวดล้อมเชิงพฤติกรรมที่มันทำงานและอีกแบบคือสภาพแวดล้อมทางพันธุกรรมซึ่งจากนั้นเริ่มแรกและเพียงครั้งเดียวที่ได้รับอารมณ์เริ่มต้นเกี่ยวกับสถานการณ์ที่จะพบในสภาพแวดล้อมเชิงพฤติกรรม หลังจากได้รับเวกเตอร์จีโนม (ชนิด) จากสภาพแวดล้อมทางพันธุกรรม CAA จะเรียนรู้พฤติกรรมการแสวงหาเป้าหมายในสภาพแวดล้อมที่มีทั้งสถานการณ์ที่พึงปรารถนาและไม่พึงปรารถนา ^[49]

คุณลักษณะการเรียนรู้

อัลกอริธึมการเรียนรู้หลายอย่างมีจุดมุ่งหมายเพื่อค้นหาการนำเสนอที่ดีขึ้นของอินพุตที่ให้ไว้ในระหว่างการฝึกอบรม ^[50]ตัวอย่างคลาสสิก ได้แก่การวิเคราะห์องค์ประกอบหลักและการวิเคราะห์คลัสเตอร์ อัลกอริทึมการเรียนรู้คุณลักษณะหรือที่เรียกว่าอัลกอริธึมการเรียนรู้การเป็นตัวแทนมักจะพยายามเก็บรักษาข้อมูลในข้อมูลที่ป้อน แต่ยังแปลงข้อมูลในลักษณะที่ทำให้เกิดประโยชน์โดยมักเป็นขั้นตอนก่อนการประมวลผลก่อนที่จะดำเนินการจำแนกหรือคาดคะเน เทคนิคนี้ช่วยให้สามารถสร้างอินพุตใหม่ที่มาจากการกระจายที่สร้างข้อมูลที่ไม่รู้จักในขณะที่ไม่จำเป็นต้องยึดมั่นกับการกำหนดค่าที่ไม่น่าเชื่อภายใต้การกระจายนั้น สิ่งนี้จะแทนที่วิศวกรรมคุณลักษณะแบบแมนนวลและช่วยให้เครื่องเรียนรู้คุณสมบัติและใช้เพื่อทำงานบางอย่างได้

การเรียนรู้คุณลักษณะสามารถอยู่ภายใต้การดูแลหรือไม่ได้รับการดูแล ในการเรียนรู้คุณลักษณะภายใต้การดูแลคุณลักษณะต่างๆจะเรียนรู้โดยใช้ข้อมูลอินพุตที่มีป้ายกำกับ ตัวอย่าง ได้แก่เครือข่ายประสาทเทียม , เพอร์เซปตรอนหลายและดูแลการเรียนรู้พจนานุกรม ในการเรียนรู้เกี่ยวกับคุณลักษณะที่ไม่ได้รับการดูแลคุณลักษณะต่างๆจะได้รับการเรียนรู้ด้วยข้อมูลอินพุตที่ไม่มีป้ายกำกับ ตัวอย่างเช่นการเรียนรู้พจนานุกรมวิเคราะห์องค์ประกอบอิสระ , autoencoders , เมทริกซ์ตีนเป็ด^[51]และรูปแบบต่างๆของการจัดกลุ่ม ^{[52] [53] [54]}

อัลกอริทึมการเรียนรู้ของ Manifoldพยายามทำเช่นนั้นภายใต้ข้อ จำกัด ที่ว่าการแสดงที่เรียนรู้นั้นมีมิติต่ำ อัลกอริธึมการเข้ารหัสแบบกระจัดกระจายพยายามทำเช่นนั้นภายใต้ข้อ จำกัด ที่ว่าการแสดงที่เรียนรู้นั้นเบาบางซึ่งหมายความว่าแบบจำลองทางคณิตศาสตร์มีเลขศูนย์จำนวนมาก อัลกอริธึมการเรียนรู้พื้นที่ย่อยหลายเชิงเส้นมีเป้าหมายเพื่อเรียนรู้การแทนค่ามิติต่ำโดยตรงจากการแทนค่าเทนเซอร์สำหรับข้อมูลหลายมิติโดยไม่ต้องเปลี่ยนรูปร่างให้เป็นเวกเตอร์มิติที่สูงขึ้น ^[55] อัลกอริธึมการเรียนรู้เชิงลึกค้นพบการแสดงหลายระดับหรือลำดับชั้นของคุณลักษณะโดยมีคุณลักษณะที่เป็นนามธรรมระดับสูงกว่าซึ่งกำหนดไว้ใน (หรือสร้าง) คุณลักษณะระดับล่าง เป็นที่ถกเถียงกันอยู่ว่าเครื่องจักรอัจฉริยะคือเครื่องจักรที่เรียนรู้การเป็นตัวแทนที่แยกตัวออกจากปัจจัยพื้นฐานของการเปลี่ยนแปลงที่อธิบายข้อมูลที่สังเกตได้ ^[56]

การเรียนรู้คุณลักษณะได้รับแรงจูงใจจากข้อเท็จจริงที่ว่างานการเรียนรู้ของเครื่องเช่นการจัดหมวดหมู่มักต้องการข้อมูลเข้าที่สะดวกในการประมวลผลทางคณิตศาสตร์และคำนวณ อย่างไรก็ตามข้อมูลในโลกแห่งความเป็นจริงเช่นรูปภาพวิดีโอและข้อมูลทางประสาทสัมผัสไม่ได้รับผลจากความพยายามที่จะกำหนดคุณลักษณะเฉพาะโดยใช้อัลกอริทึม อีกทางเลือกหนึ่งคือการค้นพบคุณสมบัติหรือการนำเสนอดังกล่าวผ่านการตรวจสอบโดยไม่ต้องอาศัยอัลกอริทึมที่ชัดเจน

การเรียนรู้พจนานุกรมแบบกระจัดกระจาย

การเรียนรู้พจนานุกรมเบาบางเป็นวิธีการเรียนรู้คุณลักษณะที่เป็นตัวอย่างการฝึกอบรมจะแสดงเป็นการรวมกันเชิงเส้นของฟังก์ชั่นพื้นฐานและถือว่าเป็นเมทริกซ์เบาบาง วิธีนี้เป็นวิธีNP ที่ยากและยากที่จะแก้ปัญหาโดยประมาณ ^[57]วิธีการฮิวริสติกที่เป็นที่นิยมสำหรับการเรียนรู้พจนานุกรมแบบกระจัดกระจายคืออัลกอริทึมK-SVD การเรียนรู้พจนานุกรมแบบกระจัดกระจายถูกนำไปใช้ในหลายบริบท ในการจัดหมวดหมู่ปัญหาคือการกำหนดชั้นเรียนที่เป็นตัวอย่างการฝึกอบรมที่มองไม่เห็นก่อนหน้านี้ สำหรับพจนานุกรมที่แต่ละคลาสได้ถูกสร้างขึ้นแล้วตัวอย่างการฝึกอบรมใหม่จะเชื่อมโยงกับคลาสที่แสดงโดยพจนานุกรมที่เกี่ยวข้องอย่างเบาบางที่สุด นอกจากนี้ยังมีการใช้การเรียนรู้พจนานุกรมแบบกระจัดกระจายในการลดเสียงรบกวนด้วยภาพ แนวคิดหลักคือแพทช์รูปภาพที่สะอาดสามารถแสดงได้อย่างเบาบางโดยพจนานุกรมรูปภาพ แต่ไม่มีสัญญาณรบกวน ^[58]

การตรวจจับความผิดปกติ

ในการขุดข้อมูลการตรวจจับความผิดปกติหรือที่เรียกว่าการตรวจจับค่าผิดปกติคือการระบุสิ่งของหายากเหตุการณ์หรือการสังเกตการณ์ที่ทำให้เกิดความสงสัยโดยแตกต่างอย่างมีนัยสำคัญจากข้อมูลส่วนใหญ่ ^[59]โดยทั่วไปรายการที่ผิดปกติจะแสดงถึงปัญหาเช่นการฉ้อโกงของธนาคารความบกพร่องของโครงสร้างปัญหาทางการแพทย์หรือข้อผิดพลาดในข้อความ ความผิดปกติเรียกว่าค่าผิดปกติความแปลกใหม่เสียงความเบี่ยงเบนและข้อยกเว้น ^[60]

โดยเฉพาะอย่างยิ่งในบริบทของการละเมิดและการตรวจจับการบุกรุกของเครือข่ายวัตถุที่น่าสนใจมักจะไม่ใช่วัตถุหายาก แต่เป็นการระเบิดที่ไม่ได้ใช้งานโดยไม่คาดคิด รูปแบบนี้ไม่เป็นไปตามคำจำกัดความทางสถิติทั่วไปของค่าผิดปกติในฐานะวัตถุหายากและวิธีการตรวจจับค่าผิดปกติหลายวิธี (โดยเฉพาะอัลกอริทึมที่ไม่ได้รับการดูแล) จะล้มเหลวในข้อมูลดังกล่าวเว้นแต่จะได้รับการรวบรวมอย่างเหมาะสม แต่อัลกอริทึมการวิเคราะห์คลัสเตอร์อาจสามารถตรวจจับไมโครคลัสเตอร์ที่เกิดจากรูปแบบเหล่านี้ได้ ^[61]

มีเทคนิคการตรวจจับความผิดปกติสามประเภทกว้าง ๆ ^[62]เทคนิคการตรวจจับความผิดปกติที่ไม่ได้รับการดูแลจะตรวจจับความผิดปกติในชุดข้อมูลการทดสอบที่ไม่มีป้ายกำกับภายใต้สมมติฐานว่าอินสแตนซ์ส่วนใหญ่ในชุดข้อมูลเป็นเรื่องปกติโดยมองหาอินสแตนซ์ที่ดูเหมือนจะพอดีกับส่วนที่เหลือของชุดข้อมูลน้อยที่สุด เทคนิคการตรวจจับความผิดปกติที่ได้รับการดูแลจำเป็นต้องใช้ชุดข้อมูลที่ระบุว่า "ปกติ" และ "ผิดปกติ" และเกี่ยวข้องกับการฝึกตัวจำแนกประเภท (ความแตกต่างที่สำคัญของปัญหาการจำแนกทางสถิติอื่น ๆ อีกมากมายคือลักษณะที่ไม่สมดุลโดยเนื้อแท้ของการตรวจจับค่าผิดปกติ) เทคนิคการตรวจจับความผิดปกติแบบกึ่งควบคุมจะสร้างแบบจำลองที่แสดงพฤติกรรมปกติจากชุดข้อมูลการฝึกอบรมปกติที่กำหนดจากนั้นทดสอบความเป็นไปได้ของอินสแตนซ์การทดสอบที่โมเดลจะสร้างขึ้น

การเรียนรู้ของหุ่นยนต์

ในหุ่นยนต์พัฒนาการ , หุ่นยนต์การเรียนรู้ขั้นตอนวิธีการสร้างลำดับของตัวเองประสบการณ์การเรียนรู้ที่เรียกว่าเป็นหลักสูตรที่จะสะสมได้เรียนรู้ทักษะใหม่ผ่านการสำรวจแนะนำตัวเองและการมีปฏิสัมพันธ์ทางสังคมกับมนุษย์ หุ่นยนต์เหล่านี้ใช้กลไกการแนะนำเช่นการเรียนรู้อย่างกระตือรือร้นการเจริญเติบโตการทำงานร่วมกันของมอเตอร์และการเลียนแบบ

กฎการเชื่อมโยง

การเรียนรู้กฎการเชื่อมโยงเป็นวิธีการเรียนรู้ของเครื่องตามกฎสำหรับการค้นหาความสัมพันธ์ระหว่างตัวแปรในฐานข้อมูลขนาดใหญ่ มีจุดมุ่งหมายเพื่อระบุกฎที่ชัดเจนที่ค้นพบในฐานข้อมูลโดยใช้การวัด "ความน่าสนใจ" ^[63]

การเรียนรู้ของเครื่องตามกฎเป็นคำทั่วไปสำหรับวิธีการเรียนรู้ของเครื่องที่ระบุเรียนรู้หรือพัฒนา "กฎ" เพื่อจัดเก็บจัดการหรือประยุกต์ใช้ความรู้ การกำหนดลักษณะเฉพาะของอัลกอริธึมการเรียนรู้ของเครื่องที่อิงตามกฎคือการระบุและการใช้ชุดของกฎเชิงสัมพันธ์ที่รวมกันเป็นตัวแทนของความรู้ที่จับโดยระบบ สิ่งนี้ตรงกันข้ามกับอัลกอริทึมการเรียนรู้ของเครื่องอื่น ๆ ที่มักระบุรูปแบบเอกพจน์ที่สามารถนำไปใช้กับอินสแตนซ์ใดก็ได้ในระดับสากลเพื่อทำการคาดคะเน ^[64]อิงตามกฎวิธีการเรียนรู้ของเครื่องรวมถึงการเรียนรู้ระบบการจําแนก , กฎความสัมพันธ์และระบบภูมิคุ้มกันเทียม

ตามแนวคิดของกฎที่แข็งแกร่งRakesh Agrawal , Tomasz Imielińskiและ Arun Swami ได้แนะนำกฎการเชื่อมโยงสำหรับการค้นหาความสม่ำเสมอระหว่างผลิตภัณฑ์ในข้อมูลธุรกรรมขนาดใหญ่ที่บันทึกโดยระบบณ จุดขาย (POS) ในซูเปอร์มาร์เก็ต ^[65]ตัวอย่างเช่นกฎ${\ displaystyle \ {\ mathrm {หัวหอมมันฝรั่ง} \} \ Rightarrow \ {\ mathrm {เบอร์เกอร์} \}}$พบในข้อมูลการขายของซูเปอร์มาร์เก็ตระบุว่าหากลูกค้าซื้อหัวหอมและมันฝรั่งด้วยกันพวกเขาก็มีแนวโน้มที่จะซื้อเนื้อแฮมเบอร์เกอร์ด้วย ข้อมูลดังกล่าวสามารถนำมาใช้เป็นพื้นฐานสำหรับการตัดสินใจเกี่ยวกับการจัดกิจกรรมทางการตลาดเช่นการส่งเสริมการขายการกำหนดราคาหรือตำแหน่งผลิตภัณฑ์ นอกเหนือไปจากการวิเคราะห์ตะกร้าตลาด , กฎสมาคมมีการจ้างงานวันนี้ในพื้นที่ใช้รวมทั้งการทำเหมืองแร่การใช้งานเว็บ , ตรวจจับการบุกรุก , การผลิตอย่างต่อเนื่องและชีวสารสนเทศ ในทางตรงกันข้ามกับการขุดตามลำดับการเรียนรู้กฎการเชื่อมโยงมักไม่พิจารณาลำดับของรายการทั้งภายในธุรกรรมหรือข้ามธุรกรรม

ระบบการเรียนรู้ลักษณนาม (LCS) เป็นครอบครัวตามกฎขั้นตอนวิธีการเรียนรู้ของเครื่องที่รวมองค์ประกอบการค้นพบมักจะเป็นวิธีทางพันธุกรรมกับองค์ประกอบการเรียนรู้การดำเนินการอย่างใดอย่างหนึ่งภายใต้การดูแลการเรียนรู้ , การเรียนรู้การเสริมแรงหรือการเรียนรู้ใกล้ชิด พวกเขาพยายามที่จะระบุชุดของกฎที่ขึ้นกับบริบทซึ่งจัดเก็บและประยุกต์ใช้ความรู้ในลักษณะทีละส่วนเพื่อทำการคาดการณ์ ^[66]

การเขียนโปรแกรมลอจิกอุปนัย (ILP) เป็นแนวทางในการเรียนรู้กฎโดยใช้การเขียนโปรแกรมลอจิกเป็นตัวแทนที่เหมือนกันสำหรับตัวอย่างอินพุตความรู้พื้นฐานและสมมติฐาน เมื่อได้รับการเข้ารหัสของความรู้ภูมิหลังที่ทราบและชุดของตัวอย่างที่แสดงเป็นฐานข้อมูลเชิงตรรกะของข้อเท็จจริงระบบ ILP จะได้รับโปรแกรมตรรกะที่ตั้งสมมติฐานซึ่งนำมาซึ่งตัวอย่างเชิงบวกและไม่มีเชิงลบทั้งหมด การเขียนโปรแกรมอุปนัยเป็นสาขาที่เกี่ยวข้องที่จะพิจารณาชนิดของการเขียนโปรแกรมภาษาสำหรับการเป็นตัวแทนสมมติฐาน (และโปรแกรมตรรกะไม่ได้เท่านั้น) เช่นใดโปรแกรมการทำงาน

โปรแกรมตรรกะอุปนัยเป็นประโยชน์อย่างยิ่งในชีวสารสนเทศและการประมวลผลภาษาธรรมชาติ Gordon PlotkinและEhud Shapiroวางรากฐานทางทฤษฎีเบื้องต้นสำหรับการเรียนรู้ของเครื่องอุปนัยในการตั้งค่าเชิงตรรกะ ^{[67] [68] [69]} Shapiro สร้างการนำไปใช้งานครั้งแรก (Model Inference System) ในปี 1981: โปรแกรม Prolog ที่อนุมานโปรแกรมตรรกะจากตัวอย่างเชิงบวกและเชิงลบ ^[70]คำว่าอุปนัยในที่นี้หมายถึงการอุปนัยเชิงปรัชญาโดยเสนอทฤษฎีเพื่ออธิบายข้อเท็จจริงที่สังเกตได้แทนที่จะเป็นอุปนัยทางคณิตศาสตร์พิสูจน์คุณสมบัติสำหรับสมาชิกทุกคนในเซตที่ได้รับคำสั่งอย่างดี

โมเดล

การดำเนินการเรียนรู้ของเครื่องเกี่ยวข้องกับการสร้างแบบจำลองซึ่งได้รับการฝึกอบรมเกี่ยวกับข้อมูลการฝึกอบรมบางส่วนจากนั้นสามารถประมวลผลข้อมูลเพิ่มเติมเพื่อทำการคาดคะเน มีการใช้และวิจัยแบบจำลองประเภทต่างๆสำหรับระบบแมชชีนเลิร์นนิง

โครงข่ายประสาทเทียม

เครือข่ายประสาทเทียมเป็นกลุ่มที่เชื่อมต่อกันของโหนดคล้ายกับเครือข่ายที่กว้างขวางของ เซลล์ประสาทใน สมอง ที่นี่โหนดวงกลมแต่ละอันแสดงถึง เซลล์ประสาทเทียมและลูกศรแสดงถึงการเชื่อมต่อจากเอาต์พุตของเซลล์ประสาทเทียมหนึ่งไปยังอินพุตของอีกเซลล์หนึ่ง

เครือข่ายประสาทเทียม (ANNs) หรือconnectionistระบบมีระบบรางรับแรงบันดาลใจจากการคำนวณโครงข่ายประสาทที่เป็นสัตว์สมอง ระบบดังกล่าว "เรียนรู้" ที่จะปฏิบัติงานโดยพิจารณาจากตัวอย่างโดยทั่วไปจะไม่มีการตั้งโปรแกรมด้วยกฎเฉพาะงานใด ๆ

ANN ไปเป็นรูปแบบขึ้นอยู่กับคอลเลกชันของหน่วยงานที่เกี่ยวโยงกันหรือโหนดที่เรียกว่า " เซลล์ประสาทเทียม " ซึ่งหลวมแบบจำลองเซลล์ประสาทในทางชีวภาพสมอง การเชื่อมต่อแต่ละครั้งเช่นเดียวกับไซแนปส์ในสมองชีวภาพสามารถส่งข้อมูล "สัญญาณ" จากเซลล์ประสาทเทียมหนึ่งไปยังอีกเซลล์หนึ่งได้ เซลล์ประสาทเทียมที่รับสัญญาณสามารถประมวลผลแล้วส่งสัญญาณเซลล์ประสาทเทียมเพิ่มเติมที่เชื่อมต่อกับมัน ในการใช้งาน ANN ทั่วไปสัญญาณที่เชื่อมต่อระหว่างเซลล์ประสาทเทียมเป็นจำนวนจริงและผลลัพธ์ของเซลล์ประสาทเทียมแต่ละตัวจะคำนวณโดยฟังก์ชันที่ไม่ใช่เชิงเส้นของผลรวมของอินพุต การเชื่อมต่อระหว่างเซลล์ประสาทเทียมเรียกว่า "ขอบ" โดยทั่วไปเซลล์ประสาทและขอบเทียมจะมีน้ำหนักที่ปรับเปลี่ยนไปตามการเรียนรู้ น้ำหนักจะเพิ่มหรือลดความแรงของสัญญาณเมื่อเชื่อมต่อ เซลล์ประสาทเทียมอาจมีขีด จำกัด ที่สัญญาณจะถูกส่งก็ต่อเมื่อสัญญาณรวมข้ามขีด จำกัด นั้น โดยปกติเซลล์ประสาทเทียมจะรวมกันเป็นชั้น ๆ เลเยอร์ที่แตกต่างกันอาจทำการแปลงประเภทต่างๆกับอินพุตของมัน สัญญาณเดินทางจากเลเยอร์แรก (เลเยอร์อินพุต) ไปยังเลเยอร์สุดท้าย (เลเยอร์เอาต์พุต) อาจเป็นไปได้หลังจากข้ามเลเยอร์หลายครั้ง

เป้าหมายเดิมของแนวทาง ANN คือการแก้ปัญหาในลักษณะเดียวกับที่สมองของมนุษย์ต้องการ แต่เมื่อเวลาผ่านไปความสนใจย้ายไปปฏิบัติงานที่เฉพาะเจาะจงนำไปสู่การเบี่ยงเบนไปจากชีววิทยา เครือข่ายประสาทเทียมได้ถูกนำมาใช้ในความหลากหลายของงานรวมถึงวิสัยทัศน์คอมพิวเตอร์ , การรู้จำเสียง , เครื่องแปลภาษา , เครือข่ายสังคมการกรองเล่นกระดานและวิดีโอเกมและการวินิจฉัยทางการแพทย์

การเรียนรู้เชิงลึกประกอบด้วยเลเยอร์ที่ซ่อนอยู่หลายชั้นในเครือข่ายประสาทเทียม วิธีการนี้พยายามจำลองวิธีที่สมองของมนุษย์ประมวลผลแสงและเสียงไปสู่การมองเห็นและการได้ยิน บางโปรแกรมที่ประสบความสำเร็จของการเรียนรู้ลึกคอมพิวเตอร์วิสัยทัศน์และรู้จำเสียงพูด ^[71]

ต้นไม้ตัดสินใจ

การเรียนรู้แบบต้นไม้การตัดสินใจใช้ต้นไม้การตัดสินใจเป็นแบบจำลองการคาดเดาเพื่อเปลี่ยนจากการสังเกตเกี่ยวกับรายการ (แสดงในสาขา) ไปจนถึงข้อสรุปเกี่ยวกับมูลค่าเป้าหมายของรายการ (แสดงในใบไม้) เป็นหนึ่งในวิธีการสร้างแบบจำลองเชิงคาดการณ์ที่ใช้ในสถิติการขุดข้อมูลและการเรียนรู้ของเครื่อง แบบจำลองต้นไม้ที่ตัวแปรเป้าหมายสามารถรับชุดค่าที่ไม่ต่อเนื่องได้เรียกว่าแผนผังการจำแนก ในโครงสร้างต้นไม้เหล่านี้ใบไม้เป็นตัวแทนของป้ายชื่อคลาสและกิ่งก้านแทนคำสันธานของคุณสมบัติที่นำไปสู่ป้ายชื่อคลาสเหล่านั้น ต้นไม้การตัดสินใจที่ตัวแปรเป้าหมายสามารถรับค่าต่อเนื่อง (โดยทั่วไปคือจำนวนจริง ) เรียกว่าต้นไม้การถดถอย ในการวิเคราะห์การตัดสินใจต้นไม้ตัดสินใจสามารถใช้ในการมองเห็นได้อย่างชัดเจนและเป็นตัวแทนของการตัดสินใจและการตัดสินใจ ในการขุดข้อมูลแผนภูมิการตัดสินใจจะอธิบายถึงข้อมูล แต่โครงสร้างการจำแนกที่เป็นผลลัพธ์สามารถเป็นข้อมูลสำหรับการตัดสินใจได้

เครื่องสนับสนุนเวกเตอร์

เครื่องสนับสนุนเวกเตอร์ (SVM) หรือที่เรียกว่าเครือข่ายเวกเตอร์สนับสนุนเป็นชุดของวิธีการเรียนรู้ภายใต้การดูแลที่เกี่ยวข้องซึ่งใช้สำหรับการจำแนกประเภทและการถดถอย ด้วยชุดตัวอย่างการฝึกอบรมแต่ละชุดเป็นหนึ่งในสองประเภทอัลกอริทึมการฝึกอบรม SVM จะสร้างแบบจำลองที่คาดการณ์ว่าตัวอย่างใหม่จะอยู่ในหมวดหมู่หนึ่งหรืออีกหมวดหมู่ ^[72]อัลกอริทึมการฝึกอบรม SVM เป็นที่ไม่น่าจะเป็น , ไบนารี , ลักษณนามเชิงเส้นแม้ว่าวิธีการเช่นแพลตขูดหินปูนที่มีอยู่เพื่อใช้ SVM ในการตั้งค่าการจัดหมวดหมู่ความน่าจะเป็น นอกเหนือจากการจำแนกประเภทเชิงเส้นแล้ว SVM ยังสามารถทำการจำแนกประเภทที่ไม่ใช่เชิงเส้นได้อย่างมีประสิทธิภาพโดยใช้สิ่งที่เรียกว่าเคล็ดลับเคอร์เนลโดยการแมปอินพุตของพวกเขาลงในช่องว่างที่มีมิติสูงโดยปริยาย

ภาพประกอบการถดถอยเชิงเส้นบนชุดข้อมูล

การวิเคราะห์การถดถอย

การวิเคราะห์การถดถอยครอบคลุมวิธีการทางสถิติที่หลากหลายเพื่อประมาณความสัมพันธ์ระหว่างตัวแปรอินพุตและคุณลักษณะที่เกี่ยวข้อง รูปแบบที่พบมากที่สุดคือการถดถอยเชิงเส้นที่บรรทัดเดียวถูกวาดแบบที่ดีที่สุดข้อมูลที่กำหนดให้เป็นไปตามเกณฑ์ที่ทางคณิตศาสตร์เช่นสี่เหลี่ยมน้อยธรรมดา หลังมักจะขยายออกไปโดยกู (คณิตศาสตร์)วิธีการเพื่อบรรเทา overfitting และอคติในขณะที่การถดถอยสันเขา เมื่อจัดการกับปัญหาที่ไม่ใช่เชิงเส้นแบบจำลอง go-to จะรวมถึงการถดถอยพหุนาม (ตัวอย่างเช่นใช้สำหรับการปรับเส้นแนวโน้มใน Microsoft Excel ^[73] ) การถดถอยโลจิสติก (มักใช้ในการจำแนกทางสถิติ ) หรือแม้แต่การถดถอยของเคอร์เนลซึ่งทำให้เกิดความไม่เป็นเชิงเส้น โดยใช้ประโยชน์จากเคล็ดลับเคอร์เนลเพื่อแมปตัวแปรอินพุตโดยปริยายกับพื้นที่มิติที่สูงขึ้น

เครือข่ายแบบเบย์

เครือข่าย Bayesian ที่เรียบง่าย ฝนมีผลต่อการเปิดใช้งานสปริงเกลอร์และทั้งฝนและสปริงเกลอร์มีผลต่อการทำให้หญ้าเปียกหรือไม่

เครือข่ายแบบเบย์เครือข่ายความเชื่อหรือแบบจำลองกราฟิกแบบอะไซคลิกที่กำหนดทิศทางเป็นแบบจำลองกราฟิกที่น่าจะเป็นที่แสดงถึงชุดของตัวแปรสุ่มและความเป็นอิสระตามเงื่อนไขด้วยกราฟอะไซคลิกที่กำหนดทิศทาง (DAG) ตัวอย่างเช่นเครือข่ายแบบเบย์อาจแสดงถึงความสัมพันธ์ที่น่าจะเป็นระหว่างโรคและอาการ เมื่อแสดงอาการเครือข่ายสามารถใช้เพื่อคำนวณความน่าจะเป็นของการปรากฏตัวของโรคต่างๆ อัลกอริทึมที่มีประสิทธิภาพมีอยู่ซึ่งทำการอนุมานและเรียนรู้ เครือข่ายแบบเบย์ที่ลำดับรูปแบบของตัวแปรเช่นสัญญาณเสียงพูดหรือโปรตีนจะถูกเรียกว่าเครือข่ายแบบเบย์แบบไดนามิก ภาพรวมของเครือข่ายแบบเบย์ที่สามารถเป็นตัวแทนและแก้ปัญหาการตัดสินใจภายใต้ความไม่แน่นอนจะเรียกว่าแผนภาพอิทธิพล

อัลกอริธึมทางพันธุกรรม

อัลกอริธึมทางพันธุกรรม (GA) คืออัลกอริทึมการค้นหาและเทคนิคฮิวริสติกที่เลียนแบบกระบวนการคัดเลือกโดยธรรมชาติโดยใช้วิธีการต่างๆเช่นการกลายพันธุ์และการไขว้เพื่อสร้างจีโนไทป์ใหม่โดยหวังว่าจะหาวิธีแก้ปัญหาที่ดี ในการเรียนรู้ของเครื่องมีการใช้อัลกอริทึมทางพันธุกรรมในช่วงปี 1980 และ 1990 ^{[74] [75]}ตรงกันข้ามเทคนิคการเรียนรู้เครื่องได้ถูกนำมาใช้ในการปรับปรุงประสิทธิภาพการทำงานของพันธุกรรมและขั้นตอนวิธีวิวัฒนาการ ^[76]

แบบจำลองการฝึกอบรม

โดยปกติโมเดลแมชชีนเลิร์นนิงต้องใช้ข้อมูลจำนวนมากเพื่อให้ทำงานได้ดี โดยปกติแล้วเมื่อฝึกโมเดลแมชชีนเลิร์นนิงเราจำเป็นต้องรวบรวมตัวอย่างข้อมูลจำนวนมากจากชุดการฝึกอบรม ข้อมูลจากชุดการฝึกอบรมสามารถเปลี่ยนแปลงได้เช่นเดียวกับคลังข้อความชุดรูปภาพและข้อมูลที่รวบรวมจากผู้ใช้บริการแต่ละราย การฟิตติ้งมากเกินไปเป็นสิ่งที่ต้องระวังเมื่อฝึกโมเดลแมชชีนเลิร์นนิง แบบจำลองที่ผ่านการฝึกอบรมมาจากข้อมูลเอนเอียงอาจส่งผลให้การคาดการณ์บิดเบือนหรือไม่เป็นที่ต้องการ อคติของอัลกอริทึมเป็นผลมาจากข้อมูลที่ไม่ได้เตรียมไว้อย่างครบถ้วนสำหรับการฝึกอบรม

การเรียนรู้แบบรวมศูนย์

การเรียนรู้แบบรวมศูนย์เป็นรูปแบบที่ดัดแปลงของปัญญาประดิษฐ์แบบกระจายเพื่อฝึกโมเดลการเรียนรู้ของเครื่องที่กระจายอำนาจในกระบวนการฝึกอบรมทำให้สามารถรักษาความเป็นส่วนตัวของผู้ใช้โดยไม่จำเป็นต้องส่งข้อมูลไปยังเซิร์ฟเวอร์ส่วนกลาง นอกจากนี้ยังเพิ่มประสิทธิภาพด้วยการกระจายอำนาจกระบวนการฝึกอบรมไปยังอุปกรณ์ต่างๆ ยกตัวอย่างเช่นGboardใช้การเรียนรู้เครื่อง federated รถไฟการค้นหาคำทำนายรุ่นต่างๆในโทรศัพท์มือถือของผู้ใช้โดยไม่ต้องส่งการค้นหาแต่ละกลับไปยังGoogle ^[77]

มีแอปพลิเคชันมากมายสำหรับการเรียนรู้ของเครื่อง ได้แก่ :

ในปี 2549 ผู้ให้บริการสื่อNetflix ได้จัดการแข่งขัน " Netflix Prize " ครั้งแรกเพื่อค้นหาโปรแกรมที่คาดเดาความชอบของผู้ใช้ได้ดีขึ้นและปรับปรุงความถูกต้องของอัลกอริทึมการแนะนำภาพยนตร์ Cinematch ที่มีอยู่อย่างน้อย 10% ทีมงานร่วมกันซึ่งประกอบด้วยนักวิจัยจากAT&T Labs -Research ร่วมกับทีม Big Chaos และ Pragmatic Theory ได้สร้างแบบจำลองทั้งมวลเพื่อคว้ารางวัล Grand Prize ในปี 2009 ด้วยเงิน 1 ล้านดอลลาร์ ^[79]ไม่นานหลังจากได้รับรางวัล Netflix ก็ตระหนักว่าการให้คะแนนของผู้ชมไม่ใช่ตัวบ่งชี้รูปแบบการรับชมที่ดีที่สุด ("ทุกอย่างเป็นคำแนะนำ") และพวกเขาก็เปลี่ยนเครื่องมือแนะนำตามนั้น ^[80]ในปี 2010 The Wall Street Journal เขียนเกี่ยวกับ Rebellion Research ของ บริษัท และการใช้แมชชีนเลิร์นนิงเพื่อทำนายวิกฤตการเงิน ^[81]ในปี 2012, ผู้ร่วมก่อตั้งของSun Microsystems , Vinod Khoslaคาดการณ์ว่า 80% ของงานแพทย์จะหายไปในช่วงสองทศวรรษต่อไปยังเครื่องอัตโนมัติการเรียนรู้ซอฟต์แวร์การวินิจฉัยทางการแพทย์ ^[82]ในปี 2014 มีรายงานว่ามีการนำอัลกอริทึมการเรียนรู้ของเครื่องมาใช้ในสาขาประวัติศาสตร์ศิลปะเพื่อศึกษาภาพวาดวิจิตรศิลป์และอาจเผยให้เห็นถึงอิทธิพลที่ไม่เป็นที่รู้จักในหมู่ศิลปินมาก่อน ^[83]ในปี 2019 Springer Nature ได้ตีพิมพ์หนังสืองานวิจัยเล่มแรกที่สร้างขึ้นโดยใช้แมชชีนเลิร์นนิง ^[84]ในปี 2020 เทคโนโลยีแมชชีนเลิร์นนิงถูกนำมาใช้เพื่อช่วยในการวินิจฉัยและช่วยเหลือนักวิจัยในการพัฒนาการรักษาโควิด -19 ^[85]แมชชีนเลิร์นนิงถูกนำไปใช้เพื่อทำนายพฤติกรรมสีเขียวของมนุษย์เมื่อไม่นานมานี้ ^[86]

แม้ว่าแมชชีนเลิร์นนิงจะมีการเปลี่ยนแปลงในบางสาขา แต่โปรแกรมแมชชีนเลิร์นนิงมักไม่สามารถให้ผลลัพธ์ที่คาดหวังได้ ^{[87] [88] [89]}สาเหตุนี้มีมากมาย: ขาดข้อมูล (ที่เหมาะสม), ขาดการเข้าถึงข้อมูล, อคติของข้อมูล, ปัญหาความเป็นส่วนตัว, งานและอัลกอริทึมที่เลือกไม่ดี, เครื่องมือและผู้คนที่ไม่ถูกต้อง, การขาดทรัพยากร, และปัญหาการประเมินผล ^[90]

ในปี 2018 รถยนต์ที่ขับเคลื่อนด้วยตัวเองของUberล้มเหลวในการตรวจจับคนเดินถนนซึ่งเสียชีวิตหลังจากการชนกัน ^[91]ความพยายามที่จะใช้แมชชีนเลิร์นนิงในการดูแลสุขภาพกับระบบIBM Watsonล้มเหลวในการส่งมอบแม้จะผ่านไปหลายปีและลงทุนไปหลายพันล้านดอลลาร์ ^{[92] [93]}

การเรียนรู้ของเครื่องถูกใช้เป็นกลยุทธ์ในการปรับปรุงหลักฐานที่เกี่ยวข้องกับการทบทวนอย่างเป็นระบบและเพิ่มภาระผู้ตรวจสอบที่เกี่ยวข้องกับการเติบโตของวรรณกรรมชีวการแพทย์ แม้ว่าจะได้รับการปรับปรุงให้ดีขึ้นด้วยชุดฝึก แต่ก็ยังไม่ได้รับการพัฒนาอย่างเพียงพอที่จะลดภาระงานโดยไม่จำกัดความไวที่จำเป็นสำหรับการค้นคว้าด้วยตัวเอง ^[94]

อคติ

โดยเฉพาะอย่างยิ่งวิธีการเรียนรู้ของเครื่องอาจประสบกับความเอนเอียงของข้อมูลที่แตกต่างกัน ระบบแมชชีนเลิร์นนิงที่ได้รับการฝึกอบรมโดยเฉพาะกับลูกค้าปัจจุบันอาจไม่สามารถคาดเดาความต้องการของกลุ่มลูกค้าใหม่ที่ไม่มีอยู่ในข้อมูลการฝึกอบรมได้ เมื่อได้รับการฝึกฝนเกี่ยวกับข้อมูลที่มนุษย์สร้างขึ้นการเรียนรู้ของเครื่องมีแนวโน้มที่จะรับอคติตามรัฐธรรมนูญและโดยไม่รู้ตัวที่มีอยู่แล้วในสังคม ^[95]แบบจำลองภาษาที่เรียนรู้จากข้อมูลแสดงให้เห็นว่ามีอคติคล้ายมนุษย์ ^{[96] [97]}ระบบแมชชีนเลิร์นนิงที่ใช้ในการประเมินความเสี่ยงทางอาญาพบว่ามีอคติกับคนผิวดำ ^{[98] [99]}ในปี 2015 Google Photos มักจะติดแท็กคนดำว่ากอริลล่า^[100]และในปี 2018 ยังไม่สามารถแก้ไขได้ดีนัก แต่มีรายงานว่า Google ยังคงใช้วิธีแก้ปัญหานี้เพื่อลบกอริลล่าทั้งหมดออกจากข้อมูลการฝึกอบรมและ จึงไม่สามารถจดจำกอริลล่าที่แท้จริงได้เลย ^[101]พบปัญหาคล้าย ๆ กันกับการจดจำคนที่ไม่ใช่คนผิวขาวในระบบอื่น ๆ อีกมากมาย ^[102]ในปี 2559 ไมโครซอฟต์ได้ทดสอบแชทบอทที่เรียนรู้จากทวิตเตอร์และได้รับภาษาที่เหยียดผิวและเหยียดเพศอย่างรวดเร็ว ^[103]เนื่องจากความท้าทายดังกล่าวการใช้แมชชีนเลิร์นนิงอย่างมีประสิทธิภาพอาจใช้เวลานานกว่าจะนำไปใช้ในโดเมนอื่น ๆ ^[104]ความกังวลเกี่ยวกับความเป็นธรรมในแมชชีนเลิร์นนิงกล่าวคือการลดอคติในการเรียนรู้ของเครื่องและการขับเคลื่อนการใช้งานเพื่อประโยชน์ของมนุษย์นั้นแสดงออกมากขึ้นโดยนักวิทยาศาสตร์ปัญญาประดิษฐ์รวมถึงเฟย - เฟยลี่ซึ่งเตือนวิศวกรว่า "ไม่มีอะไรประดิษฐ์เกี่ยวกับ AI .. มันได้รับแรงบันดาลใจจากผู้คนมันถูกสร้างขึ้นโดยคนและที่สำคัญที่สุดคือมันส่งผลกระทบต่อผู้คนมันเป็นเครื่องมืออันทรงพลังที่เราเพิ่งเริ่มเข้าใจและนั่นคือความรับผิดชอบที่ลึกซึ้ง” ^[105]

นอกเหนือไปจากอคติทางเชื้อชาติในการเรียนรู้เครื่องใช้ในการรักษาความปลอดภัยสนามบินที่มีการค้นพบในการกำหนดเป้าหมายผู้ที่ไม่ได้ระบุในไบนารีเพศ ^{[106] [107] [100] [108]}ในปี 2010 Transportation Security Administration (TSA) เริ่มใช้แมชชีนเลิร์นนิงสำหรับการสแกนตรวจจับระเบิด ^[109]อย่างไรก็ตามการสนับสนุนการออกแบบความยุติธรรมได้พบว่าอัลกอริทึมสำหรับเทคโนโลยีการเรียนรู้เครื่อง TSA ยังตรวจสอบร่างกายที่อาจไม่สอดคล้องกับโครงสร้างของcisnormativity เมื่อใช้เทคโนโลยีการสแกนตรวจจับระเบิด ML เจ้าหน้าที่ TSA จะได้รับการฝึกฝนให้ค้นหาบุคคลโดยพิจารณาจากว่าพวกเขาเป็นชายหรือหญิง นี้ได้แสดงให้เห็นว่าเป็นอันตรายต่อคนที่ระบุได้ว่าเป็นเพศ , ไม่ใช่ไบนารีของเหลวเพศสอดคล้องเพศไม่ใช่หรือIntersex ^{[110] [108]}ในปี 2018 Sasha Costanza-Chockนักเขียนและผู้สนับสนุนกระบวนการยุติธรรมด้านการออกแบบที่ไม่เป็นผู้หญิงได้เขียนเกี่ยวกับการเปลี่ยนไปใช้ AI ของการรักษาความปลอดภัยของสนามบินว่า "ฉันกังวลว่าเส้นทางการพัฒนา AI ในปัจจุบันจะสร้างระบบที่ลบพวกเราใน ระยะขอบไม่ว่าจะโดยตั้งใจหรือไม่ก็ตามไม่ว่าจะเป็นช่วงเวลาที่น่าตื่นเต้นของ Singularity หรือ (มีโอกาสมากขึ้น) ผ่านการลดลงของการโต้ตอบในชีวิตประจำวันนับพันครั้งและไม่หยุดยั้งกับระบบ AI ซึ่งจะส่งผลกระทบต่อทุกโดเมนในชีวิตของเรามากขึ้นเรื่อย ๆ " ^[108]คนอื่น ๆ หลายคนได้แบ่งปันเรื่องราวของพวกเขาทางออนไลน์เกี่ยวกับความลำเอียงในการเข้ารหัสอันเป็นผลมาจากการใช้แมชชีนเลิร์นนิงในกระบวนการรักษาความปลอดภัยของสนามบิน ^[110]ตัวอย่างเช่นผู้หญิงข้ามเพศมักจะถูกตั้งค่าสถานะเนื่องจากอวัยวะเพศของพวกเขาไม่ตรงกับแนวทางการสแกนที่กำหนดโดยเครื่องสแกนAdvanced Imaging Technology (AIT) ^[108]ตั้งแต่การดำเนินงานของโปรโตคอล AI-based ในปี 2010 ที่ TSA มีฟันเฟืองเผือดจากเกย์เพศและการสนับสนุนกลุ่มเช่นศูนย์แห่งชาติเพื่อสิทธิเลสเบี้ยนที่ศูนย์แห่งชาติเพื่อความเท่าเทียมกันเพศและศูนย์กฎหมายเพศ ^[109]ทั้งหมดยืนยันว่าแม้จะมีความมุ่งมั่นของ TSA มาตรการรักษาความปลอดภัยที่เป็นกลาง AIT และการเรียนรู้เครื่องถูกสร้างขึ้นตามออกของลำเอียงชุดข้อมูลที่บังคับใช้ระบบของการกดขี่สำหรับคนที่ไม่ได้ระบุว่าcisgender ^{[111] [112]}

การจำแนกประเภทของโมเดลการเรียนรู้ของเครื่องสามารถตรวจสอบได้โดยเทคนิคการประมาณค่าความแม่นยำเช่นวิธีการระงับซึ่งแยกข้อมูลในชุดการฝึกอบรมและชุดทดสอบ (ตามอัตภาพชุดฝึก 2/3 และการกำหนดชุดทดสอบ 1/3) และประเมินประสิทธิภาพของแบบจำลองการฝึกอบรม ในชุดทดสอบ ในการเปรียบเทียบวิธี K-fold- cross-validationจะสุ่มแบ่งพาร์ติชันข้อมูลเป็นชุดย่อย K จากนั้นทำการทดลอง K ตามลำดับโดยพิจารณา 1 ชุดย่อยสำหรับการประเมินและชุดย่อย K-1 ที่เหลือสำหรับการฝึกโมเดล นอกจากวิธีการระงับและการตรวจสอบความถูกต้องข้ามแล้วbootstrapซึ่งตัวอย่าง n อินสแตนซ์ที่มีการแทนที่จากชุดข้อมูลสามารถใช้เพื่อประเมินความแม่นยำของโมเดลได้ ^[113]

นอกจากความแม่นยำโดยรวมแล้วผู้ตรวจสอบมักรายงานความอ่อนไหวและความจำเพาะซึ่งหมายถึง True Positive Rate (TPR) และ True Negative Rate (TNR) ตามลำดับ ในทำนองเดียวกันผู้ตรวจสอบบางครั้งรายงานอัตราผลบวกเท็จ (FPR) รวมทั้งอัตราผลลบเท็จ (FNR) อย่างไรก็ตามอัตราเหล่านี้เป็นอัตราส่วนที่ไม่สามารถเปิดเผยตัวเศษและตัวส่วนได้ ลักษณะการทำงานทั้งหมด (TOC) เป็นวิธีการที่มีประสิทธิภาพในการแสดงความสามารถในการวินิจฉัยของแบบจำลอง TOC แสดงตัวเศษและตัวหารของอัตราที่กล่าวถึงก่อนหน้านี้ดังนั้น TOC จึงให้ข้อมูลมากกว่าลักษณะการทำงานของเครื่องรับ (ROC) และพื้นที่ที่เกี่ยวข้องของ ROC ภายใต้เส้นโค้ง (AUC) ^[114]

การเรียนรู้ของเครื่องก่อให้เกิดคำถามทางจริยธรรมมากมาย ระบบที่ได้รับการฝึกฝนเกี่ยวกับชุดข้อมูลที่รวบรวมด้วยอคติอาจแสดงอคติเหล่านี้เมื่อใช้งาน ( อคติอัลกอริทึม ) ซึ่งจะทำให้อคติทางวัฒนธรรมเป็นดิจิทัล ^[115]ตัวอย่างเช่นในปี 2531 คณะกรรมาธิการด้านความเท่าเทียมกันทางเชื้อชาติของสหราชอาณาจักรพบว่าโรงเรียนแพทย์เซนต์จอร์จใช้โปรแกรมคอมพิวเตอร์ที่ได้รับการฝึกฝนจากข้อมูลของเจ้าหน้าที่รับสมัครก่อนหน้านี้และโปรแกรมนี้ได้ปฏิเสธผู้สมัครเกือบ 60 คนที่พบว่าเป็นผู้หญิง หรือมีชื่อที่ทำให้เกิดเสียงที่ไม่ใช่ชาวยุโรป ^[95]การใช้ข้อมูลการจ้างงานจาก บริษัท ที่มีนโยบายการจ้างงานแบบเหยียดเชื้อชาติอาจนำไปสู่ระบบแมชชีนเลิร์นนิงที่ทำซ้ำอคติโดยการให้คะแนนผู้สมัครงานตามความคล้ายคลึงกับผู้สมัครที่ประสบความสำเร็จก่อนหน้านี้ ^{[116] [117] การ}รวบรวมข้อมูลและเอกสารของกฎอัลกอริทึมที่ใช้โดยระบบอย่างมีความรับผิดชอบจึงเป็นส่วนสำคัญของการเรียนรู้ของเครื่อง

AI สามารถมีความพร้อมในการตัดสินใจในด้านเทคนิคซึ่งต้องอาศัยข้อมูลและข้อมูลในอดีตเป็นอย่างมาก การตัดสินใจเหล่านี้อาศัยความเที่ยงธรรมและการใช้เหตุผลเชิงตรรกะ ^[118]เพราะภาษามนุษย์มีอคติ, เครื่องผ่านการฝึกอบรมด้านภาษาcorporaจะจำเป็นต้องเรียนรู้อคติเหล่านี้ ^{[119] [120]}

ความท้าทายทางจริยธรรมรูปแบบอื่น ๆ ที่ไม่เกี่ยวข้องกับอคติส่วนบุคคลมีให้เห็นในการดูแลสุขภาพ มีความกังวลในหมู่ผู้เชี่ยวชาญด้านการดูแลสุขภาพว่าระบบเหล่านี้อาจไม่ได้รับการออกแบบเพื่อประโยชน์ของประชาชน แต่เป็นเครื่องสร้างรายได้ ^[121]นี่เป็นเรื่องจริงโดยเฉพาะอย่างยิ่งในสหรัฐอเมริกาที่มีปัญหาขัดแย้งทางจริยธรรมมายาวนานในการปรับปรุงการดูแลสุขภาพ แต่ยังเพิ่มผลกำไรอีกด้วย ตัวอย่างเช่นอัลกอริทึมอาจได้รับการออกแบบมาเพื่อให้ผู้ป่วยได้รับการทดสอบหรือยาที่ไม่จำเป็นซึ่งเจ้าของกรรมสิทธิ์ของอัลกอริทึมเป็นผู้ถือเดิมพัน มีความเป็นไปได้ในการเรียนรู้ของเครื่องในการดูแลสุขภาพเพื่อให้ผู้เชี่ยวชาญมีเครื่องมือเพิ่มเติมในการวินิจฉัยรักษาและวางแผนเส้นทางการฟื้นตัวสำหรับผู้ป่วย แต่สิ่งนี้จำเป็นต้องลดอคติเหล่านี้ ^[122]

ตั้งแต่ปี 2010 ความก้าวหน้าในอัลกอริธึมการเรียนรู้ของเครื่องและฮาร์ดแวร์คอมพิวเตอร์ได้นำไปสู่วิธีการที่มีประสิทธิภาพมากขึ้นในการฝึกอบรมเครือข่ายประสาทเทียมแบบลึก (โดเมนย่อยแคบ ๆ โดยเฉพาะของการเรียนรู้ของเครื่อง) ซึ่งมีหน่วยซ่อนที่ไม่ใช่เชิงเส้นหลายชั้น ^[123]ภายในปี 2019 หน่วยประมวลผลกราฟิก ( GPU ) ซึ่งมักมีการปรับปรุงเฉพาะ AI ได้แทนที่ซีพียูเป็นวิธีการที่โดดเด่นในการฝึกอบรม AI บนคลาวด์เชิงพาณิชย์ขนาดใหญ่ ^[124] OpenAIประมาณการประมวลผลฮาร์ดแวร์ที่ใช้ในโครงการการเรียนรู้เชิงลึกที่ใหญ่ที่สุดตั้งแต่ AlexNet (2012) ถึง AlphaZero (2017) และพบว่าปริมาณการคำนวณที่ต้องการเพิ่มขึ้น 300,000 เท่าโดยมีเส้นแนวโน้มเวลาเพิ่มขึ้นเป็นสองเท่า 3.4 เดือน ^{[125] [126]}

ชุดซอฟต์แวร์ที่มีอัลกอริทึมการเรียนรู้ของเครื่องที่หลากหลายมีดังต่อไปนี้:

ซอฟต์แวร์ฟรีและโอเพ่นซอร์ส

ซอฟต์แวร์ที่เป็นกรรมสิทธิ์พร้อมรุ่นฟรีและโอเพ่นซอร์ส

• KNIME
• RapidMiner

ซอฟต์แวร์ที่เป็นกรรมสิทธิ์

• วารสารการวิจัยการเรียนรู้ของเครื่อง
• การเรียนรู้ของเครื่อง
• Nature Machine Intelligence
• การคำนวณทางประสาท

• สมาคมภาษาศาสตร์เชิงคำนวณ ( ACL )
• การประชุมยุโรปเกี่ยวกับการเรียนรู้ของเครื่องและหลักการและแนวปฏิบัติของการค้นพบความรู้ในฐานข้อมูล ( ECML PKDD )
• การประชุมระหว่างประเทศเกี่ยวกับการเรียนรู้ของเครื่อง ( ICML )
• การประชุมนานาชาติเกี่ยวกับการเป็นตัวแทนการเรียนรู้ ( ICLR )
• การประชุมระหว่างประเทศเกี่ยวกับหุ่นยนต์อัจฉริยะและระบบ ( IROS )
• การประชุมเกี่ยวกับการค้นพบความรู้และการขุดข้อมูล ( KDD )
• การประชุมเกี่ยวกับระบบประมวลผลข้อมูลประสาท ( NeurIPS )

• การเรียนรู้ของเครื่องอัตโนมัติ  - ขั้นตอนการประยุกต์ใช้การเรียนรู้ของเครื่องโดยอัตโนมัติ
• ข้อมูลขนาดใหญ่  - สินทรัพย์ข้อมูลที่มีปริมาณสูงความเร็วและความหลากหลาย
• การเขียนโปรแกรมที่แตกต่างกัน  - กระบวนทัศน์การเขียนโปรแกรม
• รายชื่อสิ่งพิมพ์ที่สำคัญในแมชชีนเลิร์นนิง  - บทความในรายการ Wikimedia
• รายการชุดข้อมูลสำหรับการวิจัยแมชชีนเลิร์นนิง  - บทความในรายการ Wikimedia

• ใบเสนอราคาที่เกี่ยวข้องกับการเรียนรู้ของเครื่องที่ Wikiquote
• International Machine Learning Society
• mlossเป็นฐานข้อมูลทางวิชาการของซอฟต์แวร์แมชชีนเลิร์นนิงแบบโอเพนซอร์ส
• เครื่องเรียนรู้หลักสูตรความผิดพลาดโดยGoogle หลักสูตรนี้เป็นหลักสูตรฟรีบนเครื่องเรียนรู้ผ่านการใช้TensorFlow