การอนุมานแบบเบย์

การแสดงภาพทางเรขาคณิตของทฤษฎีบทของ Bayes ในตารางค่า 2, 3, 6 และ 9 จะให้น้ำหนักสัมพัทธ์ของแต่ละเงื่อนไขและกรณีที่เกี่ยวข้อง ตัวเลขแสดงถึงเซลล์ของตารางที่เกี่ยวข้องในแต่ละเมตริกความน่าจะเป็นคือเศษส่วนของแต่ละรูปที่ถูกแรเงา นี่แสดงว่า P (A | B) P (B) = P (B | A) P (A) คือ P (A | B) = พี (B | A) P (A)/P (B). การให้เหตุผลที่คล้ายกันสามารถใช้เพื่อแสดงว่า P (¬A | B) = P (B | ¬A) P (¬A)/P (B) เป็นต้น

คำอธิบายอย่างเป็นทางการ

การอนุมานแบบเบย์ได้มาจากความน่าจะเป็นหลังอันเป็นผลมาจากสองสิ่งก่อนหน้า : ความน่าจะเป็นก่อนหน้าและ " ฟังก์ชันความน่าจะเป็น" ที่ได้จากแบบจำลองทางสถิติสำหรับข้อมูลที่สังเกต การอนุมานแบบเบย์คำนวณความน่าจะเป็นหลังตามทฤษฎีบทของ Bayes :

${\ displaystyle P (H \ mid E) = {\ frac {P (E \ mid H) \ cdot P (H)} {P (E)}}}$

ที่ไหน

• ${\ displaystyle \ textstyle H}$หมายถึงสมมติฐานใด ๆที่ความน่าจะเป็นอาจได้รับผลกระทบจากข้อมูล (เรียกว่าหลักฐานด้านล่าง) มักจะมีสมมติฐานที่แข่งขันกันและภารกิจคือการพิจารณาว่าข้อใดเป็นไปได้มากที่สุด
• ${\ displaystyle \ textstyle P (H)}$ที่น่าจะเป็นก่อนเป็นประมาณการของความน่าจะเป็นของสมมติฐานที่${\ displaystyle \ textstyle H}$ ก่อนข้อมูล${\ displaystyle \ textstyle E}$ซึ่งเป็นหลักฐานที่พบในปัจจุบัน
• ${\ displaystyle \ textstyle E}$ซึ่งเป็นหลักฐานสอดคล้องกับข้อมูลใหม่ที่ไม่ได้ใช้ในการคำนวณความน่าจะเป็นก่อนหน้านี้
• ${\ displaystyle \ textstyle P (H \ mid E)}$ที่น่าจะเป็นหลังเป็นความน่าจะเป็นของ${\ displaystyle \ textstyle H}$ ให้ ${\ displaystyle \ textstyle E}$กล่าวคือหลังจาก ${\ displaystyle \ textstyle E}$เป็นที่สังเกต นี่คือสิ่งที่เราต้องการทราบ: ความน่าจะเป็นของสมมติฐานที่ได้รับจากหลักฐานที่สังเกตได้
• ${\ displaystyle \ textstyle P (E \ mid H)}$ คือความน่าจะเป็นของการสังเกต ${\ displaystyle \ textstyle E}$ ให้ ${\ displaystyle \ textstyle H}$และถูกเรียกว่าน่าจะเป็น เป็นหน้าที่ของ${\ displaystyle \ textstyle E}$ ด้วย ${\ displaystyle \ textstyle H}$คงที่แสดงถึงความเข้ากันได้ของหลักฐานกับสมมติฐานที่กำหนด ฟังก์ชันความเป็นไปได้คือหน้าที่ของหลักฐาน${\ displaystyle \ textstyle E}$ในขณะที่ความน่าจะเป็นหลังเป็นหน้าที่ของสมมติฐาน ${\ displaystyle \ textstyle H}$.
• ${\ displaystyle \ textstyle P (E)}$บางครั้งเรียกว่าความเป็นไปได้เล็กน้อยหรือ "แบบจำลองหลักฐาน" ปัจจัยนี้เหมือนกันสำหรับสมมติฐานที่เป็นไปได้ทั้งหมดที่กำลังพิจารณา (ดังที่เห็นได้ชัดจากความจริงที่ว่าสมมติฐาน${\ displaystyle \ textstyle H}$ ไม่ปรากฏที่ใดในสัญลักษณ์ซึ่งแตกต่างจากปัจจัยอื่น ๆ ทั้งหมด) ดังนั้นปัจจัยนี้จึงไม่ได้มีส่วนกำหนดความน่าจะเป็นสัมพัทธ์ของสมมติฐานที่แตกต่างกัน

สำหรับค่าต่างๆของ ${\ displaystyle \ textstyle H}$เฉพาะปัจจัย ${\ displaystyle \ textstyle P (H)}$ และ ${\ displaystyle \ textstyle P (E \ mid H)}$ทั้งในตัวเศษมีผลต่อค่าของ ${\ displaystyle \ textstyle P (H \ mid E)}$ - ความน่าจะเป็นหลังของสมมติฐานเป็นสัดส่วนกับความน่าจะเป็นก่อนหน้า (ความเป็นไปได้โดยธรรมชาติ) และความเป็นไปได้ที่ได้มาใหม่ (ความเข้ากันได้กับหลักฐานที่สังเกตได้ใหม่)

กฎของ Bayes สามารถเขียนได้ดังนี้:

${\ displaystyle {\ begin {aligned} P (H \ mid E) & = {\ frac {P (E \ mid H) P (H)} {P (E)}} \\\\ & = {\ frac {P (E \ mid H) P (H)} {P (E \ mid H) P (H) + P (E \ mid \ neg H) P (\ neg H)}} \\\\ & = { \ frac {1} {1+ \ left ({\ frac {1} {P (H)}} - 1 \ right) {\ frac {P (E \ mid \ neg H)} {P (E \ mid H )}}}} \\\ end {aligned}}}$

เพราะ

${\ displaystyle P (E) = P (E \ mid H) P (H) + P (E \ mid \ neg H) P (\ neg H)}$

และ

${\ displaystyle P (H) + P (\ neg H) = 1}$

ที่ไหน ${\ displaystyle \ neg H}$ ไม่ใช่ ${\ displaystyle \ textstyle H}$", การปฏิเสธเชิงตรรกะของ${\ displaystyle \ textstyle H}$.

วิธีหนึ่งที่ง่ายและรวดเร็วในการจำสมการคือการใช้กฎการคูณ:

${\ displaystyle P (E \ cap H) = P (E \ mid H) P (H) = P (H \ mid E) P (E)}$

ทางเลือกในการอัปเดตแบบเบย์

การอัปเดตแบบเบย์ใช้กันอย่างแพร่หลายและสะดวกในการคำนวณ อย่างไรก็ตามไม่ใช่กฎการอัปเดตเพียงอย่างเดียวที่อาจถือว่ามีเหตุผล

Ian Hackingตั้งข้อสังเกตว่าอาร์กิวเมนต์" Dutch book " แบบดั้งเดิมไม่ได้ระบุการอัปเดตแบบ Bayesian พวกเขาเปิดโอกาสให้กฎการอัปเดตที่ไม่ใช่แบบ Bayesian สามารถหลีกเลี่ยงหนังสือดัตช์ได้ การแฮ็กเขียน^{[1] [2]} "และไม่มีข้อโต้แย้งในหนังสือของชาวดัตช์หรือสิ่งอื่นใดในคลังแสงของการพิสูจน์สัจพจน์เกี่ยวกับความน่าจะเป็นส่วนบุคคลทำให้เกิดสมมติฐานแบบไดนามิกไม่มีใครเกี่ยวข้องกับ Bayesianism ดังนั้น personalist จึงกำหนดให้สมมติฐานแบบไดนามิกเป็น Bayesian เป็นความจริงที่ว่าในความเป็นส่วนตัวมักละทิ้งรูปแบบการเรียนรู้แบบเบย์เซียนจากประสบการณ์เกลืออาจสูญเสียรสชาติของมันไป "

แท้จริงแล้วมีกฎการอัปเดตที่ไม่ใช่แบบ Bayesian ซึ่งหลีกเลี่ยงหนังสือดัตช์ด้วย (ตามที่กล่าวไว้ในวรรณกรรมเรื่อง " จลนศาสตร์ความน่าจะเป็น ") หลังจากการตีพิมพ์กฎของRichard C. Jeffreyซึ่งใช้กฎของ Bayes กับกรณีที่หลักฐาน ได้รับการกำหนดความน่าจะเป็น ^[3]สมมติฐานเพิ่มเติมที่จำเป็นในการกำหนดให้ต้องมีการปรับปรุงแบบเบย์โดยเฉพาะนั้นถือว่ามีความสำคัญซับซ้อนและไม่เป็นที่น่าพอใจ ^[4]

คำจำกัดความ

• ${\ displaystyle x}$จุดข้อมูลโดยทั่วไป นี่อาจเป็นเวกเตอร์ของค่า
• ${\ displaystyle \ theta}$ที่พารามิเตอร์ของการกระจายจุดข้อมูลของคือ${\ displaystyle x \ sim p (x \ mid \ theta)}$. นี่อาจเป็นเวกเตอร์ของพารามิเตอร์ก็ได้
• ${\ displaystyle \ alpha}$ที่hyperparameterของการกระจายพารามิเตอร์คือ${\ displaystyle \ theta \ sim p (\ theta \ mid \ alpha)}$. นี่อาจเป็นเวกเตอร์ของไฮเปอร์พารามิเตอร์
• ${\ displaystyle \ mathbf {X}}$ คือตัวอย่างชุดของ ${\ displaystyle n}$ จุดข้อมูลที่สังเกตได้กล่าวคือ ${\ displaystyle x_ {1}, \ ldots, x_ {n}}$.
• ${\ displaystyle {\ tilde {x}}}$จุดข้อมูลใหม่ที่จะทำนายการแจกแจง

การอนุมานแบบเบย์

• การแจกแจงก่อนหน้าคือการแจกแจงของพารามิเตอร์ก่อนที่จะสังเกตข้อมูลใด ๆ เช่น${\ displaystyle p (\ theta \ mid \ alpha)}$. การแจกแจงก่อนหน้านี้อาจไม่สามารถกำหนดได้โดยง่าย ในกรณีเช่นนี้อาจมีความเป็นไปได้อย่างหนึ่งที่จะใช้Jeffreys ก่อนที่จะได้รับการแจกจ่ายก่อนที่จะอัปเดตด้วยข้อสังเกตที่ใหม่กว่า
• กระจายการสุ่มตัวอย่างคือการกระจายของข้อมูลที่สังเกตเงื่อนไขในพารามิเตอร์คือ${\ displaystyle p (\ mathbf {X} \ mid \ theta)}$. นอกจากนี้ยังเรียกว่าความเป็นไปได้โดยเฉพาะอย่างยิ่งเมื่อถูกมองว่าเป็นฟังก์ชันของพารามิเตอร์ซึ่งบางครั้งก็มีการเขียน${\ displaystyle \ operatorname {L} (\ theta \ mid \ mathbf {X}) = p (\ mathbf {X} \ mid \ theta)}$ .
• ความเป็นไปได้เล็กน้อย (บางครั้งเรียกว่าหลักฐาน ) คือการกระจายของข้อมูลที่สังเกตได้ที่ถูกทำให้เป็นชายขอบเหนือพารามิเตอร์กล่าวคือ${\ displaystyle p (\ mathbf {X} \ mid \ alpha) = \ int p (\ mathbf {X} \ mid \ theta) p (\ theta \ mid \ alpha) \ operatorname {d} \! \ theta}$ .
• การแจกแจงหลังคือการแจกแจงของพารามิเตอร์หลังจากคำนึงถึงข้อมูลที่สังเกตได้ สิ่งนี้ถูกกำหนดโดยกฎของ Bayesซึ่งเป็นหัวใจสำคัญของการอนุมานแบบเบย์:

${\ displaystyle p (\ theta \ mid \ mathbf {X}, \ alpha) = {\ frac {p (\ theta, \ mathbf {X}, \ alpha)} {p (\ mathbf {X}, \ alpha) }} = {\ frac {p (\ mathbf {X} \ mid \ theta, \ alpha) p (\ theta, \ alpha)} {p (\ mathbf {X} \ mid \ alpha) p (\ alpha)} } = {\ frac {p (\ mathbf {X} \ mid \ theta, \ alpha) p (\ theta \ mid \ alpha)} {p (\ mathbf {X} \ mid \ alpha)}} \ propto p ( \ mathbf {X} \ mid \ theta, \ alpha) p (\ theta \ mid \ alpha)}$.

คำนี้แสดงเป็นคำว่า "หลังเป็นสัดส่วนกับโอกาสครั้งก่อน" หรือบางครั้งเป็น "หลัง = โอกาสก่อนหน้านี้มากกว่าหลักฐาน"

• ในทางปฏิบัติสำหรับโมเดล Bayesian ที่ซับซ้อนเกือบทั้งหมดที่ใช้ในแมชชีนเลิร์นนิงการแจกแจงหลัง ${\ displaystyle p (\ theta \ mid \ mathbf {X}, \ alpha)}$ ไม่ได้รับในการแจกแจงรูปแบบปิดส่วนใหญ่เป็นเพราะพื้นที่พารามิเตอร์สำหรับ ${\ displaystyle \ theta}$ อาจมีค่าสูงมากหรือแบบจำลองแบบเบย์ยังคงรักษาโครงสร้างลำดับชั้นบางอย่างที่ได้จากการสังเกต ${\ displaystyle \ mathbf {X}}$ และพารามิเตอร์ ${\ displaystyle \ theta}$. ในสถานการณ์เช่นนี้เราต้องรีสอร์ทเพื่อเทคนิคการประมาณ[5]

การทำนายแบบเบย์

• กระจายทำนายหลังคือการกระจายของจุดข้อมูลใหม่ด้อยกว่าหลังไปนี้:

${\ displaystyle p ({\ tilde {x}} \ mid \ mathbf {X}, \ alpha) = \ int p ({\ tilde {x}} \ mid \ theta) p (\ theta \ mid \ mathbf {X }, \ alpha) \ operatorname {d} \! \ theta}$

• กระจายการคาดการณ์ก่อนหน้านี้คือการกระจายของจุดข้อมูลใหม่ที่ด้อยกว่าก่อน:

${\ displaystyle p ({\ tilde {x}} \ mid \ alpha) = \ int p ({\ tilde {x}} \ mid \ theta) p (\ theta \ mid \ alpha) \ operatorname {d} \! \ theta}$

ทฤษฎีแบบเบย์เรียกร้องให้ใช้การแจกแจงแบบทำนายหลังเพื่อทำการอนุมานเชิงทำนายกล่าวคือเพื่อทำนายการกระจายของจุดข้อมูลใหม่ที่ไม่สามารถสังเกตได้ นั่นคือแทนที่จะเป็นจุดคงที่เป็นการคาดคะเนการแจกแจงมากกว่าจุดที่เป็นไปได้จะถูกส่งกลับ วิธีนี้เท่านั้นคือการแจกแจงด้านหลังทั้งหมดของพารามิเตอร์ที่ใช้ โดยการเปรียบเทียบการคาดคะเนในสถิติบ่อยครั้งมักเกี่ยวข้องกับการหาค่าประมาณจุดที่เหมาะสมที่สุดของพารามิเตอร์ --eg ตามโอกาสสูงสุดหรือค่าสูงสุดของการประมาณค่าหลัง (MAP) จากนั้นจึงรวมค่าประมาณนี้เข้ากับสูตรสำหรับการแจกแจงของจุดข้อมูล . สิ่งนี้มีข้อเสียตรงที่ไม่ได้คำนึงถึงความไม่แน่นอนใด ๆ ในค่าของพารามิเตอร์และด้วยเหตุนี้จะประเมินความแปรปรวนของการแจกแจงเชิงทำนายต่ำเกินไป

(ในบางกรณีสถิติบ่อยครั้งสามารถแก้ไขปัญหานี้ได้ตัวอย่างเช่นช่วงความเชื่อมั่นและช่วงเวลาการทำนายในสถิติบ่อยเมื่อสร้างจากการแจกแจงแบบปกติที่มีค่าเฉลี่ยที่ไม่ทราบค่าและค่าความแปรปรวนจะสร้างขึ้นโดยใช้การแจกแจง t ของนักเรียนซึ่งจะประมาณค่าความแปรปรวนได้อย่างถูกต้อง เนื่องจากข้อเท็จจริงที่ว่า (1) ค่าเฉลี่ยของตัวแปรสุ่มแบบกระจายตามปกติก็มีการกระจายตามปกติเช่นกัน (2) การแจกแจงเชิงทำนายของจุดข้อมูลที่กระจายตามปกติโดยมีค่าเฉลี่ยและความแปรปรวนที่ไม่รู้จักโดยใช้คอนจูเกตหรือตัวแปรที่ไม่เป็นข้อมูลมีการแจกแจงแบบ t ของนักเรียน อย่างไรก็ตามในสถิติแบบเบย์การแจกแจงแบบทำนายหลังสามารถระบุได้อย่างแน่นอนเสมอหรืออย่างน้อยก็ให้อยู่ในระดับความแม่นยำโดยพลการเมื่อใช้วิธีการเชิงตัวเลข)

การแจกแจงแบบทำนายทั้งสองประเภทมีรูปแบบของการแจกแจงความน่าจะเป็นแบบผสม (เช่นเดียวกับความเป็นไปได้เล็กน้อย ) ในความเป็นจริงถ้าการแจกแจงก่อนหน้าเป็นคอนจูเกตก่อนหน้าและด้วยเหตุนี้การแจกแจงก่อนหน้าและหลังมาจากตระกูลเดียวกันจะเห็นได้ง่ายว่าการแจกแจงแบบทำนายทั้งก่อนหน้าและหลังมาจากตระกูลเดียวกันของการแจกแจงแบบผสม ข้อแตกต่างเพียงอย่างเดียวคือการแจกแจงแบบทำนายหลังใช้ค่าที่อัปเดตของไฮเปอร์พารามิเตอร์ (ใช้กฎการอัปเดตแบบเบย์ที่ให้ไว้ในบทความก่อนหน้าแบบผันคำกริยา ) ในขณะที่การแจกแจงแบบทำนายก่อนหน้าใช้ค่าของพารามิเตอร์ไฮเปอร์พารามิเตอร์ที่ปรากฏในการแจกแจงก่อนหน้า

หากมีการใช้หลักฐานพร้อมกันเพื่ออัปเดตความเชื่อในชุดของข้อเสนอพิเศษและละเอียดถี่ถ้วนการอนุมานแบบเบย์อาจถูกมองว่าทำหน้าที่เกี่ยวกับการกระจายความเชื่อนี้โดยรวม

การกำหนดทั่วไป

แผนภาพแสดงพื้นที่จัดงาน ${\ displaystyle \ Omega}$ในสูตรทั่วไปของการอนุมานแบบเบย์ แม้ว่าแผนภาพนี้จะแสดงแบบจำลองและเหตุการณ์ที่ไม่ต่อเนื่องกัน แต่กรณีต่อเนื่องอาจมองเห็นได้ในทำนองเดียวกันโดยใช้ความหนาแน่นของความน่าจะเป็น

สมมติว่ากระบวนการกำลังสร้างเหตุการณ์ที่เป็นอิสระและกระจายเหมือนกัน ${\ displaystyle E_ {n}, \, \, n = 1,2,3, \ ldots}$แต่ไม่ทราบการแจกแจงความน่าจะเป็น ให้พื้นที่จัดงาน${\ displaystyle \ Omega}$แสดงสถานะปัจจุบันของความเชื่อสำหรับกระบวนการนี้ แต่ละรุ่นแสดงโดยเหตุการณ์${\ displaystyle M_ {m}}$. ความน่าจะเป็นตามเงื่อนไข${\ displaystyle P (E_ {n} \ กลาง M_ {m})}$ ถูกระบุเพื่อกำหนดโมเดล ${\ displaystyle P (M_ {m})}$ คือระดับความเชื่อใน ${\ displaystyle M_ {m}}$. ก่อนขั้นตอนการอนุมานแรก${\ displaystyle \ {P (M_ {m}) \}}$คือชุดของความน่าจะเป็นเบื้องต้นก่อน สิ่งเหล่านี้จะต้องรวมเป็น 1 แต่เป็นอย่างอื่นโดยพลการ

สมมติว่ามีการสังเกตกระบวนการเพื่อสร้าง ${\ displaystyle \ textstyle E \ in \ {E_ {n} \}}$. แต่ละ${\ displaystyle M \ in \ {M_ {m} \}}$ก่อนหน้านี้ ${\ displaystyle P (M)}$ ได้รับการอัปเดตเป็นส่วนหลัง ${\ displaystyle P (M \ mid E)}$. จากทฤษฎีบทของ Bayes : ^[6]

${\ displaystyle P (M \ mid E) = {\ frac {P (E \ mid M)} {\ sum _ {m} {P (E \ mid M_ {m}) P (M_ {m})}} } \ cdot P (M)}$

เมื่อสังเกตเห็นหลักฐานเพิ่มเติมขั้นตอนนี้อาจทำซ้ำ

ข้อสังเกตหลายประการ

สำหรับลำดับของการสังเกตที่เป็นอิสระและกระจายเหมือนกัน${\ displaystyle \ mathbf {E} = (e_ {1}, \ dots, e_ {n})}$มันสามารถแสดงให้เห็นโดยการเหนี่ยวนำว่าการใช้ซ้ำ ๆ ข้างต้นเทียบเท่ากับ

${\ displaystyle P (M \ mid \ mathbf {E}) = {\ frac {P (\ mathbf {E} \ mid M)} {\ sum _ {m} {P (\ mathbf {E} \ mid M_ { ม}) P (M_ {m})}}} \ cdot P (M)}$

ที่ไหน

${\ displaystyle P (\ mathbf {E} \ mid M) = \ prod _ {k} {P (e_ {k} \ mid M)}}$

การกำหนดพารามิเตอร์

ด้วยการกำหนดพารามิเตอร์พื้นที่ของโมเดลความเชื่อในโมเดลทั้งหมดอาจได้รับการอัปเดตในขั้นตอนเดียว การกระจายความเชื่อบนพื้นที่แบบจำลองอาจถูกคิดว่าเป็นการกระจายความเชื่อเหนือพื้นที่พารามิเตอร์ การแจกแจงในส่วนนี้แสดงเป็นแบบต่อเนื่องแสดงโดยความหนาแน่นของความน่าจะเป็นเนื่องจากเป็นสถานการณ์ปกติ อย่างไรก็ตามเทคนิคนี้สามารถใช้ได้อย่างเท่าเทียมกันกับการแจกแจงแบบไม่ต่อเนื่อง

ให้เวกเตอร์ ${\ displaystyle \ mathbf {\ theta}}$ขยายพื้นที่พารามิเตอร์ ให้การกระจายก่อนหน้าเริ่มต้นมากกว่า${\ displaystyle \ mathbf {\ theta}}$ เป็น ${\ displaystyle p (\ mathbf {\ theta} \ mid \ mathbf {\ alpha})}$, ที่ไหน ${\ displaystyle \ mathbf {\ alpha}}$คือชุดของพารามิเตอร์ก่อนเองหรือhyperparameters ปล่อย${\ displaystyle \ mathbf {E} = (e_ {1}, \ dots, e_ {n})}$เป็นลำดับของการสังเกตเหตุการณ์ที่เป็นอิสระและกระจายเหมือนกันโดยที่ทั้งหมด${\ displaystyle e_ {i}}$ มีการแจกจ่ายเป็น ${\ displaystyle p (e \ mid \ mathbf {\ theta})}$ สำหรับบางคน ${\ displaystyle \ mathbf {\ theta}}$. Bayes' ทฤษฎีบทถูกนำไปใช้เพื่อหาสิ่งที่กระจายหลังมากกว่า${\ displaystyle \ mathbf {\ theta}}$:

${\ displaystyle {\ begin {aligned} p (\ mathbf {\ theta} \ mid \ mathbf {E}, \ mathbf {\ alpha}) & = {\ frac {p (\ mathbf {E} \ mid \ mathbf { \ theta}, \ mathbf {\ alpha})} {p (\ mathbf {E} \ mid \ mathbf {\ alpha})}} \ cdot p (\ mathbf {\ theta} \ mid \ mathbf {\ alpha}) \\ & = {\ frac {p (\ mathbf {E} \ mid \ mathbf {\ theta}, \ mathbf {\ alpha})} {\ int p (\ mathbf {E} | \ mathbf {\ theta}, \ mathbf {\ alpha}) p (\ mathbf {\ theta} \ mid \ mathbf {\ alpha}) \, d \ mathbf {\ theta}}} \ cdot p (\ mathbf {\ theta} \ mid \ mathbf { \ alpha}) \ end {aligned}}}$

ที่ไหน

${\ displaystyle p (\ mathbf {E} \ mid \ mathbf {\ theta}, \ mathbf {\ alpha}) = \ prod _ {k} p (e_ {k} \ mid \ mathbf {\ theta})}$

การตีความปัจจัย

${\ displaystyle \ textstyle {\ frac {P (E \ mid M)} {P (E)}}> 1 \ Rightarrow \ textstyle P (E \ mid M)> P (E)}$. นั่นคือถ้าแบบจำลองเป็นจริงหลักฐานจะมีความเป็นไปได้มากกว่าที่คาดการณ์โดยสถานะของความเชื่อในปัจจุบัน การกลับกันใช้สำหรับการลดลงของความเชื่อ หากความเชื่อไม่เปลี่ยนแปลง${\ displaystyle \ textstyle {\ frac {P (E \ mid M)} {P (E)}} = 1 \ Rightarrow \ textstyle P (E \ mid M) = P (E)}$. นั่นคือหลักฐานไม่ขึ้นอยู่กับตัวแบบ หากแบบจำลองเป็นจริงหลักฐานก็น่าจะตรงตามที่ทำนายไว้ในสถานะความเชื่อในปัจจุบัน

กฎของครอมเวลล์

ถ้า ${\ displaystyle P (M) = 0}$ แล้ว ${\ displaystyle P (M \ กลาง E) = 0}$. ถ้า${\ displaystyle P (M) = 1}$แล้ว ${\ displaystyle P (M | E) = 1}$. สิ่งนี้สามารถตีความได้ว่าหมายความว่าความเชื่อมั่นอย่างหนักนั้นไม่อ่อนไหวต่อหลักฐานโต้แย้ง

อดีตตามมาโดยตรงจากทฤษฎีบทของ Bayes อย่างหลังสามารถได้มาโดยใช้กฎข้อแรกกับเหตุการณ์ "not${\ displaystyle M}$"แทนที่"${\ displaystyle M}$", ยอม" ถ้า ${\ displaystyle 1-P (M) = 0}$แล้ว ${\ displaystyle 1-P (M \ mid E) = 0}$"ซึ่งผลที่ตามมาทันที

พฤติกรรมที่ไม่แสดงอาการของหลัง

พิจารณาพฤติกรรมของการกระจายความเชื่อเนื่องจากมีการอัปเดตหลายครั้งด้วยการทดลองที่เป็นอิสระและมีการกระจายที่เหมือนกัน สำหรับความน่าจะเป็นก่อนหน้านี้ที่ดีเพียงพอทฤษฎีบทของBernstein-von Misesให้ว่าในขีด จำกัด ของการทดลองที่ไม่มีที่สิ้นสุดด้านหลังจะรวมเข้ากับการแจกแจงแบบเกาส์เซียนโดยไม่ขึ้นกับค่าเริ่มต้นก่อนหน้าภายใต้เงื่อนไขบางประการที่โจเซฟแอล. Doobระบุไว้ในตอนแรกและพิสูจน์อย่างเข้มงวดในปีพ. ศ. 2491 กล่าวคือ ถ้าตัวแปรสุ่มในการพิจารณามี จำกัดพื้นที่ความน่าจะเป็น ผลการศึกษาทั่วไปมากขึ้นในภายหลังโดยDavid A. Freedman นักสถิติซึ่งตีพิมพ์ในงานวิจัยเกี่ยวกับน้ำเชื้อสองชิ้นในปีพ. ศ. 2506 ^[7]และ พ.ศ. 2508 ^[8]เมื่อใดและภายใต้สถานการณ์ใดที่รับประกันพฤติกรรมที่ไม่แสดงอาการของหลัง กระดาษปี 1963 ของเขาถือว่าเหมือนกับ Doob (1949) ซึ่งเป็นกรณีที่ จำกัด และได้ข้อสรุปที่น่าพอใจ อย่างไรก็ตามหากตัวแปรสุ่มมีพื้นที่ความน่าจะเป็นที่ไม่สิ้นสุด แต่นับได้(กล่าวคือตรงกับหน้าตายที่มีใบหน้าจำนวนมากไม่สิ้นสุด) กระดาษปี 1965 แสดงให้เห็นว่าสำหรับกลุ่มย่อยที่หนาแน่นของนักบวชทฤษฎี Bernstein-von Misesจะไม่สามารถใช้ได้ ในกรณีนี้แทบจะไม่มีการบรรจบกันแบบไม่แสดงอาการเลย ต่อมาในช่วงทศวรรษที่ 1980 และ 1990 FreedmanและPersi Diaconisยังคงทำงานในกรณีของช่องว่างความน่าจะเป็นที่นับได้ไม่สิ้นสุด ^[9]สรุปอาจมีการทดลองไม่เพียงพอที่จะระงับผลของทางเลือกแรกและโดยเฉพาะอย่างยิ่งสำหรับระบบขนาดใหญ่ (แต่ จำกัด ) การบรรจบกันอาจช้ามาก

ผันปุโรหิต

ในรูปแบบที่กำหนดพารามิเตอร์การแจกแจงก่อนหน้านี้มักจะถือว่ามาจากตระกูลของการแจกแจงที่เรียกว่าคอนจูเกตพรีออร์ ประโยชน์ของคอนจูเกตก่อนก็คือการกระจายหลังที่สอดคล้องกันจะอยู่ในครอบครัวเดียวกันและการคำนวณอาจจะแสดงออกมาในรูปแบบปิด

การประมาณค่าพารามิเตอร์และการคาดคะเน

มักต้องการใช้การแจกแจงหลังเพื่อประมาณค่าพารามิเตอร์หรือตัวแปร การประมาณค่าแบบเบย์หลายวิธีเลือกการวัดแนวโน้มเข้าสู่ศูนย์กลางจากการแจกแจงด้านหลัง

สำหรับปัญหามิติเดียวจะมีค่ามัธยฐานเฉพาะสำหรับปัญหาต่อเนื่องในทางปฏิบัติ ค่ามัธยฐานหลังเป็นที่น่าสนใจเป็นประมาณการที่แข็งแกร่ง ^[10]

หากมีค่าเฉลี่ย จำกัด สำหรับการแจกแจงหลังค่าเฉลี่ยหลังเป็นวิธีการประมาณ ^[11]

${\ displaystyle {\ tilde {\ theta}} = \ operatorname {E} [\ theta] = \ int \ theta \, p (\ theta \ mid \ mathbf {X}, \ alpha) \, d \ theta}$

การหาค่าที่มีความน่าจะเป็นมากที่สุดกำหนดค่าประมาณหลัง (MAP) สูงสุด : ^[12]

${\ displaystyle \ {\ theta _ {\ text {MAP}} \} \ subset \ arg \ max _ {\ theta} p (\ theta \ mid \ mathbf {X}, \ alpha)}$

มีตัวอย่างที่ไม่สูงสุดจะบรรลุซึ่งในกรณีที่ชุดของประมาณการแผนที่ที่ว่างเปล่า

มีวิธีการอื่น ๆ ในการประมาณค่าที่ลดความเสี่ยงด้านหลัง(การสูญเสียที่คาดหวัง - หลัง) เมื่อเทียบกับฟังก์ชันการสูญเสียและสิ่งเหล่านี้เป็นที่สนใจของทฤษฎีการตัดสินใจทางสถิติโดยใช้การแจกแจงตัวอย่าง ("สถิติบ่อย") ^[13]

กระจายทำนายหลังของการสังเกตใหม่${\ displaystyle {\ tilde {x}}}$(ที่ไม่ขึ้นอยู่กับการสังเกตก่อนหน้านี้) ถูกกำหนดโดย^[14]

${\ displaystyle p ({\ tilde {x}} | \ mathbf {X}, \ alpha) = \ int p ({\ tilde {x}}, \ theta \ mid \ mathbf {X}, \ alpha) \, d \ theta = \ int p ({\ tilde {x}} \ mid \ theta) p (\ theta \ mid \ mathbf {X}, \ alpha) \, d \ theta.}$

ความน่าจะเป็นของสมมติฐาน

สมมติว่ามีคุกกี้เต็มสองชาม ชาม # 1 มีช็อคโกแลตชิพ 10 ชิ้นและคุกกี้ธรรมดา 30 ชิ้นในขณะที่ชาม # 2 มี 20 ชิ้น เฟรดเพื่อนของเราเลือกชามแบบสุ่มจากนั้นก็สุ่มเลือกคุกกี้ เราอาจถือว่าไม่มีเหตุผลใดที่จะเชื่อว่าเฟร็ดปฏิบัติต่อชามหนึ่งแตกต่างจากอีกชามเช่นเดียวกันสำหรับคุกกี้ คุกกี้กลายเป็นแบบธรรมดา เป็นไปได้แค่ไหนที่เฟร็ดหยิบมันออกมาจากชาม # 1?

โดยสัญชาตญาณดูเหมือนชัดเจนว่าคำตอบควรมากกว่าครึ่งหนึ่งเนื่องจากมีคุกกี้ธรรมดามากกว่าในชาม # 1 คำตอบที่แม่นยำได้รับจากทฤษฎีบทของ Bayes ปล่อย${\ displaystyle H_ {1}}$ สอดคล้องกับชาม # 1 และ ${\ displaystyle H_ {2}}$ถึงชาม # 2. เนื่องจากชามนั้นเหมือนกันจากมุมมองของเฟรดดังนั้น${\ displaystyle P (H_ {1}) = P (H_ {2})}$และทั้งสองต้องบวกได้ถึง 1 ดังนั้นทั้งสองจึงเท่ากับ 0.5 เหตุการณ์${\ displaystyle E}$คือการสังเกตของคุกกี้ธรรมดา จากเนื้อหาของโบลิ่งเรารู้ว่า${\ displaystyle P (E \ mid H_ {1}) = 30/40 = 0.75}$ และ ${\ displaystyle P (E \ mid H_ {2}) = 20/40 = 0.5.}$ สูตรของ Bayes ก็ให้ผลตอบแทน

${\ displaystyle {\ begin {aligned} P (H_ {1} \ mid E) & = {\ frac {P (E \ mid H_ {1}) \, P (H_ {1})} {P (E \ กลาง H_ {1}) \, P (H_ {1}) \; + \; P (E \ กลาง H_ {2}) \, P (H_ {2})}} \\\\\ & = {\ frac {0.75 \ times 0.5} {0.75 \ times 0.5 + 0.5 \ times 0.5}} \\\\\ & = 0.6 \ end {aligned}}}$

ก่อนที่เราจะสังเกตเห็นคุกกี้ความน่าจะเป็นที่เรากำหนดให้เฟร็ดเลือกชาม # 1 คือความน่าจะเป็นก่อนหน้านี้ ${\ displaystyle P (H_ {1})}$ซึ่งเท่ากับ 0.5 หลังจากสังเกตคุกกี้แล้วเราต้องทบทวนความน่าจะเป็น${\ displaystyle P (H_ {1} \ กลาง E)}$ซึ่งก็คือ 0.6

การทำนาย

ตัวอย่างผลลัพธ์สำหรับตัวอย่างโบราณคดี การจำลองนี้สร้างขึ้นโดยใช้ c = 15.2

นักโบราณคดีกำลังทำงานในสถานที่ที่คิดว่ามีอายุตั้งแต่ยุคกลางระหว่างศตวรรษที่ 11 ถึงศตวรรษที่ 16 อย่างไรก็ตามยังไม่แน่นอนว่าในช่วงเวลานี้มีคนอาศัยอยู่ในพื้นที่ใด พบเศษเครื่องปั้นดินเผาซึ่งบางส่วนได้รับการเคลือบและบางส่วนได้รับการตกแต่ง คาดว่าหากพื้นที่นี้มีผู้อาศัยอยู่ในช่วงยุคกลางตอนต้นเครื่องปั้นดินเผา 1% จะถูกเคลือบและ 50% ของพื้นที่ตกแต่งในขณะที่หากมีคนอาศัยอยู่ในช่วงปลายยุคกลางแล้ว 81% จะถูกเคลือบและ 5% ของพื้นที่ตกแต่ง นักโบราณคดีมั่นใจได้แค่ไหนในวันที่อาศัยอยู่ในขณะที่มีการขุดพบชิ้นส่วน?

ระดับความเชื่อในตัวแปรต่อเนื่อง ${\ displaystyle C}$ (ศตวรรษ) จะต้องคำนวณด้วยชุดเหตุการณ์ที่ไม่ต่อเนื่อง ${\ displaystyle \ {GD, G {\ bar {D}}, {\ bar {G}} D, {\ bar {G}} {\ bar {D}} \}}$เป็นหลักฐาน. สมมติว่าการเปลี่ยนแปลงเชิงเส้นของการเคลือบและการตกแต่งตามเวลาและตัวแปรเหล่านี้เป็นอิสระ

${\ displaystyle P (E = GD \ กลาง C = c) = (0.01 + {\ frac {0.81-0.01} {16-11}} (c-11)) (0.5 - {\ frac {0.5-0.05} { 16-11}} (ค -11))}$

${\ displaystyle P (E = G {\ bar {D}} \ กลาง C = c) = (0.01 + {\ frac {0.81-0.01} {16-11}} (c-11)) (0.5 + {\ frac {0.5-0.05} {16-11}} (ค -11))}$

${\ displaystyle P (E = {\ bar {G}} D \ mid C = c) = ((1-0.01) - {\ frac {0.81-0.01} {16-11}} (c-11)) ( 0.5 - {\ frac {0.5-0.05} {16-11}} (c-11))}$

${\ displaystyle P (E = {\ bar {G}} {\ bar {D}} \ mid C = c) = ((1-0.01) - {\ frac {0.81-0.01} {16-11}} ( ค -11)) (0.5 + {\ frac {0.5-0.05} {16-11}} (ค -11))}$

สมมติว่าเป็นเครื่องแบบก่อน ${\ displaystyle \ textstyle f_ {C} (c) = 0.2}$และการทดลองนั้นมีความเป็นอิสระและมีการกระจายแบบเดียวกัน เมื่อส่วนใหม่ของประเภท${\ displaystyle e}$ ถูกค้นพบทฤษฎีบทของ Bayes ถูกนำไปใช้เพื่อปรับปรุงระดับความเชื่อของแต่ละคน ${\ displaystyle c}$:

${\ displaystyle f_ {C} (c \ mid E = e) = {\ frac {P (E = e \ mid C = c)} {P (E = e)}} f_ {C} (c) = { \ frac {P (E = e \ กลาง C = c)} {\ int _ {11} ^ {16} {P (E = e \ mid C = c) f_ {C} (c) dc}}} f_ {C} (c)}$

การจำลองคอมพิวเตอร์เกี่ยวกับความเชื่อที่เปลี่ยนแปลงไปเมื่อมีการขุดพบชิ้นส่วน 50 ชิ้นจะแสดงบนกราฟ ในการจำลองสถานที่ดังกล่าวมีผู้อาศัยอยู่ในราวปีค. ศ. 1420 หรือ${\ displaystyle c = 15.2}$. จากการคำนวณพื้นที่ภายใต้ส่วนที่เกี่ยวข้องของกราฟสำหรับการทดลอง 50 ครั้งนักโบราณคดีสามารถพูดได้ว่าไม่มีโอกาสที่ไซต์นี้จะมีผู้อยู่อาศัยในศตวรรษที่ 11 และ 12 มีโอกาสประมาณ 1% ที่จะมีผู้อาศัยอยู่ในช่วงศตวรรษที่ 13, 63 โอกาส% ในช่วงศตวรรษที่ 14 และ 36% ในช่วงศตวรรษที่ 15 Bernstein-von Mises ทฤษฎีบทอ้างนี่ลู่ asymptotic การกระจาย "จริง" เพราะเป็นพื้นที่ที่สอดคล้องกับชุดที่ไม่ต่อเนื่องของเหตุการณ์${\ displaystyle \ {GD, G {\ bar {D}}, {\ bar {G}} D, {\ bar {G}} {\ bar {D}} \}}$ มีข้อ จำกัด (ดูหัวข้อด้านบนเกี่ยวกับพฤติกรรมที่ไม่แสดงอาการของส่วนหลัง)

ตัดสินใจทฤษฎีเหตุผลของการใช้คชกรรมอนุมานได้รับจากอับราฮัม Waldที่พิสูจน์ให้เห็นว่าทุกขั้นตอนแบบเบย์ไม่ซ้ำกันเป็นที่ยอมรับ ในทางกลับกันทุกขั้นตอนทางสถิติที่ยอมรับได้อาจเป็นขั้นตอนแบบเบย์หรือแบบ จำกัด ขั้นตอนแบบเบย์ ^[15]

Wald ลักษณะขั้นตอนการยอมรับว่าเป็นวิธีการแบบเบย์ (และข้อ จำกัด ของวิธีการแบบเบย์) ทำให้เป็นพิธีคชกรรมเทคนิคกลางในพื้นที่ดังกล่าวของการอนุมาน frequentistเป็นประมาณค่าพารามิเตอร์ , การทดสอบสมมติฐานและการคำนวณช่วงความเชื่อมั่น ^{[16] [17] [18]}ตัวอย่างเช่น:

• "ภายใต้เงื่อนไขบางอย่างขั้นตอนที่ยอมรับได้ทั้งหมดคือขั้นตอนของ Bayes หรือข้อ จำกัด ของขั้นตอนของ Bayes (ในทางประสาทสัมผัสต่างๆ) ผลลัพธ์ที่น่าทึ่งเหล่านี้อย่างน้อยก็ในรูปแบบดั้งเดิมเนื่องจาก Wald เป็นหลักสิ่งเหล่านี้มีประโยชน์เนื่องจากคุณสมบัติของการเป็น Bayes คือ วิเคราะห์ง่ายกว่าการยอมรับ " ^[15]
• "ในทฤษฎีการตัดสินใจวิธีการทั่วไปในการพิสูจน์ความสามารถในการยอมรับได้คือการแสดงขั้นตอนเป็นวิธีการแก้ปัญหาเฉพาะของ Bayes" ^[19]
• "ในบทแรกของงานนี้มีการใช้การแจกแจงก่อนหน้าที่มีการสนับสนุน จำกัด และขั้นตอนของเบย์ที่เกี่ยวข้องเพื่อสร้างทฤษฎีหลักบางประการที่เกี่ยวข้องกับการเปรียบเทียบการทดลองขั้นตอนเบย์ที่เกี่ยวกับการแจกแจงแบบทั่วไปก่อนหน้านี้มีบทบาทสำคัญมาก ในการพัฒนาสถิติรวมถึงทฤษฎี asymptotic ด้วย " "มีปัญหามากมายที่เมื่อมองไปที่การแจกแจงด้านหลังสำหรับนักบวชที่เหมาะสมจะให้ข้อมูลที่น่าสนใจทันทีนอกจากนี้เทคนิคนี้แทบไม่สามารถหลีกเลี่ยงได้ในการวิเคราะห์ตามลำดับ" ^[20]

• "ข้อเท็จจริงที่เป็นประโยชน์ก็คือกฎการตัดสินใจของ Bayes ใด ๆ ที่ได้รับจากการพิจารณาก่อนหน้าพื้นที่พารามิเตอร์ทั้งหมดจะต้องยอมรับได้" ^[21]
• "พื้นที่สำคัญของการตรวจสอบในการพัฒนาแนวคิดที่ยอมรับได้คือกระบวนการทฤษฎีการสุ่มตัวอย่างแบบเดิมและได้ผลลัพธ์ที่น่าสนใจมากมาย" ^[22]

การเลือกรุ่น

วิธีการแบบเบย์ยังมีบทบาทในการเลือกแบบจำลองโดยมีจุดมุ่งหมายเพื่อเลือกแบบจำลองหนึ่งจากชุดของแบบจำลองที่แข่งขันกันซึ่งแสดงถึงกระบวนการพื้นฐานที่ใกล้เคียงที่สุดซึ่งสร้างข้อมูลที่สังเกตได้ ในการเปรียบเทียบแบบจำลองแบบเบย์จะเลือกแบบจำลองที่มีความน่าจะเป็นหลังสูงสุดจากข้อมูล ความน่าจะเป็นหลังของแบบจำลองขึ้นอยู่กับหลักฐานหรือความเป็นไปได้เล็กน้อยซึ่งสะท้อนถึงความน่าจะเป็นที่ข้อมูลถูกสร้างขึ้นโดยแบบจำลองและขึ้นอยู่กับความเชื่อก่อนหน้าของแบบจำลอง เมื่อโมเดลที่แข่งขันกันสองแบบเป็นแบบเบื้องต้นที่ถือว่าเหมาะสมกันอัตราส่วนของความน่าจะเป็นหลังของพวกเขาจะสอดคล้องกับปัจจัยเบย์ เนื่องจากการเปรียบเทียบแบบจำลองแบบเบย์มีจุดมุ่งหมายเพื่อเลือกแบบจำลองที่มีความน่าจะเป็นหลังสูงสุดวิธีการนี้จึงเรียกอีกอย่างว่ากฎการเลือกหลัง (MAP) สูงสุด^[23]หรือกฎความน่าจะเป็นของแผนที่ ^[24]

ในขณะที่แนวคิดเรียบง่าย แต่วิธีการแบบเบย์อาจเป็นเรื่องที่ท้าทายทางคณิตศาสตร์และเชิงตัวเลข ภาษาโปรแกรมความน่าจะเป็น (PPL) ใช้ฟังก์ชันเพื่อสร้างแบบจำลองแบบเบย์ได้อย่างง่ายดายพร้อมกับวิธีการอนุมานอัตโนมัติที่มีประสิทธิภาพ สิ่งนี้ช่วยแยกการสร้างแบบจำลองออกจากการอนุมานทำให้ผู้ปฏิบัติงานสามารถมุ่งเน้นไปที่ปัญหาเฉพาะของตนและปล่อยให้ PPL จัดการรายละเอียดการคำนวณสำหรับพวกเขา ^{[25] [26] [27]}

การใช้งานคอมพิวเตอร์

อนุมานแบบเบย์มีการใช้งานในด้านปัญญาประดิษฐ์และระบบผู้เชี่ยวชาญ เทคนิคการอนุมานแบบเบย์เป็นส่วนพื้นฐานของเทคนิคการจดจำรูปแบบด้วยคอมพิวเตอร์มาตั้งแต่ปลายทศวรรษที่ 1950 นอกจากนี้ยังมีการเชื่อมต่อที่เพิ่มขึ้นเรื่อย ๆ ระหว่างวิธีการแบบเบย์และเทคนิคมอนติคาร์โลแบบจำลองเนื่องจากโมเดลที่ซับซ้อนไม่สามารถประมวลผลในรูปแบบปิดโดยการวิเคราะห์แบบเบย์ในขณะที่โครงสร้างแบบจำลองกราฟิกอาจทำให้อัลกอริธึมการจำลองที่มีประสิทธิภาพเช่นการสุ่มตัวอย่าง GibbsและMetropolisอื่น ๆ-โครงร่างอัลกอริทึม Hastings ^[28]ล่าสุด^{[ เมื่อไหร่? ]}การอนุมานแบบเบย์ได้รับความนิยมในชุมชนphylogeneticsด้วยเหตุผลเหล่านี้ แอปพลิเคชั่นจำนวนมากช่วยให้สามารถประมาณพารามิเตอร์ทางประชากรและวิวัฒนาการได้พร้อมกัน

ในฐานะที่นำไปใช้กับการจำแนกสถิติ , คชกรรมอนุมานได้ถูกนำมาใช้ในการพัฒนาอัลกอริทึมสำหรับการระบุe-mail ขยะ แอปพลิเคชันที่ใช้การอนุมานแบบ Bayesian สำหรับการกรองสแปม ได้แก่CRM114 , DSPAM , Bogofilter , SpamAssassin , SpamBayes , Mozilla , XEAMS และอื่น ๆ การจัดหมวดหมู่สแปมจะได้รับการรักษาในรายละเอียดในบทความในไร้เดียงสา Bayes ลักษณนาม

การอนุมานแบบอุปนัยของโซโลมอนอฟเป็นทฤษฎีการทำนายโดยอาศัยการสังเกต ตัวอย่างเช่นการทำนายสัญลักษณ์ถัดไปตามชุดของสัญลักษณ์ที่กำหนด สมมติฐานเพียงอย่างเดียวคือสภาพแวดล้อมเป็นไปตามการแจกแจงความน่าจะเป็นที่ไม่รู้จัก แต่คำนวณได้ มันเป็นกรอบการอุปนัยอย่างเป็นทางการที่รวมสองหลักการศึกษาที่ดีของการอนุมานอุปนัย: สถิติคชกรรมและสาธารณรัฐโคลัมเบีย ^{[29] [ที่มาไม่น่าเชื่อถือ? ]}น่าจะเป็นก่อน Solomonoff สากลของคำนำหน้าของลำดับคำนวณxคือผลรวมของความน่าจะเป็นของโปรแกรมทั้งหมดที่ (สำหรับคอมพิวเตอร์สากล) ว่าสิ่งที่เริ่มต้นด้วยการคำนวณP ด้วยการแจกแจงค่าpและการแจกแจงความน่าจะเป็นที่คำนวณได้ แต่ไม่ทราบค่าจากการสุ่มตัวอย่างxจึงสามารถใช้ทฤษฎีบทสากลก่อนหน้าและเบย์เพื่อทำนายส่วนที่ยังมองไม่เห็นของxในรูปแบบที่เหมาะสมที่สุด ^{[30] [31]}

ชีวสารสนเทศศาสตร์และการใช้งานด้านการดูแลสุขภาพ

การอนุมานแบบเบย์ถูกนำไปใช้ในการใช้งานชีวสารสนเทศศาสตร์ที่แตกต่างกันรวมถึงการวิเคราะห์การแสดงออกของยีนที่แตกต่าง ^[32]การอนุมานแบบเบย์ยังใช้ในแบบจำลองความเสี่ยงมะเร็งทั่วไปที่เรียกว่าCIRI (Continuous Individualized Risk Index) ซึ่งการวัดแบบอนุกรมจะรวมเข้าด้วยกันเพื่ออัปเดตแบบจำลองแบบเบย์ซึ่งส่วนใหญ่สร้างขึ้นจากความรู้เดิม ^{[33] [34]}

ในห้องพิจารณาคดี

การอนุมานแบบเบย์สามารถใช้โดยคณะลูกขุนเพื่อรวบรวมหลักฐานสำหรับและต่อจำเลยอย่างสอดคล้องกันและเพื่อดูว่าโดยรวมแล้วเป็นไปตามเกณฑ์ส่วนบุคคลของพวกเขาหรือไม่สำหรับ ' โดยไม่มีข้อสงสัยที่สมเหตุสมผล ' ^{[35] [36] [37]}ทฤษฎีบทของ Bayes ถูกนำไปใช้อย่างต่อเนื่องกับหลักฐานทั้งหมดที่นำเสนอโดยหลังจากขั้นตอนหนึ่งกลายเป็นก่อนหน้าสำหรับขั้นต่อไป ประโยชน์ของแนวทางแบบเบย์คือทำให้คณะลูกขุนมีกลไกที่เป็นกลางและมีเหตุผลในการรวมหลักฐานเข้าด้วยกัน อาจเป็นการเหมาะสมที่จะอธิบายทฤษฎีบทของ Bayes ต่อคณะลูกขุนในรูปแบบอัตราต่อรองเนื่องจากการเดิมพันเป็นที่เข้าใจกันอย่างกว้างขวางมากกว่าความน่าจะเป็น อีกวิธีหนึ่งวิธีลอการิทึมแทนที่การคูณด้วยการบวกอาจจะง่ายกว่าสำหรับคณะลูกขุนในการจัดการ

การเพิ่มหลักฐาน

หากไม่มีข้อสงสัยในการดำรงอยู่ของอาชญากรรมมีเพียงตัวตนของผู้กระทำผิดเท่านั้นที่ได้รับการเสนอแนะว่าก่อนหน้านี้ควรมีความเท่าเทียมกันมากกว่าประชากรที่มีคุณสมบัติเหมาะสม ^[38]ตัวอย่างเช่นหาก 1,000 คนอาจก่ออาชญากรรมความน่าจะเป็นก่อนหน้านี้จะมีความผิดเป็น 1/1000

การใช้ทฤษฎีบทของ Bayes โดยคณะลูกขุนเป็นที่ถกเถียงกัน ในสหราชอาณาจักร, การป้องกันพยานผู้เชี่ยวชาญอธิบายทฤษฎีบท Bayes' ให้คณะลูกขุนในอาร์วีอดัมส์ คณะลูกขุนตัดสิน แต่คดีดังกล่าวได้ยื่นอุทธรณ์บนพื้นฐานที่ว่าไม่มีวิธีการรวบรวมพยานหลักฐานสำหรับคณะลูกขุนที่ไม่ต้องการใช้ทฤษฎีบทของ Bayes ศาลอุทธรณ์ยืนยันความเชื่อมั่น แต่ยังให้ความเห็นว่า "การแนะนำทฤษฎีของเบย์สหรือวิธีการใด ๆ ที่คล้ายคลึงกันในการพิจารณาคดีทางอาญาจะทำให้คณะลูกขุนตกอยู่ในขอบเขตของทฤษฎีและความซับซ้อนที่ไม่เหมาะสมและไม่จำเป็นทำให้พวกเขาหันเหจากงานที่เหมาะสม .”

การ์ดเนอร์-Medwin ^[39]ระบุว่าเกณฑ์ที่คำตัดสินในคดีความผิดทางอาญาควรจะขึ้นเป็นไม่น่าจะเป็นของความผิด แต่เป็นความน่าจะเป็นหลักฐานที่ได้รับว่าจำเลยเป็นผู้บริสุทธิ์ (คล้ายกับfrequentist p-value ). เขาให้เหตุผลว่าหากจะคำนวณความน่าจะเป็นของความผิดหลังโดยทฤษฎีบทของ Bayes จะต้องทราบความน่าจะเป็นก่อนหน้าของความผิด สิ่งนี้จะขึ้นอยู่กับอุบัติการณ์ของอาชญากรรมซึ่งเป็นหลักฐานที่ผิดปกติที่ต้องพิจารณาในการพิจารณาคดีอาญา พิจารณาข้อเสนอสามข้อต่อไปนี้:

ข้อเท็จจริงเป็นที่รู้จักและพยานหลักฐานที่อาจจะเกิดขึ้นหากจำเลยมีความผิดจริง

Bข้อเท็จจริงและพยานหลักฐานที่ทราบอาจเกิดขึ้นได้หากจำเลยเป็นผู้บริสุทธิ์

Cจำเลยมีความผิด

การ์ดเนอร์ - เมดวินระบุว่าคณะลูกขุนควรเชื่อทั้ง A และไม่ใช่-B เพื่อที่จะตัดสินลงโทษ A และ not-B แสดงถึงความจริงของ C แต่สิ่งที่ตรงกันข้ามไม่เป็นความจริง เป็นไปได้ว่า B และ C เป็นความจริงทั้งคู่ แต่ในกรณีนี้เขาให้เหตุผลว่าคณะลูกขุนควรตัดสินแม้ว่าพวกเขาจะรู้ว่าพวกเขาจะปล่อยให้คนผิดบางคนเป็นอิสระ ดูความขัดแย้งของ Lindleyด้วย

ญาณวิทยาแบบเบย์

ญาณวิทยาแบบเบย์เป็นขบวนการที่สนับสนุนการอนุมานแบบเบย์เป็นวิธีการพิสูจน์กฎของตรรกะอุปนัย

คาร์ลป็อปเปอร์และเดวิดมิลเลอร์ได้ปฏิเสธแนวคิดเรื่องการหาเหตุผลเข้าข้างตนเองแบบเบย์นั่นคือการใช้กฎบาเยสเพื่อทำการอนุมานเชิงญาณวิทยา: ^[40]มันมีแนวโน้มที่จะเกิดปัญหาโลกแตกเช่นเดียวกับญาณวิทยาฝ่ายเหตุผลอื่น ๆเพราะมันคาดเดาถึงสิ่งที่พยายามจะพิสูจน์ จากมุมมองนี้การตีความอย่างมีเหตุผลของการอนุมานแบบเบย์จะเห็นว่ามันเป็นเพียงการปลอมแปลงในรูปแบบที่น่าจะเป็นโดยปฏิเสธความเชื่อที่ชาวเบย์ถือกันโดยทั่วไปความเป็นไปได้สูงที่จะเกิดขึ้นจากชุดการปรับปรุงแบบเบย์จะพิสูจน์สมมติฐานได้โดยปราศจากข้อสงสัยใด ๆ หรือแม้กระทั่งมีโอกาสมากกว่า 0

อื่น ๆ

• วิธีการทางวิทยาศาสตร์คือการตีความบางครั้งการประยุกต์ใช้คชกรรมอนุมาน ในมุมมองนี้คำแนะนำกฎของ Bayes (หรือควรแนะนำ) การอัปเดตความน่าจะเป็นเกี่ยวกับสมมติฐานที่มีเงื่อนไขเกี่ยวกับการสังเกตหรือการทดลองใหม่ ^[41]การอนุมานแบบเบย์ยังถูกนำไปใช้เพื่อรักษาปัญหาการจัดตารางเวลาสุ่มด้วยข้อมูลที่ไม่สมบูรณ์โดย Cai et al (2552). ^[42]
• ทฤษฎีการค้นหาแบบเบย์ใช้เพื่อค้นหาวัตถุที่สูญหาย
• การอนุมานแบบเบย์ในสายวิวัฒนาการ
• เครื่องมือแบบเบย์สำหรับการวิเคราะห์เมทิลเลชั่น
• วิธีการแบบเบย์เซียนในการทำงานของสมองจะตรวจสอบสมองเป็นกลไกแบบเบย์
• การอนุมานแบบเบย์ในการศึกษาทางนิเวศวิทยา^{[43] [44]}
• การอนุมานแบบเบย์ใช้ในการประมาณค่าพารามิเตอร์ในแบบจำลองจลศาสตร์ทางเคมีแบบสุ่ม^[45]
• การอนุมานแบบเบย์ในเศรษฐศาสตร์ฟิสิกส์สำหรับการทำนายสกุลเงินหรือตลาดหุ้น^{[46] [47]}

ปัญหาการพิจารณาโดย Bayes ในโจทย์ที่ 9 จากการทดลองของเขา " การเขียนเรียงความที่มีต่อการแก้ปัญหาในหลักคำสอนของโอกาส " คือการกระจายหลังสำหรับพารามิเตอร์(อัตราความสำเร็จ) ของการกระจายทวินาม ^{[ ต้องการอ้างอิง ]}

คำว่าBayesianหมายถึงThomas Bayes (1702–1761) ซึ่งพิสูจน์แล้วว่าข้อ จำกัด ของความน่าจะเป็นสามารถวางไว้บนเหตุการณ์ที่ไม่รู้จักได้ อย่างไรก็ตามมันก็Pierre-Simon Laplace (1749-1827) ผู้แนะนำ (ตามหลักการ VI) สิ่งนี้เรียกว่าทฤษฎีบท Bayes'และใช้มันในการแก้ไขปัญหาที่อยู่ในกลศาสตร์ท้องฟ้าสถิติทางการแพทย์ความน่าเชื่อถือและนิติศาสตร์ ^[48]การอนุมานแบบเบย์ในยุคแรกซึ่งใช้นักบวชในเครื่องแบบตามหลักการของเหตุผลที่ไม่เพียงพอของลาปลาซถูกเรียกว่า " ความน่าจะเป็นผกผัน " (เพราะอนุมานย้อนกลับจากการสังเกตไปยังพารามิเตอร์หรือจากผลกระทบไปสู่สาเหตุ^[49] ) หลังจากปี ค.ศ. 1920 "ความน่าจะเป็นสิ่งที่ตรงกันข้าม" ถูกแทนที่โดยส่วนใหญ่คอลเลกชันของวิธีการที่มาถึงจะเรียกว่าเป็นสถิติ frequentist ^[49]

ในศตวรรษที่ 20 แนวคิดของลาปลาซได้รับการพัฒนาเพิ่มเติมในสองทิศทางที่แตกต่างกันก่อให้เกิดกระแสวัตถุประสงค์และอัตวิสัยในการปฏิบัติแบบเบย์ ในวัตถุประสงค์หรือ "ไม่ให้ข้อมูล" ในปัจจุบันการวิเคราะห์ทางสถิติขึ้นอยู่กับรูปแบบที่สันนิษฐานเท่านั้นข้อมูลที่วิเคราะห์^[50]และวิธีการกำหนดก่อนหน้านี้ซึ่งแตกต่างจากผู้ปฏิบัติงานแบบเบย์เซียนคนหนึ่งไปยังอีกคนหนึ่ง ในปัจจุบันอัตนัยหรือ "ข้อมูล" ข้อกำหนดของก่อนหน้านี้ขึ้นอยู่กับความเชื่อ (นั่นคือข้อเสนอที่เตรียมการวิเคราะห์เพื่อดำเนินการ) ซึ่งสามารถสรุปข้อมูลจากผู้เชี่ยวชาญการศึกษาก่อนหน้านี้ ฯลฯ

ในช่วงทศวรรษที่ 1980 มีการเติบโตอย่างมากในการวิจัยและการประยุกต์ใช้วิธีการแบบเบย์ซึ่งส่วนใหญ่เกิดจากการค้นพบวิธีการแบบมอนติคาร์โลของMarkovซึ่งช่วยขจัดปัญหาด้านการคำนวณจำนวนมากและความสนใจที่เพิ่มขึ้นในการใช้งานที่ไม่เป็นมาตรฐานและซับซ้อน ^[51]แม้จะมีการเติบโตของการวิจัยแบบ Bayesian แต่การสอนระดับปริญญาตรีส่วนใหญ่ยังคงอยู่บนพื้นฐานของสถิติบ่อยครั้ง ^[52]อย่างไรก็ตามวิธีการแบบเบย์ได้รับการยอมรับอย่างกว้างขวางและใช้เช่นตัวอย่างเช่นในด้านการเรียนรู้ของเครื่อง ^[53]

• ทฤษฎีบทของเบย์
• Bayesian Analysisวารสารของ ISBA
• ญาณวิทยาแบบเบย์
• การสร้างแบบจำลองลำดับชั้นแบบเบย์
• ความน่าจะเป็นแบบเบย์
• การถดถอยแบบเบย์
• อนุกรมเวลาโครงสร้างแบบเบย์ (BSTS)
• ความน่าจะเป็นอุปนัย
• International Society for Bayesian Analysis (ISBA)
• Jeffreys ก่อนหน้านี้
• ปัญหา Monty Hall
• ทฤษฎีสนามข้อมูล

การอ้างอิง