ماشین بردار پشتیبان (SVM)

در اﯾﻦ اﻟﮕﻮرﯾﺘﻢ دسته‌بندی، دو ابرﺻﻔﺤﻪ در ﻣﺮز دو ﮐﻼس داده‌ها ﻗﺮار ﮔﺮﻓﺘﻪ می‌شود و ﻣﺴﺌﻠﻪ، ﯾﺎﻓﺘﻦ ﻣﺮز ﺣﺪاﮐﺜﺮي ﺑﯿﻦ اﯾﻦ دو ابرﺻﻔﺤﻪ و درنتیجه ﺑﯿﻦ دو دسته داده است. ﺑﻪ اﯾﻦ ﺻﻮرت ﮐﻪ دو ابرﺻﻔﺤﻪ آن‌قدر از ﻫﻢ دور ﺷﻮﻧﺪ ﮐﻪ ﺑﻪ داده‌ها ﺑﺮﺧﻮرد ﮐﻨﻨﺪ. ﻫﺪف، ﯾﺎﻓﺘﻦ دو ابرﺻﻔﺤﻪاي اﺳﺖ ﮐﻪ ﺑﯿﺸﺘﺮﯾﻦ ﻓﺎﺻﻠﻪ را از هم دارند و درنتیجه ابرﺻﻔﺤﻪ ی ﺑﯿﻦ اﯾﻦ دو ابرﺻﻔﺤﻪ، ﺑﻬﺘﺮﯾﻦ ﺟﺪاﮐﻨﻨﺪه ﺧﻮاﻫﺪ ﺑﻮد. در بخش‌های بعد به محاسبات ریاضی مربوط به تعیین این ابرصفحه ها خواهیم پرداخت.

اﯾﺪه اﺻﻠﯽ در SVM این است که با فرض جداپذیری کلاس‌ها از هم، ابرصفحاتی که قادر به ﺟﺪاﻧﻤﻮدن کلاس‌ها از ﻫﻢ ﺑﺎﺷﻨﺪ را به دست می‌آورد. در مسائلی ﮐﻪ داده‌ها به‌صورت ﺧﻄﯽ ﺟﺪاﭘﺬﯾﺮ ﻧﺒﺎﺷﻨﺪ ﺑﺎ اﺳﺘﻔﺎده از هسته‌های ﻏﯿﺮﺧﻄﯽ، داده‌ها را ﺑﻪ ﻓﻀﺎي ﺑﺎ اﺑﻌﺎد ﺑﯿﺸﺘﺮ ﻧﮕﺎﺷﺖ می‌دهیم ﺗﺎ ﺑﺘﻮان آن‌ها را در اﯾﻦ فضای جدید به‌صورت خطی جدا نمود.

ماشین‌های ﺑﺮدار ﭘﺸﺘﯿﺒﺎن ﺑﺎ اراﺋﻪ ﯾﮏ ﻣﺪل آﻣﺎري به‌عنوان ﯾﮑﯽ از ﺷﻨﺎﺧﺘﻪﺷﺪهﺗﺮﯾﻦ روش‌ها در زمینه‌ی دسته‌بندی داده‌ها ﻣﻄﺮح اﺳﺖ. ﯾﮑﯽ از ﻣﺴﺎﺋﻠﯽ ﮐﻪ در اراﺋﻪ ﯾﮏ ﻣﺎﺷﯿﻦ دسته‌بندی ﮐﻨﻨﺪه ﻏﯿﺮﺧﻄﯽ ﺑﺮدار ﭘﺸﺘﯿﺒﺎن ﺑﺎ آن ﻣﻮاﺟﻪ ﻫﺴﺘﯿﻢ، ﻧﺤﻮه ﺗﻌﺮﯾﻒ ﻫﺴﺘﻪ و ﭘﺎراﻣﺘﺮﻫﺎي ﻣﺮﺗﺒﻂ ﺑﺎ آن اﺳﺖ. دﺳﺘﻪ شناخته‌شده‌ای از ﺗﻮاﺑﻊ ﻫﺴﺘﻪ ﻫﻤﭽﻮن ﻫﺴﺘﻪ چندجمله‌ای، ﮔﻮﺳﯽ و ﺳﯿﮕﻤﻮﺋﯿﺪ ﻣﻌﺮﻓﯽ شده‌اند ﮐﻪ ﻧﯿﺎزﻣﻨﺪ ﺗﻨﻈﯿﻢ ﺷﺪن ﭘﺎراﻣﺘﺮﻫﺎ ﺟﻬﺖ ﮐﺎراﯾﯽ ﻣﻄﻠﻮب ﻫﺴﺘﻨﺪ.

شبکه‌های عصبی SVM برخلاف سایر شبکه‌های عصبی، به‌جای این‌که خطای طبقه‌بندی را کمینه کنند، ریسک عملیاتی را به‌عنوان تابع هدف در نظر می‌گیرند و آن را بهینه می‌کنند. یعنی ریسک عدم طبقه‌بندی صحیح را به‌صورت کمی درآورده و آن را کمینه می‌کند.

شکل زیر را در نظر بگیرید. از بین سه تفکیک‌کننده‌ی موجود، H₁ طبقه‌بندی را اشتباه انجام داده است. اما برای این‌که بفهمیم بین H₂ و H₃ کدام‌یک تفکیک‌کننده‌ی بهتری هستند، این‌طور فرض می‌کنیم که هر یک از نقاط نزدیک تفکیک‌کننده، نیرویی به خط وارد می‌کنند به‌طوری‌که خط را از خود دور کنند. در آن صورت می‌بینیم که H₂ به سمت H₃ میل کرده بنابراین H₃ تفکیک‌کننده‌ی مطلوب‌تری است.

نمایش دوبعدی سه تفکیک‌کننده برای SVM دوکلاسه، H₁ تفکیک را به‌درستی انجام نمی‌دهد، H₂ تفکیک را با حاشیه‌ی اطمینان کم انجام داده و H₃ تفکیک‌کننده‌ی مطلوب با در نظر گرفتن حاشیه‌ی اطمینان بالا می‌باشد.