サポートベクターマシン

サポートベクターマシン は2クラス分類のアルゴリズムとして考案されました。 しかし、 非常に性能が良いので現在は多クラス分類や回帰問題にも応用されています。

サポートベクターマシンを回帰問題に応用した回帰分析手法をサポートベクター回帰といいます。

サポートベクターマシンは、「マージンの最大化」というコンセプトのもと2つのクラスを線形分離するアルゴリズムです。

次の図に示すように、
マージンとは2つのクラスを分ける直線(決定境界)を中心とした2つのクラス間の距離を指します。

決定境界とマージン

「分布するデータの真ん中をビシッと通る直線で分離するのが、
1番大胆で良い分離である」という考え方が、サポートベクターマシンの基本的なモチベーションです。

スラック変数は誤分類を許容するための工夫です。