【パターン認識と機械学習】関連ベクターマシンとは何か

はやしたりなです。

最近は、パターン認識や機械学習に関連する話題に携わっている時間があります。

機械学習では、分類問題を解くことに使用できる様々な教師あり機械学習アルゴリズムがありますが、私は今のところサポートベクターマシン（以下、SVM）を利用することが多いです。

世間的には、ビッグデータ活用とか、データサイエンティストとか、Deep Learning（深層学習）などといったキーワードで俄かに騒がしくなってきている分野に、ほんの少しばかり足（のつま先くらい）を踏み込んでいるに過ぎないですが、色々と新しい知見が得られることを楽しく感じると同時に、様々な問題にも少しずつ直面しています。

そのような問題の中の1つに、「分類器が出力する答えの確率値（確信度）を得られるか」というものがあります。

事後確率分布を直接的に推定するような分類アルゴリズムであれば良いのですが、すべての分類アルゴリズムがそのような特性を有しているわけではなく、むしろ少数派なのではないかと感じています。

冒頭で述べたように、私が今のところお世話になることが多いのはSVMなのですが、この子はマージン最大化によって得た分類超平面からの距離にあたるものを識別関数の出力とするので、（少なくとも私の認識では）厳密な意味での事後確率は提示してくれません。

また、SVMにおける多クラス分類では、複数の2クラス分類SVMの識別関数の値を同列に並べて比較して良いのか、といった問題も抱えています。

そのような問題がある中、いわゆるBishopのPRML本に「関連ベクターマシン」なるものが紹介されており、関連ベクターマシンは事後確率を求めることができると書いてある、みたいな話を小耳に挟みました（私はまだ確認できていません）。

本当なら嬉しいのですが、果たして・・・。