回帰問題

回帰問題とは数値を予測する問題です.機械学習においては,学習時に入力データと出力データの組から対応する規則を学び,未知のデータに対しても適切な出力を生成できるようにするものです.すなわち,入力と出力の関係(関数)を推定し,近似する問題です.

回帰問題は求めるべき式の形や変数の数で分類されています.以下にその分類を示します.

式の形式での分類

  • 線形回帰:直線的な関係を推定する回帰です.ただし,直線的な関係を表現する1次式だけとは限りません.線形回帰とは, Y = w0 + w1x1 + w2x2 + … + wpxp のような式に対して(w0 , … , wp)を求める問題として定式化されます.求めるべき対象が線形ということなので,先述したように式そのものが1次式であることを意味しないことには注意が必要です.例えば, x1 = x, x2  = x^2とおけば,Y = w0 + w1x + w2x^2 も線形回帰の対象となります.
  • 非線形回帰:線計以外の全ての回帰です.
変数の数での分類
  • 単回帰:入出力の関係が1変数(単一の変数)で成り立つ式(ex. y = ax + b)を想定して解く問題です.変数の数が問題なので,式の次数が上がっても変数が一つであれば単回帰です.よって,単回帰にも線形と非線形の2つの場合が存在することになります.
  • 重回帰:2変数以上を使う回帰のことです(ex. y = ax1 + bx2 + cx3 + d).単回帰と同様に線形と非線形の2つの場合があります.