介紹

一種用於自動化找超參數的方法，用在採樣昂貴而且是黑盒子的情況

流程

1. 取樣一些資料點
2. 生出一個 Surrogate Model(可採用 Gaussian Process)
3. 反覆做以下事情
   • 用 Acquisition Function 挑選下一個要採樣的點
   • 重新評估 Surrogate Model

Gaussian Process

最終的 prediction 是一個 distribution 而不是單一個數字 生成方法需借助 kernel function，常用 RBF(Radial Basis Function)

$K(x, x^{’}|\tau)=\sigma^2exp(-\frac{1}{2}(\frac{x-x^{’}}{l})^2)$

$\sigma$ 和 $l$ 是兩個可以調整的超參數

Acquisition Function

可用超參數來調節 exploitation 和 exploitation

• UCB(Upper confidence bound)
• PI(probability of improvement)
• EI(Expected improvement)