Generalized Baum-Welch and Viterbi Algorithms Based on the Direct Dependency among Observations
Generalized Baum-Welch and Viterbi Algorithms Based on the Direct Dependency among Observations
Abstrakt (PL)
Parametry Ukrytego Modelu Markowa (HMM) to prawdopodobieństwa przejścia i emisji. Oba można oszacować za pomocą algorytmu Bauma-Welcha. Proces odkrywania sekwencji stanów ukrytych, biorąc pod uwagę sekwencję obserwacji, realizowany jest za pomocą algorytmu Viterbiego. W algorytmach Bauma-Welcha i Viterbiego zakłada się, że z uwagi na stany obserwacje są od siebie niezależne. W tym artykule najpierw rozważamy bezpośrednią zależność pomiędzy kolejnymi obserwacjami w HMM, a następnie wykorzystujemy zależność warunkowej niezależności w kontekście sieci bayesowskiej, która jest probabilistycznym modelem graficznym do generalizacji algorytmów Bauma-Welcha i Viterbiego. Porównujemy na danych syntetycznych działanie uogólnionych jak powyżej algorytmów z powszechnie używanymi metodami klasycznymi. Następnie stosujemy algorytmy do analizy zestawów danych rzeczywistych, takimi jak dane biologiczne i ekonomiczne. Pokazujemy, że uogólnione algorytmy Baum-Welcha i Viterbiego znacznie przewyższają konwencjonalne metody, gdy większych rozmiarach próbek.
Abstrakt (EN)
The parameters of a Hidden Markov Model (HMM) are transition and emission probabilities. Both can be estimated using the Baum-Welch algorithm. The process of discovering the sequence of hidden states, given the sequence of observations, is performed by the Viterbi algorithm. In both Baum-Welch and Viterbi algorithms, it is assumed that, given the states, the observations are independent from each other. In this paper, we first consider the direct dependency between consecutive observations in the HMM, and then use conditional independence relations in the context of a Bayesian network which is a probabilistic graphical model for generalizing the Baum-Welch and Viterbi algorithms. We compare the performance of the generalized algorithms with the commonly used ones in simulation studies for synthetic data. We finally apply these algorithms on real data sets which are related to biological and inflation data. We show that the generalized Baum-Welch and Viterbi algorithms significantly outperform the conventional ones when sample sizes become larger.