Wydajne algorytmy uczenia Obliczeniowej Teorii

Original: http://128.59.11.212/~rocco/papers/thesis.html

R. Servedio.
Ph.D. Teza, Harvard University, czerwiec 2001 r.
Opiekun: Leslie Valiant.
Streszczenie:
Głównym problemem otwartym w teorii uczenia maszynowego jest stworzenie skutecznego algorytmu uczenia logicznych formuł w Dysjunkcyjna postać normalna (DNF). Teza ta raporty postępu w kierunku takiego algorytmu. Czerpiemy nowy algebraicznych charakterystyki wzorów DNF i wykorzystać tę charakterystykę, aby uzyskać algorytm uczenia DNF, który jest zasadniczo szybciej niż najlepsze poprzednich podejść. Czas pracy naszego algorytmu jest wykładniczy w pierwiastek z liczby zmiennych w formule DNF, w przeciwieństwie do poprzednich granic, które były w wykładniczej pierwiastka kwadratowego z liczby zmiennych.

Dwa najważniejsze zasoby dla algorytmu uczenia się czas obliczeń i dane wejściowe; Algorytm uczenia idealnym jednoczesnej optymalizacji jego wykorzystanie zarówno środków. Korzystanie z technik od kryptografii, pokazujemy, że nawet bardzo proste problemy edukacyjne mogą wykazywać silne kompromisów związanych między tymi zasobami. Opisujemy klasę list decyzyjnych i udowodnić, że struktury te mogą się nauczyć w czasie wielomianowym z dużego zbioru danych, ale nie można się nauczyć w czasie wielomianowym użyciu minimalnego (stały rozmiar) zestaw danych. Wyniki te określają, że w przypadku niektórych naturalnych problemami w nauce ” idealne ” algorytmy uczenia jednocześnie optymalizację zarówno zasoby mogą nie istnieć.

Perceptron i Winnow są dwa klasyczne algorytmy uczenia liniowy separator, które mają jakieś niezwykłe właściwości. Mamy wykazać ścisły związek między pobudzanie, techniki uczenia się, która zyskała szerokie zastosowanie w ostatnich latach, i te algorytmy uczenia klasyfikatorów liniowych. Korzystanie zwiększenie budujemy nową rodzinę algorytmów liniowych klasyfikatorów, które ściśle odpowiadają złożoności próbki i tolerancji hałasu algorytmów, takich jak perceptron i winnow nauki. W ten sposób pomóc zjednoczyć pozornie odmienne tematy pobudzanie i te klasyczne algorytmy uczenia się.

Prezentujemy także nowe algorytmy, które dają wzrost wydajności dla ilościowych w zakresie dobrze badanych problemów w teorii uczenia się. Prezentujemy nowy wzmacniający pienienie algorytmu, który gwarantuje użycie pośrednich rozkładów prawdopodobieństwa, które są optymalnie gładkie. Używamy tego sprawne algorytm wzmacniający pienienie, uzyskując najszybszy znany algorytm uczenia DNF pod równomiernego rozkładu przy użyciu zapytań członkostwa, a także poprawić znane z największymi ustawione konstrukcje w teorii złożoności. Opisujemy również szybki algorytm tolerancyjnego, hałas klasyfikatorów liniowych do nauki w rozkładach symetrycznych. Wreszcie, dajemy najszybszy znany algorytm uczenia monotonny DNF pod równomiernym rozkładzie bez zapytań członkowskich.

PostScript lub PDF.

Comments are closed.