Optymalna alokacja budżetu obliczeniowego (OCBA)

Source: http://seor.vse.gmu.edu/~cchen9/ocba.html

Posiadamy najnowocześniejsze podejście do inteligentnego przydzielania budżetu obliczeniowego w celu wydajnej optymalizacji symulacji. Celem jest znalezienie najlepszego projektu przy minimalnym czasie symulacji. Wielu naszych współautorów i przyjaciół przyczynia się do wzbogacenia tego obszaru.

Symulacja jest popularnym narzędziem do projektowania dużych, złożonych systemów stochastycznych, ponieważ rozwiązania analityczne w postaci zamkniętej generalnie nie istnieją dla takich problemów. Chociaż postęp nowej technologii radykalnie zwiększył moc obliczeniową, wydajność jest nadal dużym problemem podczas korzystania z symulacji w projektach dużych systemów, w którym to przypadku należy symulować wiele alternatywnych projektów. Co gorsza, dla każdego projektu należy przeprowadzić wiele symulacji, aby uchwycić zachowania stochastyczne w systemach. Kluczową kwestią w tym temacie jest radykalne skrócenie całkowitego czasu obliczeń.

Kluczowym elementem naszych metodologii jest nasza nowa technika symulacji oparta na teorii sterowania, zwana optymalną alokacją budżetu obliczeniowego (OCBA). Podejście OCBA może w inteligentny sposób określić najbardziej wydajną liczbę replikacji symulacji lub długość symulacji dla wszystkich symulowanych alternatyw. Celem jest uzyskanie najwyższej jakości decyzji symulacyjnych przy stałym budżecie obliczeniowym lub osiągnięcie pożądanej jakości decyzji symulacyjnych przy minimalnym budżecie obliczeniowym. Testy numeryczne pokazują, że nasze podejście pozwala uzyskać taką samą jakość symulacji przy zaledwie jednej dziesiątej nakładu pracy związanej z symulacją.

OCBA jest również idealny do optymalizacji symulacji stochastycznych. Głównym powodem, dla którego optymalizacja symulacji jest trudna, jest stochastyczny charakter oceny funkcji celu, co oznacza, że ​​istnieje podstawowy kompromis między poświęceniem wysiłku obliczeniowego na poszukiwanie przestrzeni dla nowych kandydujących rozwiązań (eksploracja) a uzyskaniem dokładniejszych oszacowań funkcji celu przy obecnie obiecujących rozwiązaniach (eksploatacja). Innymi słowy, jaka część budżetu symulacji powinna zostać przeznaczona na dodatkowe replikacje w już odwiedzonych punktach, a jaka na replikacje w nowo wygenerowanych punktach wyszukiwania, jest głównym czynnikiem wpływającym na wydajność obliczeniową. W procedurze OCBA sekwencyjnie określa, które alternatywy projektowe wymagają więcej symulacji i ile dodatkowych replikacji jest potrzebnych.

Intuicyjnie, aby zapewnić prawidłowy wybór najlepszej alternatywy, większa część budżetu obliczeniowego powinna być przeznaczona na te alternatywy, które są krytyczne w procesie identyfikacji najlepszej alternatywy. Innymi słowy, należy przeprowadzić większą liczbę symulacji z tymi krytycznymi alternatywami, aby zmniejszyć wariancje tych krytycznych estymatorów. Ogólna wydajność symulacji jest lepsza, ponieważ mniej wysiłku obliczeniowego poświęca się na symulowanie alternatyw niekrytycznych, a więcej na alternatywy krytyczne. Idee wyjaśniono za pomocą następującego prostego przykładu. Załóżmy, że przeprowadzamy symulacje dla 5 alternatyw w celu określenia alternatywy z minimalnym średnim opóźnieniem. Przede wszystkim przeprowadzamy wstępną symulację dla wszystkich 5 alternatyw. Rysunek 1-(a) przedstawia przykład ich 99% przedziałów ufności uzyskanych ze wstępnej symulacji. Należy zauważyć, że niepewność oszacowania wynika ze stochastycznych cech systemu i zastosowania symulacji Monte Carlo.

Jak widać na rysunku 1-(a), chociaż oszacowanie wydajności dla każdej alternatywy jest niepewne, oczywiste jest, że alternatywy 2 i 3 są znacznie lepsze niż inne alternatywy, jeśli zamierzamy znaleźć alternatywę o minimalnej średniej opóźnienie. I tak tylko alternatywy 2 i 3 wymagają dalszej symulacji w celu zmniejszenia niepewności oszacowania w celu prawidłowego zidentyfikowania najlepszej alternatywy. Zatrzymując symulacje dla alternatyw 1, 4 i 5 wcześniej, możemy zaoszczędzić sporo kosztów obliczeniowych.

Jednak to, co faktycznie dzieje się w większości przypadków, nie jest tak trywialne, jak pokazano na rysunku 1-(a). Częściej spotyka się przypadki takie jak inny przykład pokazany na rysunku 1-(b), w których niektóre alternatywy wydają się lepsze, ale nie są wyraźnie lepsze od innych. W takich przypadkach nie jest łatwo określić, które alternatywy można usunąć z eksperymentu symulacyjnego i kiedy należy je zatrzymać. OCBA zapewnia systematyczne podejście do rozwiązania tego problemu i przydzielania przebiegów symulacji do alternatyw w taki sposób, aby zmaksymalizować wydajność symulacji.

Aby dowiedzieć się więcej o OCBA, dobrym punktem wyjścia są dwa poniższe artykuły:

Wprowadzenie pomysłów OCBA

Chen, CH i LH Lee, Optymalizacja symulacji stochastycznej: optymalna alokacja budżetu obliczeniowego . World Scientific Publishing Co., 2011.

Xu, J., E. Huang, L. Hsieh, LH Lee, QS Jia i CH Chen, „Optymalizacja symulacji w erze Industrial 4.0 i Industrial Internet”, 10 (4), 310-320, Journal of Simulation , 2016.

Xu, J., E. Huang, CH Chen i LH Lee, „Optymalizacja symulacji: przegląd i eksploracja w nowej erze przetwarzania w chmurze i dużych zbiorów danych”, Asia-Pacific Journal of Operational Research , 32 (3), czerwiec 2015

Chen, CH, M. Fu i L. Shi, „Simulation and Optimization”, Tutorials in Operations Research , s. 247-260, Informs, Hanover, MD, 2008.

Fu, M, CH Chen i L. Shi, „Some Topics for Simulation Optimization”, Proceedings of 2008 Winter Simulation Conference , s. 27-38, Miami, Floryda, grudzień 2008.

Oto kilka bardziej reprezentatywnych publikacji na temat technik OCBA.

Jeden z najpopularniejszych artykułów OCBA

Chen, CH, J. Lin, E. Yucesan i SE Chick, „Alokacja budżetu na symulacje w celu dalszego zwiększania wydajności optymalizacji porządkowej”, Journal of Discrete Event Dynamic Systems: Theory and Applications , tom. 10, s. 251-270, lipiec 2000.

Wcześniejszy rozwój OCBA

Chen, CH „An Effective Approach to Smartly Aloke Computing Budget for Discrete Event Simulation”, Proceedings of the 34th IEEE Conference on Decision and Control , s. 2598-2605, grudzień 1995.

Chen, CH „Dolna granica prawidłowego prawdopodobieństwa wyboru podzbioru i jego zastosowanie do symulacji systemu zdarzeń dyskretnych”, IEEE Transactions on Automatic Control , tom. 41, nr 8, s. 1227-1231, sierpień 1996.

Chen, CH, E. Yucesan, L. Dai i HC Chen, „Wydajne obliczenia optymalnej alokacji budżetu dla eksperymentu symulacji zdarzeń dyskretnych”, Transakcje IIE , tom. 42, nr 1, s. 60-70, styczeń 2010.

OCBA dla problemów z wieloma celami

Lee, LH, EP Chew, SY Teng i D. Goldsman, „Optymalna alokacja budżetu obliczeniowego dla wieloobiektywnych modeli symulacyjnych”, Proceedings of 2004 Winter Simulation Conference , s. 586-594, 2004.

EJ Chen i LH Lee, „Wielokierunkowa procedura selekcji określania zbioru Pareto”, Computers and Operations Research, 36(6) ,: 1872-1879 , 2009.

S. Teng, LH Lee i EP Chew, „Integracja strefy obojętności z wielocelową alokacją budżetu obliczeniowego”, European Journal of Operational Research, 203 (2): 419-429, 2010.

LH Lee, EP Chew, SY Teng i D. Goldsman (2010). Znalezienie zestawu Pareto dla wielokryterialnych modeli symulacyjnych, które pojawią się w transakcjach IIE .

OCBA do wyboru optymalnego podzbioru najlepszych projektów (powiedzmy 5 najlepszych)

Chen, CH, D. He, M. Fu i LH Lee, „Efektywna alokacja budżetu symulacji w celu wybrania optymalnego podzbioru”, Informs Journal on Computing , tom. 20, nr 4, s. 579-595, 2008.

Zhang, S., LH Lee, EP Chew, J. Xu i CH Chen, „Procedura alokacji budżetu symulacji w celu zwiększenia wydajności wyboru optymalnego podzbioru”, IEEE Transactions on Automatic Control , 61 (1), 62-75, styczeń 2016 r.

OCBA do wyboru najlepszej alternatywy, gdy próbki są skorelowane

Fu, MC, JQ Hu, CH Chen i X. Xiong, „Przydział symulacji w celu określenia najlepszego projektu w obecności skorelowanego pobierania próbek”, informuje Journal on Computing , tom. 19, nr 1, s. 101-111, 2007.

OCBA do symulacji i optymalizacji

Zhang, S., J. Xu, LH Lee, EP Chew, WP Wong i CH Chen, „Optymalna alokacja budżetu obliczeniowego dla optymalizacji roju cząstek w optymalizacji stochastycznej”, IEEE Transactions on Evolutionary Computation , 21 (2) , 206-219 , 2017.

Nicholas, P., „A Dividing Rectangles Algorithm for Stochastic Simulation Optimization”, Proceedings of 14th INFORMS Computing Society Conference , Richmond, Wirginia, styczeń 2015 r.

On, D., LH Lee, CH Chen, M. Fu i S. Wasserkrug , „Optymalizacja symulacji przy użyciu metody krzyżowej entropii z optymalną alokacją budżetu obliczeniowego”, ACM Transactions on Modeling and Computer Simulation , 2009.

Chew, EP, LH Lee, SY Teng i CH Koh, „Optymalizacja zasobów zróżnicowanych usług przy użyciu zagnieżdżonych partycji i MOCBA”, Computers and Operations Research , 36(5), 1703-1710, 2009.

Lee, LH, EP Chew, SY Teng i YK Chen, „Multi-obiektywny algorytm ewolucyjny oparty na symulacji dla problemu alokacji części zamiennych do samolotów”, European Journal of Operational Research , 189 (2): 476-491, 2008.

Chen, CH, D. He, M. Fu i LH Lee, „Efektywna alokacja budżetu symulacji w celu wybrania optymalnego podzbioru”, Informs Journal on Computing , tom. 20, nr 4, s. 579-595, 2008.

Shi, L. i CH Chen, „Nowy algorytm stochastycznej optymalizacji alokacji zasobów dyskretnych”, Journal of Discrete Event Dynamic Systems: Theory and Applications , tom. 10, s. 271-294, lipiec 2000.

Zastosowania OCBA

Hsieh, L., E. Huang i CH Chen, „Wzmocnienie wykorzystania sprzętu w obszarze fotolitografii poprzez dynamiczną kontrolę systemu z wykorzystaniem optymalizacji symulacji o wielu wiernościach z techniką Big Data”, Transakcje IEEE dotyczące decyzji o produkcji półprzewodników, 30 (2) , 166 -175, 2017.

Aristotelis, T., M. Bastani, N. Celik i CH Chen, „Dynamic Data Driven Adaptive Simulation Framework for Automated Control in Microgrids”, IEEE Transactions on Smart Grid , 8(1), 209-218, 2017 .

Hsieh, L., E. Huang, S. Zhang, KH Chang, CH Chen, "Application of Multi-Fidelity Simulation Modeling to Integrated Circuit Packaging", International Journal of Simulation and Process Modeling , 28 (2), 195-208, Wiosna 2016.

Hsieh, BW, CH Chen, SC Chang, „Wydajna kompozycja zasad wysyłania oparta na symulacji poprzez integrację optymalizacji porządkowej z projektowaniem eksperymentu”, IEEE Transactions on Automation Science and Engineering , tom. 4, nr 4, s. 553-568, październik 2007 r.

Romero, VJ, DV Ayon, CH Chen, „Demonstracja koncepcji probabilistycznej optymalizacji porządkowej w celu optymalizacji zmiennej ciągłej w warunkach niepewności”, „ Optymalizacja i inżynieria” , tom. 7, nr 3, s. 343-365, wrzesień 2006.

Chen, CH i D. He, „Inteligentna symulacja dla porównania alternatyw i zastosowania w zarządzaniu ruchem lotniczym”, Journal of Systems Science and Systems Engineering , tom. 14, nr 1, s. 37-51, marzec 2005.

Chen, CH, K. Donohue, E. Yucesan i J. Lin, „Optymalna alokacja budżetu obliczeniowego dla symulacji Monte Carlo z zastosowaniem do projektowania produktów”, Journal of Simulation Practice and Theory , tom. 11, nr 1, s. 57-74, marzec 2003.

Hsieh, BW, CH Chen i SC Chang, „Planowanie produkcji płytek półprzewodnikowych za pomocą symulacji opartej na optymalizacji porządkowej”, IEEE Transactions on Robotics and Automation , tom. 17, nr 5, s. 599-608, październik 2001.

Chen, CH, SD Wu i L. Dai, „Porządkowe porównanie algorytmów heurystycznych z wykorzystaniem optymalizacji stochastycznej”, IEEE Transactions on Robotics and Automation , tom. 15, nr 1, s. 44-56, luty 1999.

Związek z optymalizacją porządkową

Dai, L., CH Chen i JR Birge, „Właściwości dużej zbieżności dwustopniowego programowania stochastycznego”, Journal of Optimization Theory and Applications , tom. 106, nr 3, s. 489-510, wrzesień 2000.

Ho, YC, CG Cassandras, CH Chen i L. Dai, „Ordinal Optimization and Simulation”, Journal of Operational Research Society , tom. 51, nr 4, s. 490-500, kwiecień 2000 r.

Dai, L. i CH Chen, „Rate of Convergence for Ordinal Comparison of Dependent Simulations in Discrete Event Dynamic Systems”, Journal of Optimization Theory and Applications , tom. 94, nr 1, s. 29-54, lipiec 1997.

Niektóre inne uogólnienia i prace pokrewne

Blanchet, J., J. Liu i B. Zwart, „Large Deviations Perspective on Ordinal Optimization of Heavy-Tailed Systems”, Proceedings of the 2007 Winter Simulation Conference , s. 489-494, 2007.

Branke, J., SE Chick i C. Schmidt. Wybór procedury selekcji. Nauka o zarządzaniu 53 1916-1932, 2007.

Laska, S. i K. Inoue. Nowe dwuetapowe i sekwencyjne procedury wyboru najlepszego symulowanego systemu. Badania operacyjne 49 1609-1624, 2001.

Laska, S. i K. Inoue. Nowe procedury wyboru najlepszego symulowanego systemu przy użyciu wspólnych liczb losowych. Nauka o zarządzaniu 47 1133-1149, 2001.

Glynn, P., S. Juneja. Perspektywa dużych odchyleń w optymalizacji porządkowej. Materiały z zimowej konferencji symulacyjnej 2004 , 577-585, 2004.

Pujowidianto, NA, LH Lee, CH Chen, CM Yep, „Optimal Computing Budget Allocation For Constrained Optimization”, które ukaże się w Proceedings of 2009 Winter Simulation Conference , s. 584-589, Austin, TX, grudzień 2009.

Trailovic , L. i LY Pao. 2004. Alokacja budżetu obliczeniowego dla wydajnego rankingu i selekcji wariancji z zastosowaniem algorytmów śledzenia celu. IEEE Transactions on Automatic Control 49 58-67, 2004.

Książki OCBA

1.Nowa książka o OCBA została opublikowana w 2011 roku. Tytuł książki to „Stochastic Simulation Optimization: An Optimal Computing Budget Allocation”. Ta książka zawiera kompleksowe i obszerne omówienie tej wydajnej metodologii optymalizacji symulacji, od podstawowej idei, formalnego rozwoju, po najnowocześniejsze rozwiązania. Można go zamówić na Amazon.com .

2.Kolejną nową książką obejmującą znacznie szerszą perspektywę optymalizacji porządkowej jest „ Stochastic Simulation Optimization for Discrete Event Systems – Perturbation Analysis, Ordinal Optimization, and Beyond ” , opublikowana w 2013 roku.

Komputerowe kody źródłowe dla OCBA

-OCBA C Code , który pojawia się również na stronach 214 - 218 książki OCBA .

-Kod OCBA C++ , dzięki uprzejmości prof. Nurcina Celika z University of Miami

-Kod OCBA JAVA , dzięki uprzejmości prof. Nurcina Celika z University of Miami

Demo OCBA (i kod JAVA)

Demo OCBA Korzystanie z przeglądarki internetowej . To demo OCBA zostało zaimplementowane przez A. Johnsona, Cheol Y. Park i Ning Lin. W wersji demonstracyjnej zobaczysz, jak OCBA dynamicznie wybiera projekty godnych uwagi do dalszej symulacji.