Sosyal Yayılım Teorisi

O aprendizado incremental de redes Bayesianas é uma área de interesse para pesquisa acadêmica e de muito potencial de uso para as empresas, por vários motivos, entre eles:

• O crescimento constante das bases de dados. Fazer aprendizado em batelada dessas bases pode se tornar proibitivo computacionalmente;

• O aspecto temporal do aprendizado incremental de redes Bayesianas. Uma vez que usando o aprendizado incremental se terá sempre a rede Bayesiana mais atualizada;

• O aspecto adaptativo do aprendizado incremental de redes Bayesianas. Com o aprendizado incremental vai se adaptando a rede Bayesiana ao conjunto total de dados, diminuindo assim o risco de uma base de dados não aleatória produzir uma rede Bayesiana tendenciosa.

• O tempo necessário para fazer o aprendizado incremental de redes Bayesianas é menor do que o tempo do aprendizado em batelada, possibilitando assim o seu uso em aplicações onde tempo é crucial (web-mining, por exemplo).

Os resultados obtidos com o algoritmo ABC mostraram que esse método é completo e que ele consegue gerar bons resultados, sendo o algoritmo ABC em si um método que leva em conta um aspecto qualitativo do aprendizado, reforçando o foco nos resultados. Neste sentido as principais contribuições deste trabalho foram:

• A definição e implementação de dois métodos de aprendizado incremental: o AIP e o ABC.

o O AIP possui como base um princípio simples e se mostra adequado em problemas onde há condições para um bom aprendizado de estrutura de rede Bayesiana, o que implica na disponibilidade de uma base de dados grande e significativa o suficiente para isso.

o Já o ABC é um método mais completo, que consegue, se necessário, alterar a estrutura e os parâmetros da rede Bayesiana para adaptar ela aos registros processados.

• A definição e implementação de duas formas de otimização de estruturas AD-Tree.

o A primeira é chamada “AKD-Tree”, e é uma estrutura de tamanho otimizado, mas que privilegia a performance das consultas feitas na estrutura.

o Já a segunda otimização é chamada “AKD-Tree reduzida” e privilegia o tamanho da estrutura e por isso tem performance de consultas pior do que a da AKD-Tree, porém seu tamanho é mínimo.

Bibliografia

[1] Anderson, J.R., Matessa, M. Explorations of an incremental, Bayesian algorithm for categorization. Machine Learning, 9(4):275-308, 1992.

[2] Beinlich, I., Suermondt, H., Chavez, R., Cooper, G. The ALARM monitoring system: A case study with two probabilistic inference techniques for belief networks. Proceedings of the Second European Conference on Artificial

Intelligence and medicine, 689-693, 1992.

[3] Bentley, J.L. Multidimensional binary search trees used for associative searching. Communications of the ACM, 18(9): 509-517, 1975.

[4] Bezdek, J.C. Pattern recognition with fuzzy objective function algorithms. Plenum Press, New York, 1981.

[5] Buntine, W. Theory refinement on Bayesian networks. Proceedings of the

Seventh Conference on Uncertainty in Artificial Intelligence, 52-60, 1991.

[6] Buntine, W. Operations for learning with graphical models. Journal of Artificial

Intelligence Research, 2:159-225, 1994.

[7] Castelo, R. A Discrete Acyclic Digraph Markov Model in Data Mining. PhD thesis, Faculteit Wiskunde en Informatica, Univeriteit Utrecht, 2002.

[8] Castelo, R., Kocka, T. On inclusion-driven learning of Bayesian networks.

Journal of Machine Learning Research, 4:527-574, 2003.

[9] Castillo, E., Gutierrez, J., Hadi, A. Expert Systems and Probabilistic Network Models. Springer-Verlag, New York, 1997.

[10] Chow, C.K., Liu, C.N. Approximating discrete probability distributions with dependence trees. IEEE Transactions on Information Theory, 14(3):462-467, 1968.

[11] Cooper, G., Herskovits, E. A Bayesian method for the induction of probabilistic networks from data. Machine Learning, 9(4):309-347, 1992. [12] Domingos, P., Hulten, G. Catching up with the data: Research issues in

mining data streams. Workshop on Research Issues in Data Mining and

[13] Domingos, P., Hulten, G. A general framework for mining massive data streams. Journal of Computational and Graphical Statistics, 12(4):945-949, 2003.

[14] Druzdzel, M.J. SMILE: Structural Modeling, Inference and Learning Engine and GeNIe: A development environment for graphical decision-theoretic models. Proceedings of the Sixteenth National Conference on Artificial

Intelligence, 902-903, 1999.

[15] Druzdzel, M.J., van der Gaag, L.C. Building probabilistic networks: where do the numbers come from?. IEEE Transactions on Knowledge and Data

Engineering, 12(4):481-486, 2000.

[16] Fayyad, U., Piatetsky-Shapiro, G., Smyth, P. From data mining to knowledge discovery: an overview. Advances in Knowledge Discovery and Data Mining, AAAI Press, Menlo Park, CA, 1-34, 1996.

[17] Fisher, D.H. Knowledge acquisition via incremental conceptual clustering.

Machine Learning, 2(2):139-172, 1987.

[18] Friedman, N., Goldszmidt, M. Sequential update of Bayesian network structure. Proceedings of the Thirteenth Conference on Uncertainty in

Artificial Intelligence, 165-174, 1997.

[19] Friedman, N., Geiger, D. Goldszmidt, M. Bayesian network classifiers.

Machine Learning, 29(2-3):131–163, 1997.

[20] Gama, J., Castillo, G. Adaptive Bayes. Proceedings of the 8th Ibero-

American Conference of Artificial Intelligence, 765-774, 2002.

[21] Gennari, J.H., Langley, P., Fisher, D. Models of incremental concept formation. Artificial Intelligence, 40(1-3):11-61, 1989.

[22] Hruschka Jr, E.R., Ebecken, N.F.F. Variable ordering for Bayesian networks learning from data. Proceedings of the International Conference on

Computational Intelligence for Modelling, Control and Automation, Vienna,

Austria, 2003.

[23] Hruschka Jr, E.R. et al. Bayesian networks for imputation in classification problems. Journal of Intelligent Information Systems, 2007.

[24] Hruscka Jr, E.R. Imputação Bayesiana no contexto da mineração de dados. PhD. Thesis, COPPE-Universidade Federal do Rio de Janeiro, 2003.

[25] Hruscka Jr, E.R. Propagação de Evidências em Redes Bayesianas: Diagnóstico sobre Doenças Pulmonares, MSc. Thesis, CIC-Universidade de Brasília, 1997

[26] Huang, C., Darwiche, A. Inference in belief networks: a procedural guide.

International Journal of Approximate Reasoning, 15(3), 225-263, 1996.

[27] Hulten, G., Domingos, P. Mining complex models from arbitrarily large databases in constant time. Proceedings of the Eighth ACM SIGKDD

International Conference on Knowledge Discovery and Data Mining, 525-

531, 2002.

[28] Lam, W., Bacchus, F. Using new data to refine Bayesian networks.

Proceedings of the Tenth Conference on Uncertainty in Artificial Intelligence,

383-390, 1994.

[29] Langley, P. Order effects in incremental learning. Learning in Humans and

Machines: Towards an Interdisciplinary Learning Science, eds., Reimann, P.

and Spada, H., Elsevier, Amsterdam, 1995.

[30] Lauritzen, S.L. The EM algorithm for graphical association models with missing data. Computational Statistics and Data Analysis, 19:191-201, 1995. [31] Lauritzen, S.L., Spiegelhalter, D.J. Local computations with probabilities on

graphical structures and their application to expert systems. Journal of the

Royal Statistical Society B, 50(2):157-224, 1988.

[32] Mauro, N., Esposito, F., Ferilli, S., Basile, T.M.A. Avoiding order effects in incremental learning. Advances in Artificial Intelligence, 3673:110–121, 2005. [33] Mitchell, T.M. Machine Learning. McGraw-Hill Series in Computer Science.

The McGraw-Hill Companies, Inc., 1997.

[34] Moore, A.W., Lee, M.S. Cached sufficient statistics for efficient machine learning with large datasets. Journal of Artificial Intelligence Research, 8:67- 91, 1998.

[35] Moore, A.W., Schneider, J., Deng, K. Efficient locally weighted polynomial regression predictions. Proceedings of the Fourteenth International

Conference on Machine Learning, 236-244, 1997.

[36] Neapolitan, R.E. Learning Bayesian Networks. Prentice Hall, Upper Saddle River, NJ, 2003.

[38] Pearl, J., Verma, T.S. A statistical semantics for causation. Statistics and

Computing, 2:91-95, 1991.

[39] Provost, F.J., Kolluri, V. A survey of methods for scaling up inductive algorithms. Data Mining and Knowledge Discovery, 3(2):131-169, 1999. [40] Roure, J. Incremental methods for Bayesian network structure learning.

Ph.D. Dissertation proposal. U. Politecnica de Cataluña. 2004.

[41] Roure, J. An incremental algorithm for tree-shaped Bayesian network learning. Proceedings of the fifteenth European Conference of Artificial

Intelligence, 350-354, 2002.

[42] Roure, J. Incremental learning of tree augmented naïve Bayes classifiers.

Proceedings of the Eighth Ibero-American Conference of Artificial Intelligence, 2527:32-41, 2002.

[43] Roure, J., Talavera, L. Robust incremental clustering with bad instance orderings: a new strategy. Sixth Ibero-American Conference on Artificial

Intelligence, 136-147, 1998.

[44] Spiegelhalter, D.J., Lauritzen, S.L. Sequential updating of conditional probabilities on directed graphical structures. Networks, 20(5):579-605, 1990. [45] Spirtes, P., Glymour, C., Scheimes, R. Causation, Prediction and Search.

Springer-Verlag, New York, 116-125, 1993.

[46] Weiss, S.M., Kulikowski, C.A. Computer systems that learn. Morgan Kaufmann, San Mateo, CA, 1991.

[47] Witten, I.H., Frank, E. Data mining: practical machine learning tools and techniques (Second Edition). Morgan Kaufmann, San Mateo, CA, 2005. [48] Yang, Y., Webb, G.I. Proportional k-Interval discretization for naïve-Bayes

classifiers. Lecture Notes in Computer Science, 2167:564, 2001.

[49] Yang, Y., Webb, G.I. On why discretization works for naïve-Bayes classifiers.

Apêndice I – Tabelas com os resultados do