1. Breiman (2001), Statistical Modeling: The Two Cultures
3줄 요약
- Breiman은 통계적 분석을 확률적 데이터 생성모형을 가정하는 Data Modeling Culture와, 생성 과정을 알 수 없는 black box로 두고 입력 에서 출력 를 잘 예측하는 함수를 찾는 Algorithmic Modeling Culture로 구분한다.
- 그는 당시 통계학이 data model에 지나치게 의존하면서 잘못된 모형 가정에 따른 해석과 결론의 위험을 키웠으며, 실제 문제에서는 test set이나 cross-validation을 이용한 predictive accuracy가 중요한 평가 기준이 되어야 한다고 주장한다.
- 따라서 통계학은 특정 data model만을 고집하기보다 algorithmic modeling을 포함한 더 다양한 도구를 받아들여야 하며, Rashomon effect·Occam·차원의 문제 등을 통해 좋은 예측과 단순한 해석적 모형이 반드시 일치하지 않음을 강조한다.
질문 후보
- 예측 정확도가 높은 모델이 여러 개 존재하지만 각 모델이 변수의 중요성을 서로 다르게 설명한다면, 통계적·과학적 해석에서는 어떤 모델을 신뢰해야 하는가?
→ Breiman의 Rashomon effect를 직접 건드리는 질문. - Breiman이 강조하는 predictive accuracy는 예측 문제에서는 타당하지만, 원인이나 메커니즘 자체를 알고 싶은 문제에서도 data modeling보다 우선적인 기준이 될 수 있을까?
→ “prediction과 explanation/causal inference는 같은 목표인가?”로 토론 가능.
2. Domingos (2012), A Few Useful Things to Know About Machine Learning
3줄 요약
- Domingos는 머신러닝을 특정 알고리즘들의 목록이 아니라 Representation + Evaluation + Optimization의 조합으로 설명하며, 실제 ML에는 교과서에 잘 드러나지 않는 실천적 지식이 중요하다고 주장한다.
- 머신러닝의 핵심 목표는 training data 자체를 잘 맞히는 것이 아니라 unseen data로 generalize하는 것이며, 이를 위해 데이터만으로는 충분하지 않고 hypothesis space와 inductive assumptions가 반드시 필요하다.
- 실제 학습에서는 overfitting과 bias–variance trade-off, curse of dimensionality를 고려해야 하며, feature engineering과 충분한 데이터가 알고리즘 자체의 정교함만큼 또는 그 이상으로 중요할 수 있다.
질문 후보
- Domingos는 “data alone is not enough”이라고 주장하는데, 현대 딥러닝에서는 학습에 필요한 사전 가정(inductive bias)이 구체적으로 어디에 들어가 있다고 볼 수 있을까? — 모델 구조, loss, 데이터, 학습 방법 중 무엇이 가장 중요한가?
- “많은 데이터를 가진 단순한 알고리즘이 적은 데이터를 가진 영리한 알고리즘보다 낫다”는 주장은 언제까지 성립할까? 데이터의 질, 차원, 계산비용까지 고려하면 단순히 데이터를 늘리는 것이 항상 최선인가?
Domingos도 더 많은 데이터의 실용적 장점을 강조하면서 동시에 차원의 저주와 알고리즘·계산상의 한계를 지적한다.