정보 기술 놀이터

스태킹(stacking)은 앙상블 학습(ensemble learning) 방법 중 하나입니다. 앙상블 학습은 같은 데이터를 기반으로 학습한 여러 모델을 비교 및 결합하여 개별적인 모델보다 성능이 더 나은 최종 모델을 만드는 것입니다. 스태킹은 말 그대로 여러 가지 모델을 쌓아서 학습하는 방법으로, 베이스 모델과 메타 모델로 구성됩니다. 베이스 모델이 먼저 학습한 후 메타 모델은 베이스 모델의 예측을 피처(feature) 데이터로 활용해 최종 예측을 합니다. 베이스 모델은 여러 개의 모델들을 사용합니다. 위 그림에서 베이스 모델들은 Level0, 메타 모델은 Level1입니다. 각 베이스 모델을 A, B, C, 메타 모델을 D라고 할 때 D의 입력 feature는 A, B, C의 출력을 feature로 사..

부스팅(boosting)은 앙상블 학습(ensemble learning) 방법 중 하나입니다. 앙상블 학습은 같은 데이터를 기반으로 학습한 여러 모델을 비교 및 결합하여 개별적인 모델보다 성능이 더 나은 최종 모델을 만드는 것입니다. 부스팅은 앞서 보팅(voting)과 같은 독립접 앙상블 방법과 달리 의존적 앙상블 방법입니다. 부스팅의 핵심 아이디어는 분류하기 어려운 데이터에 집중한다는 것입니다. 즉, 데이터 포인트에 가중치를 할당함으로써 학습 중 관심의 정도를 반영할 수 있습니다. 학습 초기에는 모든 데이터 포인트에 동일한 가중치를 할당하고, 점차 학습이 진행되면서 올바르게 분류된 데이터 포인트의 가중치는 감소하는 반면에 잘못 분류된 데이터 포인트 가중치는 증가하게 됩니다. 즉, 이전 단계에서 만들어진..

배깅(bootstrap aggregating, bagging) 또한 앙상블 학습(ensemble learning) 방법 중 하나입니다. 앙상블 학습은 같은 데이터를 기반으로 학습한 여러 모델을 비교 및 결합하여 개별적인 모델보다 성능이 더 나은 최종 모델을 만드는 것입니다. 앞서 보팅 방법과 달리 배깅은 동일한 학습 데이터를 사용하는 것이 아니라 부트스트랩(bootstrap) 샘플을 추출하여 학습하는 방법입니다. 여기서 부트스트랩이란 중복을 허용한 랜덤 샘플 추출 방법입니다. 또한 개별 모델은 모두 같은 머신러닝 알고리즘을 사용합니다. 가장 유명한 배깅 방법에는 랜덤 포레스트(random forest)가 있습니다. 랜덤 포레스트는 의사결정나무(decision tree)를 기반으로 예측한 결과를 평균으로 ..

보팅(voting)은 앙상블 학습(ensemble learning) 방법 중 하나입니다. 앙상블 학습은 같은 데이터를 기반으로 학습한 여러 모델을 비교 및 결합하여 개별적인 모델보다 성능이 더 나은 최종 모델을 만드는 것입니다. 보팅은 말 그대로 같은 데이터를 기반으로 개별 모델들의 결과를 투표를 통해 최종 목표 모델을 결정하는 방법입니다. 여기서 투표 방식은 두 가지가 있습니다. 1. 하드 보팅 (hard voting) 하드 보팅은 분류 문제에서 개별 모델들이 가장 많이 분류한 클래스로 최종 결과를 내는 방법입니다. 아래 그림에서 3개의 모델 중 2개의 모델이 0으로 분류했기 때문에 최종 예측은 0입니다. 2. 소프트 보팅 (soft voting) 소프트 보팅은 분류 문제에서 개별 모델들이 예측 확률을..

서포트 벡터 머신(SVM)은 서포트 벡터라고 하는 기준으로 클래스를 판별합니다. 데이터를 분류할 때, 중심선과 경계선을 이용할 수 있습니다. 여기서 경계선을 서포트 벡터라고 데이터와 최소의 마진을 나타냅니다. 또한 서포트 벡터 머신은 분류할 클래스에서 최대 마진을 남기는 결정 경계선이라고 할 수 있습니다. 최대 마진이라는 것은 더 분명하게 클래스를 분류할 수 있다는 말입니다. 위 그림에서 분류할 클래스는 빨강, 파랑 2가지이며 실선은 중심선, 점선은 경계선 입니다. 중심선과 경계선의 거리는 1로 가정했습니다. 마진 r 은 다음과 같이 계산할 수 있으며, 서포트 벡터 간 거리는 아래와 같습니다. 최대 마진을 구하기 위해서 라그랑주 승수법을 이용하여 풀어냅니다. 최대 마진 계산 방법 중 하드 마진을 사용하는..

의사결정나무(Decision Tree)란 이름 그대로 의사 결정을 하는 데 나무(tree)를 사용한다는 뜻입니다. 의사결정나무는 예측 또는 분류 문제를 해결함에 있어서 어떤 변수가 가장 중요한 영향을 주는지 확인할 수 있고, 나아가 각 변수별로 어떤 척도에 따라 예측 또는 분류했는지 상세한 기준을 알 수 있다는 장점이 있습니다. 트리를 구성하는 방법은 엔트로피(Entropy)와 지니계수(Gini Index)를 사용하는 방법이 있는데, 이 중 엔트로피를 사용하는 방법을 알아봅시다. 먼저 엔트로피란 불순도(impurity) 정도를 측정하며, 낮을수록 좋습니다. 여기서 불순도란 노드에 서로 다른 데이터가 얼마나 섞여 있는지를 의미합니다. 또한 불순도가 낮을수록 데이터가 섞여 있지 않다는 것을 의미합니다. 엔트..

나이브 베이즈(Naive Bayes)는 서로 조건부 독립인 피처를 가정하고, 베이즈 이론을 기반으로 하는 머신러닝 알고리즘입니다. 베이즈 정리란 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리입니다. 즉, 어떤 사건이 서로 배반하는 원인 둘에 의해 일어난다고 할 때 실제 사건이 일어났을 때 이것이 두 원인 중 하나일 확률을 구하는 정리를 베이즈의 정리라고 합니다. 공식은 다음과 같습니다. 베이즈 확률론 해석에 따르면 베이즈 정리는 사전확률로부터 사후확률을 구할 수 있습니다. 이러한 베이즈 정리는 불확실성 하에서 의사결정 문제를 수학적으로 다룰 때 사용됩니다. 예를 들어 다음과 같이 날씨에 따라 축구를 진행했는지 여부를 나타내는 데이터를 나이브 베이즈를 이용해 분류해 봅시다. 빈도 수를..

https://github.com/byunghyun23/kaggle-competitions

https://github.com/byunghyun23/machine-learning-projects

가비아에서 도메인을 구입하고, EC2 서버에 연결 하는 방법입니다. 1. AWS Route53 검색 2. 호스팅 영역 클릭 3. 호스팅 영역 생성 클릭 4. 호스팅 영역 구성에서 구입/구입 할 도메인 이름 입력 5. 레코드 생성 클릭 6. 값에 EC2 퍼블릭 IP 입력 7. 레코드 생성 후 NS 유형의 값/트래픽 라우팅 대상 확인 가비아와 연결하기 위한 주소 정보입니다. 4개 모두 맨 뒤에 .을 지우고 가비아에서 구입 도메인 관리의 네임서버 설정에 넣으면 됩니다.