예측방법론 4강 메모 / 통계 어렵다
2024. 4. 8. 23:30
대학교
예측방법론 과제를 위해 미뤄둔 강의를 보며 공부하고 있다 예측방법론은 시계열 데이터 분석에 관한 과목이다 도저히 이해가 안되고 집중도 떨어져서 노트에 적어가며 공부했다 처음 통계학개론을 공부할때가 생각난다 마치 그때처럼 이해가 안되고 막막하다 그땐 일하느라 주말마다 도서관에 가서 초보를 위한 통계이론 책을 온갖꺼 다 골라 읽었다 다양한 책을 여러번 읽어가며 겨우 이해했다 예측방법론도 그렇게 해야할 것 같다 지금은 절반도 이해를 못한 느낌이다 수식도 다 찾아보고 다양한 자료를 찾아봐야겠다 익숙한 파이썬에 비해 R은 변수명에 . 넣는 것부터 좀 별로고 익숙하지 않아서 불편하다 생각해서 별로 좋아하지 않았는데 이론 수업 후에 마지막에 R 실습이 나오니 너무 기쁘고 반가웠다 ㅋㅋㅋㅋ 머리깨지기 일보직전에 구원자..
[다변량분석/메모] 4강. 인자분석 (1)
2024. 3. 26. 03:47
대학교
학습개요만 읽었을땐 인자분석과 주성분분석이 비슷하게 느껴진다. 강의노트에 주성분 분석과 인자 분석을 비교하며 정리되어 있음 *** 자료실에 있는 강의노트 쭉 읽어보면서 정리하기 요인분석 인자분석 (factor analysis) 내용을 이해하기 위해선 교재를 2-3번씩 읽어봐라, 그담에 강의 노트를 정리하는 것을 반복해서 인자분석을 이해할 수 있음 8분 10초 인자적재계수 (factor loading) 측정한 변수는 사회적 요인과 경제적 요인으로 설명될 수 있음 인자분석은 심리 통계에서 많이 이용이 됨 인자분석 : X 변수를 설명할 수 있는 요인을 도출해서 X가 인자와 어떠한 관계가 있는지 설명하는 모형으로 접근 - 인자의 수를 몇개로 설정? 보통 3-4개 3-4개의 인자가 데이터의 구조를 잘 나타내는 것..
[다변량분석/메모] 3강. 제2장 주성분 분석
2024. 3. 26. 00:43
대학교
분산의 정보를 가장 많이 갖는 것 : 제1주성분 그다음을 주성분2 주성분은 PC로 나타냄 9분 28초 PC=a1X1+a2X2+ ... + a100X100 (a1,a2,a100은 주성분 계수다) 주성분 5개만으로도 원래의 정보를 충분히 설명할 수 있다면 100개 대신 5개만으로 현상을 연구할 수 있다 => 주성분 분석 정보의 크기 = 분산의 크기 주성분계수를 어떻게 구할 수 있는가? **11분 ~23분18초 다시 보기 주성분의 분산을 구함 11분 59초 왜 갑자기 a' Var(X) a 가 나왔는가.. 11분 24초 고유근 고유벡터 찾아보기 12분 18초 분산공산행렬의 고유근 고유근에 해당되는 가장 큰 값을 고유벡터로 구하게 되면 이게 주성분계수가 된다 방법1 - eigenvalue를 구해서 대응되는 eig..
[회귀모형/메모] 1강. 단순회귀모형(1)
2024. 3. 24. 10:25
대학교
대체모형(alternative model) 식 ** 29분 20초 => 대체모형을 사용하는 이유?? 회귀계수 베타0, 베타1을 구할때 미분하는 이유?? 최소제곱법을 Sxx Sxy로 간단한 표현으로 나타냄 39분 55초 여기서 Sxx와 Sxy가 나타내는 것이 무엇인지 체크 산점도 위에 회귀직선을 긋는 방법 pch옵션은 point character로 점의 모양 abline함수는 절편과 기울기가 있는 직선 abline의 매개변수로 회귀모형을 적으면 회귀선을 그어줌 identify함수: 그래프를 클릭하면 몇번 점을 클릭한건지 알려줌. -> 종료하려면 마우스 우클릭 해서 상태를 종료할 수 있음 # 회귀모형 구하기 market_lm = lm(Y ~ X, data=market) summary(market_lm) # ..
[데이터마이닝/메모] 3강. 회귀모형 II
2024. 3. 16. 22:57
대학교
** R 실습 R로 2강에서 배운 회귀모형과 선형회귀모형을 코딩해본다. 선형회귀모형 함수 lm lm: linear model 약자 8분 28초 로지스틱회귀모형 함수 glm glm: generalized linear model 약자 family = binomial으로 지정해서 로지스틱회귀를 사용 family 옵션을 변경해서 로지스틱회귀모형이 아닌 다른 모형으로도 쓸 수 있음(목표변수의 분포를 변화시킴) step 함수: 변수 선택(전진, 후진, 단계적 선택방법) step(object, direction=c("both", "backword", "forward")) Object에는 회귀모형(lm, glm 등에서 생성한) 객체 predict 함수: 적합된 모델에 새로운 데이터가 주어졌을때 y값을 예측 회귀모형일 ..
[데이터마이닝/메모] 2강. 회귀모형 I
2024. 3. 16. 21:43
대학교
선형회귀모형 6분 43초 각 객체들의 오차는 서로 독립이고 평균이 0이고 일정한 분산을 가진 정규분포를 따른다고 가정 => 각각 오차들이 최소가 되게 하는 직선을 긋고 그 직선을 찾는 식을 구하는 것 ...이 선형회귀모형이다 오차제곱합 => 오차가 +, - 가 있는데 서로 상쇄되기 때문에 제곱해서 합을 구하는 것이다. 11분 26초: 회귀 계수(가중치, 베타)의 해석 12분 50초: 입력 변수의 중요도 (t값, t value) 추정값(분자)이 굉장히 클때 표준오차(분모)도 굉장히 크다면.. 나눴을때 별로 변수의 중요도가 크지 않다고 볼 수 있다 t값의 절대값이 클수록 영향력이 크다고 할 수 있다 15분 23초 : F score 모형의 상수항인 베타 제로를 제외한 모든 회귀 계수가 0인지 아닌지를 검정하는..
[데이터마이닝/메모] 1강. 데이터마이닝
2024. 3. 13. 22:14
대학교
** 데이터 마이닝은 R로만 실습하는 과목이다. 파이썬으로는 경험이 있지만 R로는 처음이라 개념을 배우며 코드가 어떤식으로 작성되는지 볼 수 있는 과목이 될 것으로 생각.. 데이터마이닝: 대용량 데이터로부터 중요한 특징을 뽑아내기 위해서 데이터 내에 존재하는 관계, 패턴, 규칙 등을 탐색하고 모형화함으로써 유용한 지식을 추출하는 일련의 과정 - 거대한 데이터 집적뿐만 아니라 실시간 분석으로 가치 창출 데이터 마이닝: 모수적 모형, 알고리즘 접근 방법 => 작게 보면 알고리즘 접근 방법만을 볼 수 있지만 크게 보면 데이터의 특징을 추출할 수 있는 모든 방법 모수적 모형 접근방법: 과거 통계학에서 모형을 만든다, 데이터 분석한다 할때 쓰인 것 / 모수(알려지지 않은 수)를 추정하는 방법 / 통계에서 모형을 ..
[예측방법론/메모] 1강. 예측의 개요
2024. 2. 23. 23:21
대학교
** 예측을 할때 맞추려고 하지 않고 틀리지만 정확한 의사결정을 하기 위해 하는거라고 생각하면 편하다 → 예측방법론 1강 후반에 말씀... ARIMA , AR, VAR모형 시계열 예측 머신러닝(Neural Neteork)은 비이론 모형 중 하나라니 결국엔 통계가 ML 보다 상위개념이다 ML은 아무리 XAI로 설명가능한 모델이라고 하더라도 아직까진 구체적으로 하기 힘들고 모델이 복잡하면 신뢰하기 어려우니 실무에서 사용하는데 한계가 있을 것 같다 그렇다면 통계직무를 할수있는 회사로 가고싶다.. 예측방법론 1강에 OT는 안들었다 객관적 예측 : 통계적 방법 주관적 예측 : 델파이 방법 등 예측모형: 이론모형, 비이론모형 이론모형: (회귀같은) 단일방정식 모형, 연립방정식 모형 등 비이론모형: ML처럼 데이터를..
방송대 실습 클라우드 PC - 한글, 어도비 프로그램(포토샵, 프리미어, 에펙 등) , SAS, SPSS 무료 사용 가능
2024. 2. 23. 15:49
대학교
※방송대 실습 클라우드 PC는 방송대 학생만 이용가능합니다 한글을 사용할 일이 생겼는데 편집할 수 있는 프로그램이 없었다. 인터넷을 찾아봤으나 나온 무료 웹서비스들은 종료한 서비스들뿐이였다.. 네이버 웨일에서 PORALIS OFFICE로 수정을 했는데 한글 프로그램보다 기능이 적어서 편집하는데 어려움이 있었다 서명을 넣어야하는데 그림 편집이 어려워서 불편했는데 생각해보니 방송대에 클라우드 PC가 있단걸 생각해냈다 ㅋㅋㅋ 미영과 과제로 영상편집할때 프리미어프로 잘 썼었던게 문득 생각났다!! 3년전인가 2년전에 실습 클라우드 PC가 처음 생겼다 확인해보니 다행히 한글 프로그램도 있었다 ㅎㅎ 처음 쓰면 좀 어색할 수는 있는데 사용자 가이드 PDF에 다 잘 나와있다 무엇보다 필요한 프로그램을 무료로 설치하지 않..
2023 통계인의 날 후기 [방송대 행사]
2024. 1. 27. 22:59
대학교
오늘은 통계인의 날 행사에 갔다왔다. 방송대 소강당에서 하는 오프라인 행사였다. 미영과 다니다가 졸업하기 전에 통계에 관심이 생겨서 통계데이터과학과로 편입을 해서 어쩌다보니 방송대를 다닌지 5년째다하지만 코로나 때문에 기말고사 외에 행사로 온건 처음이다 날이 좋다며 마로니에 공원에 앉아서 멍때리다가 시간되서 갔다 매번 성수동으로 시험보러만 가봤지혜화에 본관으로는 처음 가봐서 헤매다가 정신차려보니 공사하는 분들 사이에 있어서 당황했다어째서 공사장..? 잊었었다 나는 길치라는 것을... 뒤늦게 단톡방에서 본관 위치를 알려주셔서 제 시간에 갈 수 있었다 🤦♂️본관은 카페가 있는 건물이다 간식과 음료뿐만 아니라 경품추첨종이와 특강 자료, 에코백, 그립톡을 주셨다 ㅇㅁㅇ이런걸 줄거라곤 전혀 생각도 ..