대학원생의 공부노트

p12Behavioral cloning은 왜 실패할까?training trajectory (data)의 분포를 $p_{data}(o_t)$, 에이전트가 직접 운전하며 얻는 데이터를 $p_{\pi_{\theta}}(o_t)$라고 하자.여기서 문제는 policy가 학습된 분포 $p_{data}(o_t)$와 test되는 분포 $p_{\pi_{\theta}}(o_t)$가 다른 distribution shift가 생기긴다는 것이다.p13좋은 policy는 어떻게 측정할 수 있을까? $p_{data}(o_t)$ 같은 행동을 할 가능성이 높은 것?그것보단 훈련 데이터와 다른 상황에서도 좋은 행동을 할 수 있는 policy→ cost를 정의하자.cost: human driver와 행동이 같으면 0, 다르면 1이제 목표..

변수 하나는 within이고 하나는 between일 때 사용한다.F값 계산 시 주의할 점은 A와 B, AxB의 error는 다르다는 점이다!df는 위의 필기처럼 계산하면 된다~

Two way ANOVA는 테스트하는 변수가 두 개일 때 사용하는 방식이다.예를 들어 특정 병에 술과 담배가 미치는 영향 모두를 확인하고 싶을 때 사용한다.두가지 변수가 있다보니 각각의 independent variable이 response variable (종속변수)에 영향을 미치는지, 그리고 여기 더해서 두개의 independent variable 간의 상호작용이 있는지를 확인하게 된다.따라서 between group이 row, col, interaction 세가지로 나눠진다. SS와 df는 다음과 같이 계산한다. 필기는 2x3 상황을 가정하고 했다. between 상황에 대한 것이 위의 상황이라면, within 상황에는 Two-way RM ANOVA를 사용한다.앞서 말한 술과 담배가 여기 들어갈 수..

Part 1이 강의에서는 먼저 supervised learning에 대해 배울 것이다.p2-3Terminology & notationpolicy는 어떤 observation이 주어졌을 때 모든 가능한 action에 확률을 assign하는 분포이다. 특별한 경우 deterministic할 수도 있다.state와 observation은 다르다.state: 세계에 대한 정확하고 완전한 설명observation: 관찰할 수 있는 한정된 세계어떤 알고리즘은 모든 state가 필요한 반면 어떤 알고리즘은 observation으로도 충분하다.transition probability(dynamics): s_t에서 s_t+1으로 넘어갈 확률마르코프 속성: state는 이전 state에만 영향을 받는다.p5Imitatio..

구형성을 만족하지 않아도 되는 non parametric 방식으로는 Kruskal-Wallis method, Friedman rank sum test가 있다. Kruskal-Wallis method는 independent sample에 써서 Mann-Whitney U test에 대응하고,Friedman rank sum test는 correlated sample (within subject)에 사용해서 Wilcoxon signed rank sum에 대응한다. 두 방식 모두 SS_bg를 구한 후 H, 카이제곱 값을 구함으로써 계산한다.이 때 Kruskal의 N은 전체 subject의 수이고, Friedman의 K는 group 수 (measure 수) 라는 차이가 있다.두 경우 k의 의미는 조금 다르지만 모두..

통계분석 중간고사를 준비하며 정리한 내용이다.SS와 df를 통해 F값을 찾아야 하는데, SS, 특히 df를 구하는 법을 외워야 한다.F는 그룹 간 분산을 그룹 내 분산으로 나눈 값이다. 따라서 F값이 크면 그룹 간 분산이 크고 그룹 내 분산은 작으므로 그룹들이 서로 다르다고 할 수 있고, 반대의 경우 다르다고 하기 어렵다.F(df_G, df_E) = MSG / MSE로 구한다. 가설- H0: 모든 그룹 간 차이가 없다.- H1: 적어도 하나의 그룹은 다른 그룹과 다르다. 조건- 모든 observation이 랜덤하고 독립적으로 추출되어야 함- observation이 nearly normal하다- 그룹들의 분산이 같다 (sphericity) One way ANOVA One way repeated measur..

fMRIPrep을 사용하기 위해 FreeSurfer 라이센스를 받아야 한다.아래 링크에 들어가서 신청하면 되는데, 처음에 조금 헤맸어서 정리해본다.  https://surfer.nmr.mgh.harvard.edu/registration.html  FreeSurfer Registration formFreeSurfer Download and Registration To download your copy of FreeSurfer, please go to:  https://surfer.nmr.mgh.harvard.edu/fswiki/DownloadAndInstall While a registration key is not required to download and install FreeSurfer, a lic..

동아리 데이터분석팀에서 SQLD를 준비하게 되어서 제50회 SQLD를 봤고 합격했다!내가 SQLD를 준비했던 방법과 다음에 준비한다면 이렇게 하면 좋지 않을까하는 점을 써보려고 한다.일단 나는 작년 쯤인가 SQL 기본 강의 2강정도 듣고 중도포기했던.. SELECT FROM 정도만 기억나는 거의 노베였다. 준비 당시 다른 것들을 병행하고 있었기에 시간 투자를 많이는 못했고 기본서 + 기출 1회독 + 전날 빠르게 2회독만 하고 갔다. 내 경험 상 기출 1~2회독 + 유튜브 강의 정도면 충분하지 않을까 싶다!여기서부터는 내가 공부한 순서이다.1. SQL 첫걸음 SQL 첫걸음본격적인 빅데이터 시대에 접어들면서 기존 대비 더 효율적이고 폭넓은 데이터 분석을 위한 수요가 커질 것으로 기대되는 가운데, SQL 활용..

corr_matrix = housing.corr()를 돌렸는데 이런 에러가 떴다. 찾아보니 correlation 값을 구하기 위해 float로 convert하려고 하는데 데이터가 string 형식이라 에러가 나는 거였다. 데이터셋을 보니 ocean_proximity 행 값들이 string이라서 문제가 발생한 것 같다. 원핫인코딩이나 pd.get_dummies()를 이용할 수도 있겠지만 간편하게 corr의 numeric_only를 True로 설정해서 수치형 값의 correlation만 계산하도록 해결했다.

📌프로그래머스 인공지능 데브코스 6기 강화학습 스터디 Foundations of Deep RL Series by Pieter Abbeel 1강을 정리한 글입니다. 목차 1. Markov Decision Processes(MDPs) 2. Exact Solution Methods 2.1 Value Iteration 2.2 Policy Evaluation 3. Maximum Entropy Formulation L1: MDPs and Exact Solution Methods 강화학습은 2013년 Atari 게임부터 시작해 알파고, 로봇 조종, 알파스타 등 발전해왔다. 1. Markov Decision Processes(MDPs) 에이전트는 action을 하고, 그로 인해 environment는 변하고, 그 때마..