대학원생의 공부노트

p12Behavioral cloning은 왜 실패할까?training trajectory (data)의 분포를 $p_{data}(o_t)$, 에이전트가 직접 운전하며 얻는 데이터를 $p_{\pi_{\theta}}(o_t)$라고 하자.여기서 문제는 policy가 학습된 분포 $p_{data}(o_t)$와 test되는 분포 $p_{\pi_{\theta}}(o_t)$가 다른 distribution shift가 생기긴다는 것이다.p13좋은 policy는 어떻게 측정할 수 있을까? $p_{data}(o_t)$ 같은 행동을 할 가능성이 높은 것?그것보단 훈련 데이터와 다른 상황에서도 좋은 행동을 할 수 있는 policy→ cost를 정의하자.cost: human driver와 행동이 같으면 0, 다르면 1이제 목표..

이번주는 참 바쁜 주간이었다! 1) 통계 중간고사2) IRB 제출 (오늘 할 것..)3) 첫 번째 팀 미팅 (🥲)4) 강화학습 스터디 특히나 가설 설정, IRB와 같이 연구의 가장 기반이 되는 파트를 짧은 시간에 뚝딱 해야했어서 부담이 많이 됐다,,그치만 뭐 어떻게든 해냈고.. 수업도, 과제도, 스터디도, 운동도.. 무엇도 도망치지않고 다 했다 !ㅠㅠ고생한 한 주였다..근데 이제 다음주엔 랩미팅 발표인.......흑흑다음주까지만 버텨보자...아좌

변수 하나는 within이고 하나는 between일 때 사용한다.F값 계산 시 주의할 점은 A와 B, AxB의 error는 다르다는 점이다!df는 위의 필기처럼 계산하면 된다~

논문 작성 시 preregistration을 할 수 있다.가설 설정 등을 미리 등록해두는 것이라고 한다. osf에서 할 수 있다.  관련 설명:https://guides.library.cmu.edu/OSF/preregister CMU LibGuides: Open Science Framework: Preregister a ProjectA guide for how to use the open source project management platform, Open Science Frameworkguides.library.cmu.edu

Two way ANOVA는 테스트하는 변수가 두 개일 때 사용하는 방식이다.예를 들어 특정 병에 술과 담배가 미치는 영향 모두를 확인하고 싶을 때 사용한다.두가지 변수가 있다보니 각각의 independent variable이 response variable (종속변수)에 영향을 미치는지, 그리고 여기 더해서 두개의 independent variable 간의 상호작용이 있는지를 확인하게 된다.따라서 between group이 row, col, interaction 세가지로 나눠진다. SS와 df는 다음과 같이 계산한다. 필기는 2x3 상황을 가정하고 했다. between 상황에 대한 것이 위의 상황이라면, within 상황에는 Two-way RM ANOVA를 사용한다.앞서 말한 술과 담배가 여기 들어갈 수..

Part 1이 강의에서는 먼저 supervised learning에 대해 배울 것이다.p2-3Terminology & notationpolicy는 어떤 observation이 주어졌을 때 모든 가능한 action에 확률을 assign하는 분포이다. 특별한 경우 deterministic할 수도 있다.state와 observation은 다르다.state: 세계에 대한 정확하고 완전한 설명observation: 관찰할 수 있는 한정된 세계어떤 알고리즘은 모든 state가 필요한 반면 어떤 알고리즘은 observation으로도 충분하다.transition probability(dynamics): s_t에서 s_t+1으로 넘어갈 확률마르코프 속성: state는 이전 state에만 영향을 받는다.p5Imitatio..

구형성을 만족하지 않아도 되는 non parametric 방식으로는 Kruskal-Wallis method, Friedman rank sum test가 있다. Kruskal-Wallis method는 independent sample에 써서 Mann-Whitney U test에 대응하고,Friedman rank sum test는 correlated sample (within subject)에 사용해서 Wilcoxon signed rank sum에 대응한다. 두 방식 모두 SS_bg를 구한 후 H, 카이제곱 값을 구함으로써 계산한다.이 때 Kruskal의 N은 전체 subject의 수이고, Friedman의 K는 group 수 (measure 수) 라는 차이가 있다.두 경우 k의 의미는 조금 다르지만 모두..

통계분석 중간고사를 준비하며 정리한 내용이다.SS와 df를 통해 F값을 찾아야 하는데, SS, 특히 df를 구하는 법을 외워야 한다.F는 그룹 간 분산을 그룹 내 분산으로 나눈 값이다. 따라서 F값이 크면 그룹 간 분산이 크고 그룹 내 분산은 작으므로 그룹들이 서로 다르다고 할 수 있고, 반대의 경우 다르다고 하기 어렵다.F(df_G, df_E) = MSG / MSE로 구한다. 가설- H0: 모든 그룹 간 차이가 없다.- H1: 적어도 하나의 그룹은 다른 그룹과 다르다. 조건- 모든 observation이 랜덤하고 독립적으로 추출되어야 함- observation이 nearly normal하다- 그룹들의 분산이 같다 (sphericity) One way ANOVA One way repeated measur..

자연어 지시를 통해 다양한 게임에서의 task를 배울 수 있는 에이전트 Scalable Instructable Multiworld Agent (SIMA)에 대한 구글 딥마인드 블로그 포스트이다.  비디오 게임은 현실처럼 다양한 학습 환경을 제공하고 실시간이며 변화하는 goal을 제공해줄 수 있기 때문에 AI가 잘 작동하는지 확인하기 좋은 환경이다. 기존 연구들은 Atari game이나 스타크래프트 등 하나의 게임을 잘 하는 데 집중했다면 SIMA는 다양한 게임에 instruction을 통해 적응하도록 하였는데, 단순히 게임을 잘 하는가 보다도 어느 환경에서도 instruction을 따를 수 있는가가 더  중요했다고 한다. 이는 결국 어느 환경에서도 AI agent가 잘 작동하도록 하는 것과 연결되기 때문..

fMRIPrep을 사용하기 위해 FreeSurfer 라이센스를 받아야 한다.아래 링크에 들어가서 신청하면 되는데, 처음에 조금 헤맸어서 정리해본다.  https://surfer.nmr.mgh.harvard.edu/registration.html  FreeSurfer Registration formFreeSurfer Download and Registration To download your copy of FreeSurfer, please go to:  https://surfer.nmr.mgh.harvard.edu/fswiki/DownloadAndInstall While a registration key is not required to download and install FreeSurfer, a lic..