과학적 논문을 읽는 것은 과학에 대한 블로그나 신문기사를 읽는 것과는 완전히 다른 과정이다. 단순히 다른 순서로 정리된 섹션을 읽는 것뿐만 아니라 읽으며 필기하고, 여러 번 반복해서 읽고, 더 자세한 내용을 보기 위해 다른 논문도 아마 살펴봐야 할 것이다. 처음에는 논문 하나 읽는데도 시간이 오래 걸린다. 인내심을 가져라. 경험이 늘어날 때마다 이 과정은 더욱 빨라진다. 대다수의 주요 연구 논문은 초록(Abstract), 서론(Introduction), 절차, 결과, 그리고 결론/해석/토론으로 구성된다. 이 순서는 어느 저널에서 출간하느냐에 따라 달라진다. 어떤 저널에서는 연구에 대한 중요 내용이 포함된 추가 파일을 요구한다. (온라인 정보 부록 Supplementary Online Information 이라 부른다.) 만약 이런 저널에 온라인으로 출간할 때는 논문에 포함되어야 한다. (이 파일을 건너뛰지 않도록 주의해야 한다.) 논문 읽기를 시작하기 전에 저자와 협회를 기록한다. 협회에 따라 제출자를 잘 존중하기도 하지만 (e.g. University of Texas) 어떤 협회는 법적으로는 연구 협회지만 실제로는 의제 중심인 경우도 있다. (e.g. Discovery Institute) 팁: “Discovery Institute”를 구글에서 검색해보면 여기에서 나온 논문이 진화론과 관련해 과학적 권위를 갖기 어렵다는 사실을 알 수 있다. 또한, 저널이 어디에서 출간되었는지도 기록한다. 좋은 평판의 (생물의학) 저널은 Pubmed와 같은 곳에 색인이 있다. 물론 생물의학 저널이 아니라면 Pubmed에 없다. 더 넓은 과학 영역에서의 저널 색인은Web of Science에서 확인할 수 있다. 불확실한 저널은 주의한다. 읽는 동안, 이해할 수 없는 모든 단어를 적고 확인해봐야 한다. (그렇다, 모든 단어다. 이게 완전 고통스럽다는 것은 잘 알고 있다. 하지만 어휘를 이해하지 못하면 이 논문을 이해할 수 없다. 과학에서 쓰이는 어휘는 극단적으로 정확한 의미를 담고 있다.)
초록은 밀도 높은 첫 단락으로 논문에서 가장 앞에 위치한다. 많은 비과학자가 논문에서 이 부분을 먼저 읽고 과학적인 논의를 시작한다고 하는 경우가 종종 있다. (최악의 관례다. 절대 하지 말아야 한다.) 나는 읽기 위한 논문을 고를 때, 제목과 초록의 조합에 기초해 내 흥미와 연관성이 있어 보이는 논문을 고른다. 하지만 깊게 읽기 위해 조합된 여러 논문 묶음이라면, 나는 항상 초록을 가장 마지막에 읽는다. 이런 방식을 사용하는 이유는 초록이 전체 논문의 내용을 간결하게 요약한 것으로 이것을 먼저 읽는 것으로 연구 결과에 대한 저자의 해석을 무의식중에 택하게 되는 경우가 발생할지도 모른다는 우려 때문이다.
“이 논문은 무엇에 대한 것인가” 식의 질문이 아니라 “이 전체 영역에서 해결하려고 하는 문제는 무엇인가”에 대해 질문해야 한다. 이 질문은 왜 이 연구가 수행되는가 하는 점에 초점을 맞출 수 있다. 주제에 대한 연구에 어떤 동기부여가 있었는지 그 증거를 자세히 확인한다.
여기 도움이 될 만한 질문이 있다: 이 분야에서 큰 질문에 답변하기 이전까지 완료된 연구는 무엇인가? 그 연구에서의 제약은 무엇인가? 저자에 따르면 다음 완료되어야 할 연구는 무엇인가? 이 다섯 가지 질문에 대한 것은 좀 제멋대로인 경향이 있지만, 연구의 맥락에 대해 생각하게 하고 간결하게 접근할 수 있도록 강제성을 준다. 연구를 이해하기 위해 왜 이 연구가 완료되었는지에 대해 설명할 수 있어야 한다.
저자가 이 연구를 통해 정확히 답변하고자 하는 것은 무엇인가? 이 질문엔 여러 답이 있을 수도 있고 단 하나의 답이 있을 수도 있다. 그 질문을 적어본다. 만약 그 연구를 한번 또는 그 이상 점검해서 비어있는 가설(귀무가설)이 있는지 확인한다. 비어있는 가설이 어떤 의미인지 확신이 없다면 이 글을 읽어본다. 내가 앞서 작성한 포스트에서 언급한 글(이런 글)을 읽고 어떤 부분이 비어있는 가설인지 확인한다. 물론 모든 논문에 대해서 비어있는 가설을 확인할 필요는 없다는 사실을 기억하자.
저자가 세부적인 질문들에 대해 어떻게 답변하려고 하는가?
각각의 실험에 대한 다이어그램을 그리고 저자가 정확히 무엇을 했는지 표현한다. 내 뜻은 말 그대로 그림을 그려야 한다. 그 연구에 대해 완전히 이해할 수 있을 만큼 세부적인 내용을 포함한다. 다음 그림은 내가 오늘 읽은 논문의 절차를 그림으로 그린 것이다. (Battaglia et al. 2013: “The first peopling of South America: New evidence from Y-chromosome haplogroup Q”) 이 그림은 물론 당신이 필요로 하는 것보다 훨씬 적은 내용을 담고 있는데 이 논문은 내 분야에 해당하고 나도 이런 절차를 항상 사용하기 때문이다. 하지만 만약 이 내용을 읽다가 “네트워크를 통해 감소-미디안 절차로 데이터를 처리한다”가 무슨 의미인지 모른다면 찾아봐야 한다. 이 연구의 세부적인 내용에서 반복적으로 사용되는 절차에 대해 이해할 필요는 없다. 그 일은 논문 리뷰어가 해야 하는 일이다. 하지만 기초적인 절차에 대해 다른 사람에게 설명할 정도가 되지 않는다면 결과를 읽을 준비가 되지 않은 것이다.
각각의 연구, 수치 그리고 표에서 나타나는 결과를 하나 또는 그 이상의 문단으로 요약한다. 아직 그 결과가 어떤 의미가 있는지 정하지 않아도 된다. 그 결과가 무엇인지에 대해서만 작성한다. 일반적으로 좋은 논문이라면 가장 결과의 중요한 부분은 수치와 표에 요약되어 있다는 점을 찾을 수 있을 것이다. 이 부분을 유의해서 보자. 몇 결과를 확인하기 위해서 온라인 정보 부록을 확인해야 할 수도 있다. 만약 이 논문에서 사용된 통계적 질의에 대해 이해할 수 있는 충분한 배경지식이 없다면 이 부분이 어려워질 수 있다. 이 포스트에서 통계에 대해 가르칠 수 없지만 다음 글(1, 2, 3)에서 기초적인 부분을 배울 수 있을 것이다. 이 내용에 대해 친숙해질 것을 강력하게 권한다.
“유효한 significant”나 “유효하지 않은 non-significant” 같은 표현은 언제든 사용할 수 있다. 이 단어는 명확한 통계적 의미를 담고 있다. 이 내용은 이 글을 참고한다. 그래프가 있다면 거기에 오차 막대가 포함되어 있는가? 특정 분야 연구에서는 자신감 결여로 큰 차이가 발생하는데 주요한 적신호로 볼 수 있다. 표본 규모. 이 연구의 대상이 10명인가, 10,000명인가? (연구 목적에 따라 10명 규모의 표본도 충분할 수 있지만, 대다수의 연구는 많을수록 좋다.)