健康

如果科學家不分享他們的數據,我們怎麼能信任他們?

這是極客週,我的時事通訊關於過去 7 天裡引起我注意的任何書呆子的事情。 這就是我,想著一些我不完全理解的東西,試圖理解它:我想這就是大多數版本的樣子。 如果您想每週將其直接發送到您的收件箱,您可以在此處註冊。

我的這個朋友尼克布朗幫助了我多年來寫的一些故事。 這些故事通常是“我真的可以相信這項科學研究嗎?”

他發現了一些非常有趣的事情。 他和另一位科學家 James Heathers 提出了一個名為 GRIM 的小工具,即“與粒度相關的手段不一致”。 這聽起來很花哨,但它非常簡單。 想像一下,你看到一篇科學論文報告說它研究了 8 個 10 歲以下的兒童,他們的平均年齡是 5.33 歲。

您可能認為這聽起來不錯,但這是不可能的:如果有八個孩子,則平均年齡(假設年齡已作為整數輸入)必須能被 8 整除。 數據中有問題。

(如果您想知道為什麼:如果平均有 8 個數字,它必須以 .00、.125、.25、.375、.5、.625、.75 或 .875 結尾。隨便選一個把你喜歡的數字除以八 你就會明白 很容易理解為什麼必須是 0.125 的倍數。)

在只有八個孩子的情況下,這很明顯。 但是 GRIM 可以讓您使用更大的樣本量來做到這一點。 有時 – 並非總是如此,但有時 – 不可能的平均值表明數據不僅被錯誤地輸入,而且有人在進行欺詐。 布朗和希瑟斯發現了很多病例。

更常見的是,使用包括但不限於 GRIM 在內的工具,他們發現科學家正在做其他不好的做法。 一個著名的——由布朗和希瑟斯以及我在 BuzzFeed 的老同事斯蒂芬妮·李發現的——是康奈爾大學食品科學家布賴恩·萬辛克,他沒有編造數據,但一直在以各種方式對其進行分解,直到它說 某物,然後從那件事上發表論文。

(如果你想知道為什麼這樣不好:想像一下,我認為吃胡蘿蔔會讓你長高,所以我拿了 10 個吃胡蘿蔔的人和 10 個不吃胡蘿蔔的人,測量了他們的身高,並沒有太大差異。所以我想,如果吃胡蘿蔔會讓你更生薑呢?但這也沒什麼區別。所以我試試它是否能讓你的牙齒更強壯,或者你的口氣更臭,並不斷嘗試新事物,直到我發現我吃胡蘿蔔平均而言,我不知道,一群人更有可能喜歡攀岩或其他東西。你給自己越來越多的機會找到巧合。)

股票期權

在過去 10 年左右的時間裡,科學已經開始意識到它有很多這樣的問題,這就是為什麼許多舊的研究無法複製的原因(我之前在 Geek Week 上討論過這個問題)。 人們修復它的部分方法是檢查彼此的工作。

許多期刊現在要求科學家在他們的論文中加入一項聲明,稱他們將根據要求與其他科學家共享數據。 這不應該,你不認為,有什麼大不了的。 我想會有一些奇怪的情況,你必須小心可識別的數據——當然,NHS 最近一直在與 Ben Goldacre 合作,以尋找以安全和負責任的方式使用其大量患者數據的方法。 但是,如果你對 50 名本科生進行了一些心理研究,以了解洗手是否能讓你減少內疚感或其他什麼,那麼這應該不是問題。

那麼,當我發現一項新的研究實際上檢查了這些科學家中有多少人願意分享他們的數據時,我有點不安,答案是:不是很多。

該研究發表在《臨床流行病學雜誌》上,研究了來自 300 種期刊的 3,500 多項研究。 其中約 3,400 篇文章有“數據可用性聲明”,其中 42% 的文章表示數據可根據合理要求提供。

(我原以為另外 58% 的人寫了“你不能檢查,你只需要相信我們”,如果不是因為它致力於開放科學和對知識的追求,那將是令人欽佩的誠實和勇敢. 但事實證明,他們中的大多數人已經在線發布了他們的數據或將其全部包含在論文中,因此他們不需要提供這些數據。)

研究人員通過電子郵件向所有 1,792 份手稿的作者發送了電子郵件,這些手稿確實表示可以根據要求提供數據。 在這 1,792 人中,共有 254 人費心回寫,而在這 254 人中,只有 122 人實際共享了數據。 因此,在表示會分享數據的人中,只有不到 7% 的人實際上這樣做了。

儘管作者發送了提醒,簽署了各種保密或數據傳輸協議,並在需要時從他們的大學發送了正式的請求信。 他們跳過了必要的障礙。 但是,幾乎沒有人分享他們的數據。

(“兩位作者要求報銷”和“一位作者要求合著為我們提供數據”是我最喜歡的兩個原因,其中一些數據實際上沒有被共享。)

不相信任何人

問題是科學不值得信賴。 這並不是說 科學家們 不值得信賴——或者,換句話說,並不是說科學家比其他任何人都更不值得信賴,如果我敢打賭,我會說他們在最合理的可信度指標上的得分可能高於平均水平。

科學有可怕的激勵:你需要發表大量論文以避免在你的職業生涯中落後,而期刊通常只會發表那些發現令人興奮的積極結果的論文,所以你被迫獲取一些數據並折磨它直到它承認這樣你就可以得到可以賣的東西。 並一遍又一遍地這樣做。

當然,在極少數——但還不夠罕見——的情況下,人們會被驅使抄襲,或者只是編造數據。

當你寫科學文章時,有一句陳詞濫調,那就是誇張地說“而且,正如英國皇家學會的座右銘所說, 動詞中的nullius – 不信任何人的話!” 也就是說——愚蠢的宗教家可能會相信事情,“這是真的,因為聖經說,”等等,但我們科學家,我們尋找自己。

從字面上看,這當然是愚蠢的。 我,Tom Chivers,目前正在學習 Coursera 在線統計推理課程(強烈推薦!),這樣我就可以對數學方程式中那些有趣符號的含義有一些低於 A 級的掌握,不能去檢查那些人的數學說他們發現了引力波。

其他人可以. 如果 Ligo 的人說他們在數據中發現了符合引力波真實假設的模式,那麼我不知道,Cern 或麻省理工學院的某個人可以去查看這些數據。 然後他們可以告訴我,我可以決定是否信任他們。 (我可能會。)

但是,為了做到這一點,他們需要數據。 如果有人說他們發現,哦,我不知道,當女人在身邊時,男人會吃得更多,為了給他們男人味的飲食留下深刻印象(Wansink 的一項發現),你需要能夠去查看這些數據為了檢查它。

而且很多時候,似乎,他們不是。 作為尼克布朗 最近在推特上暴躁地說之後 早些時候 沿著這些思路進行研究:“當你要求 Science® 中文章的作者分享他們的數據時,期刊告訴你在提交文章時這是強制性的,但回复通常歸結為 GFY。” 而且,是的,GFY 代表你認為它代表的東西。

自我宣傳角

這週我一直堅持沒有爭議的話題,比如長期的 Covid! 而且,嗯,運動中的跨性別女性! 所以我希望沒有人會讓我著火或任何事情。

首先,我看看為什麼我們總是看到“五分之一(或其他)Covid 患者會長期感染 Covid”的說法,儘管事實上我們都認識數百名感染過 Covid 的人,但事實並非如此感覺他們中有 20% 的人長期感染新冠病毒? 我的回答是,我們對“長期 Covid”一詞使用了不同的定義。

我寫了一篇短文(在撰寫本文時未發表)關於男女之間的身體差異及其在運動中的差異。 我不提出任何政策建議——你可以使用科學來為政治決策提供信息,但它並不適合你。 但我們需要承認,這是有取捨的,因為跨性別女性在各項運動中都會有顯著的優勢,而一些天生女性的女運動員會在國家隊的一些名額上失利等等,接觸性運動還有安全方面的考慮。 我認為,如果我們要做出明智的決定,我們需要承認這些事情。

本週的書呆子博文:我可以容忍任何事情,除了外群

本週我將允許自己鏈接到 Scott Alexander 的一篇帖子。 正如我之前所說,我需要小心這樣做,因為我在 2016-17 年左右變得如此痴迷於它們,以至於我實際上不得不在我的筆記本電腦上安裝一個攔截器才能完成任何工作。 (被屏蔽的網站:Twitter.com;slatestarcodex.com。)

這真的是最能塑造我思想的文章之一。 這是關於我們都認為我們是超級寬容的人,但實際上我們只是對我們實際上並不介意的事情“寬容”。 真正的“寬容”是忍受你的東西 喜歡, 同意。 像我這樣的自由主義者祝賀自己變得更加“寬容”,因為我們支持同性婚姻或其他任何事情:我們不會容忍任何事情,因為我們對同性婚姻沒有任何問題。

他首先引用 GK Chesterton 的話:

在切斯特頓 布朗神父的秘密30年前在決鬥中殺死了他的廢物兄弟的心愛的貴族回到了他的故鄉,罪孽深重。 所有的市民都想立即原諒他,他們嘲笑這位名義上的牧師只願意在懺悔和自我反省的條件下給予適度的寬恕。 他們向牧師講授慈善和同情的美德。

後來才知道,這位心愛的貴族實際上並沒有殺死他的廢物兄弟。 廢物兄弟殺死了心愛的貴族(並偷走了他的身份)。 現在,市民們希望看到他被處以私刑或被活活燒死,只有神父——始終如一地——在懺悔和自我反省的條件下提供適度的寬恕。

牧師告訴他們:

“在我看來,你只赦免那些你並不認為有罪的罪。 只有當罪犯犯下你不認為是犯罪,而是慣例的事情時,你才會原諒他們。 你原諒了一場傳統的決鬥,就像你原諒了一場傳統的離婚。 你原諒是因為沒有什麼可以原諒的。”

他進一步指出,這就是為什麼市民可以自以為是地認為自己比他更有同情心和寬容。 真正的寬恕,那種神父寬恕惡人需要修煉的那種,真的是太難了。 城里人用來原諒他們喜歡的人的假寬恕真的很容易,所以他們不僅可以吹噓自己寬恕的天性,還可以吹噓自己比那些發現寬恕困難並想要懺悔的卑鄙老牧師好得多.

這是一個很長的片段,但它是值得的。 雖然我會說,在重讀它時,我注意到他引用了使用隱式關聯測試的工作,你可能應該對它持保留態度,因為(複製危機!)它並沒有真正經受住時間的考驗。

這是極客周刊,來自 i 的僅限訂閱者的時事通訊。 如果您想每週將其直接發送到您的收件箱,您可以在此處註冊。

Luo Yun

我在俄勒岡州立大學獲得運動和運動科學學士學位。 他是一個狂熱的運動愛好者,喜歡網球、足球和其他各種活動。 他來自亞利桑那州圖森市,是紅雀隊的忠實支持者。

Related Articles

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。

Back to top button