第五章 實驗設計與統計分析
授課教師：鄭景峰
實驗設計
內在效度與外在效度、實驗設計的類別
統計分析
基本觀念、統計方法
內在效度(Internal validity)
內在效度：可界定為控制無關變數的程度。內 在效度考慮的是，實驗處理(自變項)是否真正引 起某特質(依變項)的變化？研究者必須控制所有 可能影響依變項的變因。
實驗設計的類別
實驗前設計、真實驗設計、準實驗設計、事後回溯設 計、運動流行病學設計、單一受試者設計
代表符號說明
R
代表以隨機的方式，將受試者分派到各組
O
代表觀察或測試，以取得資料。其右下方的數字，代 表觀察或測試的次序。
T
代表實驗處理或操弄，其右下方的數字，代表處理、 操弄的次序。如果沒有T出現的組別，即為控制組。
2. 研究結果的理想推論，也必須要有所謂的生態效度 (ecological validity)。而生態效度所關心的是研究的情境 是否接近實際的生態情境？或是否在實驗過程中能讓受 試者充分且自然的自我表現？
3. 對實驗的反應和交互作用可以透過所羅門四組設計來評 估；選擇樣本的誤差和實驗處理的交互作用可以隨機選 取受試者來控制；對實驗的安排之反應效果只能由研究 者來控制。
到各組。 在組內受試者設計，也就是重複量數設計(repeated-
measures design)時，使用對抗平衡次序(counterbalanced order)給受試者施以自變項的處理，使研究的 結果不會因處理的次序而引起偏差。 給控制組/對照組使用安慰劑(placebo)。控制組接受一個 「假」的實驗處理，而實驗組接受真的實驗處理。 以單盲(single-blind)或雙盲(double-blind)的方式來實施 實驗處理。單盲是指受試者對當次的處理，不知道是真 處理(真藥)或假處理(安慰劑)；雙盲是指受試者和施測者 均不知當次的處理是真或是假，以免引起心理上或預期 性的效果。 艾維斯效果(Avis effect)：控制內在效度威脅的一種方法， 受試者可能會因為身在控制組而特別努力。
4. 多實驗處理所造成的影響，可經由平衡或隨機安排處理 給受試者來達到部分的控制，但是只有研究者可以掌握 實驗處理是否仍然會產生干擾，這個決定大部分是根據 對實驗處理的知識，而不是由實驗設計的種類來決定。
生態學效度(ecological validity)？
研究模仿真實情境的程序。生態的效度涉 及實驗的效果，概括於其他類似環境的條 件和程度，所要問的問題是：在什麼條件 (即情境、處理、實驗、依變項等)可期待得 到相同的結果。為了使實驗具有生態的效 度，研究設計需能確定實驗的效應，不受 特定實驗環境的約制。
2. 取樣偏差和實驗處理的交互作用(Interaction of selection biases and experimental treatment)：當某個群組是根據某個特質選出 來的，實驗處理可能只對具有該特質的群組有效。
3. 實驗安排的反應(Reactive effects of experimental arrangements)： 實驗處理在非常受限制的情境才有效(如實驗試中)，可能在較少 受限制的情境(如真實世界)裡則未必有效。
影響信度的因素
所謂信度(reliability)指測量結果的一致性或穩定 性。
亦即指對同一事物進行兩次獲兩次以上的測量， 其結果的相似程度。其相似程度越高，即代表信 度越高，測量的結果也就越可靠。
信度與誤差之間有密切的關係。誤差變異愈大， 信度愈低；誤差變異愈小，信度愈高。
探討影響信度的因素，基本上即是探討誤差的來 源。
威脅(threats)實驗內在效度的因素有下列八點：
1. 歷史(history)：是指實驗過程中所發生非預期的事件。 －－時間的效應
2. 成熟(maturation)：因時間飛逝而加之於人體上的變 化，如成長發育、老化、疲勞等因素。－－受試者身 心發生變化的效應
3. 測試(testing)：經過一次測試後，即使中間沒有任何 介入，也會影響下一次相同測試的成績表現。－－做 測驗的學習
3. 以差值做簡單的ANOVA：以後測值減去前測值，求得 每位受試者的差值(difference score)，再以差值做簡單 的ANOVA。此方法初看之下不錯，但因差數的信度不 高，且前測值低者改變或進步的幅度通常比前測值高 者大，所以前測值通常與差值呈負相關。
真實驗設計
(True-experimental design)
影響信度的因素
造成誤差的原因
1. 受試者因素：如受測者的身心健康狀況、動機、注意 力、持久性、作答態度等變動。
2. 主試者因素：如非標準化的測驗程序、主試者的偏頗 與暗示、評分的主觀性等。
3. 測驗情境因素：測驗環境條件如通風、光線、聲音、 桌面、空間因素等皆有影響的作用。
4. 測驗內容因素：試題取樣不當、內部一致性低、題數 過少等。
8. 取樣與成熟的交互作用(selection-maturation interaction)：因取樣 的偏差和成熟因素所引起的交互作用，也會影響內在效度。
9. 研究者對受試者的預期(expectancy)，對內在效度也是一種威脅。
如何掌控對內在效度的威脅？
隨機分配受試者到各組別(random assignment)。 依某一特質，將受試者配對(matched-pair)後隨機分派
真實驗設計
(True-experimental design)
3. 隨機分組前後測設計：在隨機分組之外，本設 計還加上前測和後測。此設計的主要目的在探 究處理(T)所引起的變化有多大。或許因為有前 測，內在效度會受到影響，但在此設計情況下， 內在效度是在能掌控的範圍之下。
隨機分組前後測設計
此種2 × 2的ANOVA，經常在體育、運動訓練的 研究中看到，而其統計分析的方法，可能可使用 下列三種：
6. 取樣偏差(selection bias)：如沒有以隨機方式抽樣，沒有以隨機的 方式分派組別，或以不同的抽樣方式形成組別，以致在實驗之前 組別之間已經有顯著的差異存在。
7. 實驗流失率(experimental mortality)：受試者因太累、沒時間、生 病等因素，而在實驗過程中途流失，對內在效度也有某一程度的 影響。
5. 時間因素
實驗設計的類別
實驗設計是使研究者據以考驗假設，並就自變項 與依變項間的關係獲致有效結論的程序藍圖。
研究設計需處理如下的問題：
1. 如何選取實驗組與控制組的受試者？ 2. 如何操縱與控制變項？ 3. 如何控制無關變項？ 4. 如何進行觀察？ 5. 解釋資料的關係時，應採用哪種統計分析方法？
4. 多重處理的干擾(Multiple-treatment interference)：當受試者接 受一個以上的實驗處理，前一個處理可能會干擾到下一個。
如何掌控對外在效度的威脅？
1. 一般來說，以隨機的方法取樣，或以夠好的取樣(good enough sampling)，取出有代表性的受試者或樣本，是 掌控對外在效度威脅最主要的方法。
4. 儀器的使用(instrumentation)：儀器是否經過校正， 或不同實驗者對儀器操作，也都會引起測試結果的誤 差。－－測量工具的變化
內在效度(Internal validity)
威脅(threats)實驗內在效度的因素有下列八點：
5. 統計迴歸(statistical regression)：以表現在兩個極端的兩組做研究 比較時，好的一組之表現會退步，而差的一組之表現會進步，即 兩組的成績會往平均數迴歸。此現象在受試者沒有依隨機分組的 研究中較為嚴重，也常發生在高低焦慮、高低體適能、高低技術 等的比較研究。－－極端選樣
groups design) 4. 所羅門四組設計(Solomon four-group design)
真實驗設計
(True-experimental design)
1. 隨機分組設計：因為以隨機分派組別，可以確 定兩組間之差異是因處理(T)引起，但處理之前 沒有觀察(O)，所以無法知道處理引起的變化有 多大。此種設計是自變項有兩個層級(two levels)， 即控制組和實驗組，可以用獨立樣本t考驗 (independent t-test)來考驗O1和O2之差異。
所羅門四組設計：此設計是隨機分組前後測設計和隨機分 組設計的組合，這是一種強而有力的設計，不但能檢測處 理的效果(看是否O2＞O4，或是否O5＞O6)，可知道處理 效果的大小(看O2－O1是否大於O4－O3)，也可評估測試 (testing)的效度(看是否O4＞O6)，更可查知前測與處理(T) 的交互作用(看O2是否大於O5)。然而，此設計也是一種不 經濟的設計，因為受試者必須多一倍，且目前仍沒有適當 的統計分析方法，或許碩士或博士論文，最好不要使用此 類設計。
外在效度(External validity)？
生態效度(ecological validity)？
外在效度：是指結果的可概括性，即指自變項與結果(依 變項)之間的關係，可以普遍應用於其他不屬於此一實驗 情境的程度。外在效度具有下列四個威脅：
1. 對測驗的反應或交互作用(reactive or interactive effects of testing)：前測可能使得受試者對後來的測驗更有知覺或更敏感。 它的結果是，實驗在沒有前測的情況下就會變得比較沒有效果。
---
出現在組別之間時，代表沒有以隨機方式來分派組別。
實驗前設計(Pre-experimental design)
此種設計因對效度的掌控很有限而得名， 最主要是沒有以隨機的方式來分派受試者， 也無法確定依變項的變化是因自變項而起。
方法
1. 單組測驗研究(one-shot study) 2. 單組前後測設計(one-group pretest-posttest) 3. 靜態組別比較(static group comparison)