【Stata專欄】異方差穩(wěn)健標(biāo)準(zhǔn)誤：一些實(shí)際考慮（一）

時(shí)間：2022-12-21作者：北京友萬信息科技有限公司瀏覽：248

介紹

近出現(xiàn)了一些關(guān)于從業(yè)者在線性模型中存在異方差時(shí)應(yīng)使用哪些標(biāo)準(zhǔn)誤差的討論。討論引起了作者的興趣，所以作者重新審視了現(xiàn)有的文獻(xiàn)。作者將提供理論和模擬研究的概述，以幫助大家回答這個(gè)問題。作者還將展示了模仿或擴(kuò)展一些現(xiàn)有模擬研究的模擬結(jié)果。將分享用于模擬的 Stata 代碼，希望它對(duì)那些想要探索各種標(biāo)準(zhǔn)誤差估計(jì)器在與您的研究相關(guān)的情況下如何執(zhí)行的人有用。

從作者的模擬練習(xí)中，得出結(jié)論，在不同樣本大小和異方差程度的所有可能組合中，沒有一個(gè)估計(jì)量的方差協(xié)方差矩陣 (VCE) 比其他矩陣受歡迎。例如，如果我們擴(kuò)展 MacKinnon (2012) 的仿真設(shè)計(jì)以包括離散協(xié)變量，在某些情況下，當(dāng)我們使用 Stata 的 vce提供的 Huber/White/sandwich VCE 時(shí)，離散協(xié)變量系數(shù)的 5% 拒絕率是好的（穩(wěn)健的）選項(xiàng)。對(duì)于連續(xù)協(xié)變量，結(jié)論是不同的。

從文獻(xiàn)中，出現(xiàn)了兩個(gè)實(shí)際考慮。首先，在存在異方差的情況下，僅將樣本量作為標(biāo)準(zhǔn)不足以獲得準(zhǔn)確的標(biāo)準(zhǔn)誤差。重要的是每個(gè)回歸變量的觀察次數(shù)。如果您有 250 個(gè)觀測值和 4 個(gè)回歸變量，異方差一致性標(biāo)準(zhǔn)誤差估計(jì)量的性能可能會(huì)很好。如果您有 250 個(gè)觀察值和 10 個(gè)回歸變量，這可能不再成立。同樣，如果您有 500 個(gè)回歸量，則擁有 10,000 個(gè)觀察值可能還不夠。隨著參數(shù)數(shù)量的增加，持續(xù)估計(jì)它們所需的信息也會(huì)增加。此外，隨著每個(gè)回歸量的觀察數(shù)量變小，所有當(dāng)前的異方差一致性標(biāo)準(zhǔn)誤差都變得不準(zhǔn)確，正如所討論的那樣 Cattaneo、Jansson 和 Newey (2018)。

其次，遠(yuǎn)**平均水平的杠桿點(diǎn)很重要。杠桿點(diǎn)是協(xié)變量的函數(shù)，用于衡量觀察值對(duì)普通小二乘擬合的影響程度。杠桿點(diǎn)介于 0 和 1 之間。杠桿點(diǎn) 1 具有杠桿作用，因?yàn)榛貧w線在協(xié)變量方向上的方向完全由協(xié)變量決定。杠桿為 1 的點(diǎn)的估計(jì)殘差為 0。模擬證據(jù)表明，當(dāng)設(shè)計(jì)中不存在高杠桿點(diǎn)時(shí)，異方差一致性標(biāo)準(zhǔn)誤差的性能會(huì)提高，如 Chesher 和 Austin (1991) 中所述。

這兩個(gè)考慮是相關(guān)的。杠桿點(diǎn)的平均值等于回歸變量的數(shù)量除以觀測值的數(shù)量（每個(gè)回歸變量的觀測值的倒數(shù)）。對(duì)于固定數(shù)量的回歸器，隨著樣本量的增加，杠桿的均值和具有大值杠桿點(diǎn)的概率會(huì)降低。因此，對(duì)每個(gè)回歸變量進(jìn)行足夠的觀察可以減少與高杠桿點(diǎn)相關(guān)的問題。

總而言之，當(dāng)我們考慮穩(wěn)健的標(biāo)準(zhǔn)誤差時(shí)，相關(guān)的指標(biāo)是每個(gè)回歸量的觀測值數(shù)量。如果每個(gè)回歸變量的觀察數(shù)量很少，無論樣本大小如何，我們的推論都可能不精確，即使我們使用異方差一致的標(biāo)準(zhǔn)誤差來糾正偏差也是如此。如果您要估計(jì)的每個(gè)參數(shù)都沒有足夠的數(shù)據(jù)，則沒有靈丹妙藥可以為您提供可靠的推斷。

歷史和直覺

當(dāng)我們考慮線性模型中異方差一致的標(biāo)準(zhǔn)誤差時(shí)，我們會(huì)想到 White (1980)。White 工作的主要結(jié)果是，即使我們無法對(duì) VCE 的某些單獨(dú)組件進(jìn)行一致估計(jì)，我們也可以獲得對(duì) VCE 的一致估計(jì)。正如 MacKinnon (2012) 所提到的，這是一個(gè)開創(chuàng)性的見解，并導(dǎo)致了標(biāo)準(zhǔn)誤差估計(jì)方面的其他重要發(fā)展。

然而，懷特的結(jié)果是漸進(jìn)的。當(dāng)您在某些規(guī)律性條件下有大量樣本時(shí)，它們是合適的?！霸谀承┮?guī)律性條件下”這個(gè)短語沒有任何善意。這是事情變得棘手的地方，也是我們需要探索需要滿足什么才能信任我們正在使用的工具的地方。

懷特的估計(jì)量有偏差。與許多漸近結(jié)果一樣，偏差會(huì)隨著觀察次數(shù)的增加而減少。MacKinnon 和 White (1985) 提出了三個(gè)漸近等價(jià)估計(jì)量來解決懷特的異方差一致標(biāo)準(zhǔn)誤差的小樣本偏差。

估計(jì)量背后的直覺是小二乘殘差往往會(huì)低估真實(shí)誤差。所提出的解決方案都通過增加方差的個(gè)體估計(jì)的權(quán)重來解決這個(gè)問題。這些估計(jì)量中的**個(gè) HC1 是階數(shù)的自由度調(diào)整 n / ( n - k )， 在哪里n是樣本量和k是回歸量的數(shù)量。當(dāng)你使用 vce(robust) 時(shí)，你會(huì)在 Stata 中得到這個(gè)。其他兩個(gè)估計(jì)量是 HC2 ( vce(hc2) )，它校正在同方差下出現(xiàn)的殘差方差偏差，以及 HC3 ( vce(hc3) )，一個(gè)折刀估計(jì)量。MacKinnon 和 White (1985) 發(fā)現(xiàn)，對(duì)于小樣本量，HC2 和 HC3 在他們的模擬中表現(xiàn)** HC1，并且 HC3 是可以選擇方案。

HC2 和 HC3 是矩陣對(duì)角元素 hii 的函數(shù)




hii也被稱為杠桿點(diǎn)。相對(duì)于hii的平均值，高h(yuǎn)ii對(duì)回歸平面的方向施加了多的影響。例如，杠桿為1的點(diǎn)位于回歸線上。HC2和HC3以高的杠桿賦予觀測殘差高的權(quán)重。

Chesher 和 Jewitt（1987）以及 Chesher and Austin（1991）研究了 MacKinnon 和 White（1985）提出的估計(jì)值的偏差。偏差的顯式形式是hii的函數(shù)。Chesher 和 Austin（1991年）的一個(gè)有趣的結(jié)果是，MacKinnon 和 White（1985年）的模擬“包含一個(gè)適度杠桿點(diǎn)”，一旦去除，這使得“所有使用異方差[-]一致協(xié)方差矩陣估計(jì)的測試都表現(xiàn)良好”。

Long和Erwin（2000）提供了關(guān)于異方差一致性標(biāo)準(zhǔn)誤差使用的建議。像MacKinnon和White（1985）一樣，他們發(fā)現(xiàn)HC3在小樣本中表現(xiàn)好。他們還建議，在MacKinnon和White（1985）中研究的不同VCE估計(jì)值在250次觀測后開始等效。這一發(fā)現(xiàn)在他們的模擬設(shè)計(jì)中是一致的。數(shù)字250不是隨機(jī)的。他們的設(shè)計(jì)有五個(gè)回歸。在250次觀察之后，每個(gè)回歸方程有50次以上的觀察。這是一個(gè)重要的考慮因素。在10個(gè)回歸和異方差的情況下，250個(gè)觀測值可能不夠。

Cattaneo、Jansson 和 Newey（2018）的理論和模擬結(jié)果說明了對(duì)每個(gè)回歸進(jìn)行足夠觀察的重要性。他們研究k/n的漸近關(guān)系。盡管他們的結(jié)果是針對(duì)不同的框架，但他們表明，當(dāng)n/k很小時(shí)，上述所有估計(jì)的性能都很差。

Long 和 Erwin（2000）以及 Cattaneo、Jansson 和 Newey（2018）的研究結(jié)果與 MacKinnon 和 White（1985）、Chesher 和 Jewitt（1987）以及 Chesher and Austin（1991）的結(jié)果密切相關(guān)。他們是通過 hii 聯(lián)系起來的。hii 的平均值是 k/n。因此，杠桿點(diǎn)的平均值也是一種查看我們需要多少信息來恢復(fù)規(guī)范中的每個(gè)k個(gè)參數(shù)的方法。

模擬結(jié)果

下面，作者給出了三組模擬結(jié)果。**個(gè)遵循 MacKinnon（2012）的精神。第二個(gè)遵循 Long 和 Erwin（2000）的精神。第三個(gè)是 Angrist 和 Pischke（2009）。在模擬中，作者比較了HC1、HC2、HC3和 wild bootstrap (WB)。模擬中的WB采用了空假設(shè)，用于999次復(fù)制，并使用 Rademacher 權(quán)重。

MacKinnon（2012）模擬考察了HCk類（HC1、HC2和HC3）和WB中異方差一致標(biāo)準(zhǔn)誤差的性能。他認(rèn)為誤差項(xiàng)εi為




γ=0表示無異方差，γ值≥1表示高異方差。協(xié)變量不相關(guān)且對(duì)數(shù)正態(tài)分布。下面的模擬（稱之為 MacKinnon 型模擬）遵循相同的結(jié)構(gòu)，但也包含離散協(xié)變量。

Long和Erwin（2000）也通過將誤差項(xiàng)乘以協(xié)變函數(shù)來創(chuàng)建方差。然而，它們?cè)试S協(xié)變相關(guān)，并包括離散協(xié)變。此外，所有協(xié)變量的分布也不同。對(duì)于某些設(shè)計(jì)，誤差項(xiàng)來自正態(tài)分布，而對(duì)于其他設(shè)計(jì)，則來自χ2分布。下面我稱之為Long和Erwin型模擬的模擬遵循了相關(guān)協(xié)變量的思想，使用χ2分布的誤差項(xiàng)，并具有來自不同分布的連續(xù)和離散協(xié)變量。然而，與Long和Erwin（2000）不同，我在乘以誤差項(xiàng)的表達(dá)式中包含所有協(xié)變。

Angrist和Pischke（2009）模擬僅針對(duì)一個(gè)二進(jìn)制變量。它們引入了異方差性，允許方差根據(jù)協(xié)變的值而變化。此外，零和一的比例是傾斜的。我遵循相同的設(shè)計(jì)，但探索不同樣本大小的行為，而不是像Angrist和Pischke（2009）那樣的30個(gè)樣本大小。

作者選擇這三組模擬的原因是試圖涵蓋文獻(xiàn)中具代表性和廣為人知的結(jié)果。作者將它們擴(kuò)展為包含我想要考慮的特征，例如離散協(xié)變和包含所有協(xié)變的異方差形式。這些修改很小，但提供了與原始規(guī)范不同的直覺。

用于模擬的do文件在附錄中。

MacKinnon 型模擬

作者對(duì)3個(gè)樣本大?。?00、1000和5000）和4個(gè)異方差水平進(jìn)行了模擬：低（γ=0.5）、中等（γ=1）、高（γ=1.5）和非常高（γ=2.0）。在所有情況下，我們都試圖恢復(fù)六個(gè)參數(shù)。正如MacKinnon（2012）所建議的，兩個(gè)參數(shù)與對(duì)數(shù)正態(tài)分布連續(xù)變量相關(guān)。其他四個(gè)參數(shù)來自兩個(gè)具有三個(gè)類別的分類變量（基本類別除外）。作者只保留VCE為全等級(jí)的模擬繪圖。在幾次模擬中，失去了2000次重復(fù)中的一次，因?yàn)榫仃嚥皇菨M秩的。

當(dāng)N=100時(shí)，每個(gè)回歸方程的觀測值數(shù)量（N/k=16.66）很小，這使得所有估計(jì)量的推斷都具有挑戰(zhàn)性。對(duì)于每個(gè)模擬繪圖，我計(jì)算杠桿點(diǎn)的大值。對(duì)于所有級(jí)別的異方差，杠桿的平均大值約為0.46，對(duì)于某些模擬繪圖，杠桿的大值達(dá)到1。

當(dāng)N=1000時(shí)，每個(gè)回歸器的觀測值數(shù)量（N/k=166.66）稍大，推斷開始變得準(zhǔn)確。所有平局的杠桿大值現(xiàn)在在所有異方差水平上的平均值約為0.20，大值在0.78和0.87之間，取決于異方差水平。推斷仍然具有挑戰(zhàn)性，我們?cè)贜/k=16.66時(shí)觀察到的一些問題仍然存在。

當(dāng)N=5000時(shí)，每個(gè)回歸方程的觀測數(shù)為N/k=833.33，并且對(duì)于所有估計(jì)量，推斷變得加準(zhǔn)確。所有平局的杠桿大值現(xiàn)在在所有異方差水平上的平均值約為0.10，大值在0.6和0.82之間，取決于異方差水平。即使對(duì)于這種樣本大小，在某些設(shè)計(jì)中，杠桿點(diǎn)也可能很高。

下面，作者給出了模擬結(jié)果。將討論分為與連續(xù)協(xié)變相關(guān)的系數(shù)和與分類協(xié)變相關(guān)聯(lián)的系數(shù)。

詳細(xì)內(nèi)容請(qǐng)瀏覽器搜索【北京友萬信息科技有限公司】


北京友萬信息科技有限公司專注于Minitab,Stata,SPSS等, 歡迎致電 18600528290

• 詞條

  詞條說明

• 喜訊！友萬科技成為Risk Simulator / Real Options SLS 軟件中國大陸地區(qū)少見代理

  2023年1月1日，北京友萬信息科技有限公司與Real Options Valuation, Inc. 正式達(dá)成合作協(xié)議，成為其在中國大陸地區(qū)的少見授權(quán)合作伙伴，全面代理 Real Options Valuation, Inc. 公司系列產(chǎn)品，并為中國用戶提供軟件的銷售和技術(shù)支持服務(wù)。這也標(biāo)志著友萬科技在中國科研軟件市場又邁出了堅(jiān)韌且關(guān)鍵一步。1強(qiáng)強(qiáng)聯(lián)合，深耕中國市場Real Options Va

• 【友萬課堂】不同刪失數(shù)據(jù)的可靠性分析及Minitab實(shí)現(xiàn)在線專題課程成功舉辦！

  “前情回顧”：2022上半年友萬科技成功展開了三場 Minitab 在線研討會(huì)：《質(zhì)量管理基本工具及其Minitab實(shí)現(xiàn)》、《雙總體均值檢驗(yàn)：雙樣本t檢驗(yàn)還是配對(duì)t檢驗(yàn)？》、《質(zhì)量變異到底來自哪里？基于Minitab的多變異分析》。課程反響熱烈，參與學(xué)習(xí)的學(xué)員們都**不斷。在9月23日，各位新老學(xué)員期待已久的2022年“基于Minitab的統(tǒng)計(jì)分析 系列課程（下）”**期研討會(huì)成功舉辦！本次課程是

• 【重磅推薦】使用網(wǎng)絡(luò)方法研究經(jīng)濟(jì)學(xué)問題直播課程

  網(wǎng)絡(luò)經(jīng)濟(jì)學(xué)指以與因特網(wǎng)密切相關(guān)的網(wǎng)絡(luò)經(jīng)濟(jì)為研究對(duì)象的新學(xué)科。從理論發(fā)展角度看，網(wǎng)絡(luò)經(jīng)濟(jì)作為新興經(jīng)濟(jì)形態(tài)，出現(xiàn)了不同于以往經(jīng)濟(jì)形態(tài)的諸多特點(diǎn)和規(guī)律。目前，網(wǎng)絡(luò)經(jīng)濟(jì)并沒有滲透到整個(gè)社會(huì)經(jīng)濟(jì)中，而僅僅存在于帶有網(wǎng)絡(luò)經(jīng)濟(jì)特征的部分產(chǎn)業(yè)中，如信息產(chǎn)業(yè)、傳統(tǒng)的自然壟斷網(wǎng)絡(luò)產(chǎn)業(yè)以及互聯(lián)網(wǎng)產(chǎn)業(yè)等。它是一種新的生產(chǎn)方式，代表著新的經(jīng)濟(jì)形態(tài)，是架構(gòu)從當(dāng)代經(jīng)濟(jì)走向未來經(jīng)濟(jì)的橋梁。使用網(wǎng)絡(luò)方法研究經(jīng)濟(jì)學(xué)作為當(dāng)代市場經(jīng)濟(jì)的

• 【軟件升級(jí)】MATLAB 2023a 和 Simulink 2023a 已發(fā)布，探索版本新亮點(diǎn)！

  新產(chǎn)品C2000 微控制器模塊組為 Texas Instruments C2000 微控制器設(shè)計(jì)、和實(shí)施應(yīng)用程序C2000微控制器模塊組使您能夠?yàn)?TI C2000 微控制器 (MCU) 的數(shù)字電源轉(zhuǎn)換和電機(jī)控制應(yīng)用建模。該模塊組包括數(shù)字 I/O、ADC 和 ePWM 等外設(shè)模塊，用于在使用 C2000 MCU 的工業(yè)和汽車應(yīng)用中執(zhí)行需要 ADC-PWM 同步的控制算法。該模塊集使您能夠使用處理器