مدل رگرسیون

مدل رگرسیون

بهعلاوه :
جاییکه
با استفاده از قضیه حد مرکزی مارتینگل و قضیه ارگودیک (پیوست)، میتوان نشان داد که :
برای توضیحات بیشتر به وانگ و همکاران 2007 مراجعه نمایید.
در نتیجه :
(2-23)
بنابراین با توجه به (2-22) و (2-23) داریم:
حال باید نشان دهیم که
برای نشان دادن رابطه فوق، باید ثابت کنیم که .
وقتیکه مقدار ثابت مثبت باشد. علاوه بر این و . همچنین برای به اندازه کافی بزرگ و هر ، جملات درجه دوم در سریعتر از و رشد مییابند. بنابراین پسو از آنجاییکه با احتمال یک منحصر به فرد است(نایت و فو(2000))، اثبات قضیه تمام میشود.
قضیه2-1نشان میدهدکه برآوردگر لاسو سنتی دارای خواص مجانبی نایت– فو(بخش1-4-1) می باشد. در نتیجه پارامترهای تنظیم کننده در برآوردگر لاسو سنتی نمی توانند با سرعتی بیشتر از به صفر انقباض پیدا کنند، مگر اینکه هم و هم تباهیده در صفر ‌باشند و به یک تابع درجه دوم استاندارد تبدیل شود یعنی :
که این قادر به تولید جوابهای تنک نمی‌باشد. بنابراین قضیه 2-1 نتیجه میدهدکه برای بدست آوردن برآوردگر لاسو سنتی باید و باشد.
تذکر2-1 : فن و لی در سال 2001 نشان دادند که در یک مدل رگرسیون استاندارد با مشاهدات مستقل، برآوردگر لاسو سنتی دارای اریبی قابل توجهی می باشد. از این رو بررسی کردن این موضوع در مدل رگرسیونی با خطای خودبازگشتی و چک کردن این‌که آیا در این مدل نیز با مشکل اریبی مواجه هستیم یا نه، مورد علاقه قرار گرفت. به همین منظور حالت خاصی را که در آن برای و برای را در نظر می‌گیریم. اگر مینیمم کننده به درستی قادر به تشخیص مدل واقعی باشد، آنگاه ولی . علاوه براین در معادله زیر صدق می کند :
بهطوریکه شامل مولفه اول و برداری با مولفههای می‌باشد. در نتیجه :
از آنجاییکه ، قضیه 2-1 نشان میدهد که برآوردگر لاسو سنتی مجانبا اریب می‌باشد. بنابراین کارایی این برآوردگر به اندازه کارایی برآوردگر پیشگو که دارای توزیع است، نمیباشد.
2-6-2-خواص برآوردگر لاسو اصلاح شده
در این بخش به بررسی خواص برآوردگر لاسو اصلاح شده می پردازیم. به منظور تسهیل در مطالعه ویژگیهای این برآوردگر، نمادهای زیر را معرفی می کنیم:
وقتیکه و توابعی از می‌باشند. در ابتدا سازگاری برآوردگر لاسو اصلاح شده را بررسی می‌کنیم .
لم2-1 :فرض کنید که برای داشته باشیم، آنگاه تحت شرایط الف-د بخش 2-6، یک مینیمم کننده موضعی از به صورت زیر وجود دارد:
اثبات :
فرض کنید که و گویی در اطراف باشد. بنابراین برای داریم :
(2-27)
حال، همانند اثبات قضیه (2-1) داریم:
(2-28)

Share