数据中的异常系数，应该直接删除吗？

不少人曾问我：我的数据中有间歇性取值，是不是应该更正？要回答这个疑问，我们必须从间歇性取值的概念来谈起。可能会有的人觉得间歇性取值极好理解，不就是“间歇性”的取值吗？关键是，怎样方才间歇性呢？例：在10个数据中（下图粉红色点）人为加入红、绿、紫粉红色的3个点，它们都是间歇性取值吗？间歇性取值其实是一个更为具体来说的概念，它大概包含了三种情况下：(1) 离群取值（outliner）离群取值是称之为从因变量y的相反来看仅限于间歇性的取值，如图中的粉红色点和紫色点，偏离y的均取值较其它点更更远。离群取值有时候采用学生化残差来推断。(2) 高凸轮取值（high leverage）高凸轮取值是称之为从值x的相反来看仅限于间歇性的取值，如图中的紫粉红色点和紫色点，在x轴上偏离x的均取值较更远。高凸轮取值有时候采用凸轮取值来推断。(3) 强劲阻碍取值（influential observation）强劲阻碍取值是称之为对模型阻碍更大的取值，理论上，如果更正了该取值，会造成模型牵涉到更大变异（如下式取值改变更大）。强劲阻碍点有时候采用COOK'D取值、DFBETAS和DFFITS来推断。下图比较了不同间歇性取值对模型理论上效果的阻碍。图中粉红色实新线问到内含这3个间歇性取值的理论上新线，紫色、粉红色、紫粉红色虚新线分别问到含紫色点、粉红色点、紫粉红色点时的理论上新线。不难看出，带有紫色点时，对模型理论上阻碍仍然不大（与粉红色实新线仍然重合）；带有紫粉红色点时，理论上新线被向外拉更高，即回归下式更远更高于粉红色实新线；带有粉红色点时，理论上新线也被拉更高。如果要推断的话，紫色点虽然从x侧向和y侧向上都偏离均取值，但却不是强劲阻碍点；紫粉红色点和粉红色点才是强劲阻碍点，因为单独的任一点以后可以造成下式牵涉到更大变异。我们现在之前说出了如何推断一个点是不是间歇性点，紧接着的疑问就是，如果我找到了间歇性点，应该怎么处理？不少人习惯简单粗暴的作法，即这样一来更正。这非常是毫无疑问的切实，有时甚至会让你错失一些似乎的有序。当你找到间歇性取值后，一定要先分清是什么或许造成的间歇性取值，然后到此为止如何处理。如果是仅限于录入差错或实验室就有差错等，这很容易，来不及修改即可。如果不是录入差错，而是其实长期存在这样的间歇性取值，这时无需根据不同情况下来分别对待。首先，如果这一间歇性取值非常都有一种有序性的，而是极其无意中的反常，或者说你非常想研究课题这种无意中的反常，这时可以将其更正。例如，你要研究课题身高与体温的人关系，但你的研究课题人群中恰好扩及了姚明，这种情况下，可以将其更正，只用其他人透过分析。因为这非常都有一种有序性的反常，而且你可能会也不想研究课题独有的可能会会。其次，如果间歇性取值长期存在且都有了一种真实长期存在的反常，那就只能随以后更正。比如调查了100个村的癌症发病，可能会其实有个别定居点的发病更远更远高于其它村，这时就只能随以后更正，而是要把这些间歇性点扩及，新的理论上模型，研究课题其有序。例：某实验室检测了细菌培养菌群数量与一段时间的人关系，试透过分析。很明显，下图中的两个红点是间歇性点，可以让新线性回归的下式牵涉到随之而来变异。那这种情况下否无需更正这两个取值呢？首先看一下这两个取值否实验误差，如果这两个取值是正确地的，那它很可能会都有了一种真实可能会会。理论上，在短期内增长很慢，但是到了一个关键一段时间点后（如30），群落数量就会剧增。此时如果你这样一来更正这两个点，就能够似乎找到这种有序。所以我们可以扩及这两个点，但是只能理论上新线性回归，而是要根据其形状理论上非新线性模型。如此处可以考虑对一段时间time透过称之为数新线性变换，可以找到新线性变换后模型更能有利于理论上数据。