R从数据框中按组别移除离群值

离群值(outlier)通常被定义为小于 QL - l.5 IQR 或者 大于 Qu + 1.5 IQR的值，QL称为下四分位数， Qu称为上四分位数，IQR称为四分位数间距，是Qu上四分位数和QL下四分位数之差，其间包括了全部观察值的一半。

1.方法一：

定义功能剔除离群值

remove_outliers <- function(x, na.rm = TRUE, ...) {
  qnt <- quantile(x, probs=c(.25, .75), na.rm = na.rm, ...)
  H <- 1.5 * IQR(x, na.rm = na.rm)
  y <- x
  y[x <= (qnt[1] - H)] <- NA
  y[x >= (qnt[2] + H)] <- NA
  y
}

制造数据框

element <- sample(letters[1:5], 1e4, replace=T)
value <- rnorm(1e4)
df <- data.frame(element, value)
head(df)

ggplot(df, aes(x=element, y=value,color=element)) + 
  geom_boxplot(outlier.colour="red", outlier.shape=7,outlier.size=1) + #指出离群值
  theme_bw() + 
  theme(legend.position="right")+
  labs(title="",x="", y = "")

[图片上传失败...(image-de44df-1545189767525)]

由图可以看出确实有很多离群值

测试下分组剔除离群值

df2 <- df %>%
  group_by(element) %>%
  mutate(value = remove_outliers(value))
head(df2)

df2 <- na.omit(df2) # 移除NA值

ggplot(df2, aes(x=element, y=value,color=element)) + 
  geom_boxplot(outlier.colour="red", outlier.shape=7,outlier.size=1) + #指出离群值
  theme_bw() + 
  theme(legend.position="right")+
  labs(title="",x="", y = "")

[图片上传失败...(image-33a23-1545189767526)]

由图可以看出已经移除了大部分的离群值。

2.方法二

element <- sample(letters[1:5], 1e4, replace=T)
value <- rnorm(1e4)
df <- data.frame(element, value)

means.without.ols <- tapply(value, element, function(x) {
  mean(x[!(abs(x - median(x)) > 2*sd(x))])
})

df1 = df %>%
  group_by(element) %>%
  summarise_each(funs(mean), value)

means.without.ols

df1

element <- sample(letters[1:5], 1e4, replace=T)
value <- rnorm(1e4)
df <- data.frame(element, value)

means.without.ols <- tapply(value, element, function(x) {
  mean(x[!(abs(x - median(x)) > 2*sd(x))])
})# df1 = df %>%#   group_by(element) %>%#   filter(!(abs(value - median(value)) > 2*sd(value))) %>%#   summarise_each(funs(mean), value)means.without.ols

作者：LeoinUSA
链接：https://www.jianshu.com/p/80848dfb0ec8