jemmybutton (jemmybutton) wrote,
jemmybutton
jemmybutton

чисто посмеяться (про Германию и пики на «красивых» числах)

вычленил отсюда http://jemmybutton.livejournal.com/1359.html



1. Распределение участков по явке
Во-первых нормального распределения (распределения Гаусса) в случае когда случайная величина (в данном случае — явка) по определению принимает значения только в определенном диапазоне быть не может + нормальное распределение, вообще говоря, симметрично (то что проходит под названием «нормальное» меняет форму в зависимости от расположения на шкале и вообще интересно как себя должно вести вблизи нуля или единицы), тут надо говорить о чем-то вроде бета-распределения или логит-нормального распределения (не знаю как по-людски называется, но именно логит log(x/(1-x)) величины, а не саму величину анализируют для таких данных, насколько я понял, см., например, здесь  или тут, upd: впрочем, логит-нормальное распределение мне не нравится, бета-распределение круче или SB Джонсона, может) (это все не очень важно (до поры), просто для справки любителям помянуть «гауссиану» к месту и не к месту). Во-вторых, причудливая форма распределения может объясняться неоднородностью электората. Для примера, вот распределение для выборов в бундестаг 2002 (данные отсюда http://www.bundeswahlleiter.de/en/bundestagswahlen/fruehere_bundestagswahlen/btw2002.html , только по избирательным округам).

плотность вероятности от явки (если шкалу заменить на количество округов, то вместо 20 будет где-то 60). да, выборка небольшая, но 300 значений для общего представления о распределении обычно вполне достаточно.

Небольшой пик слева (в районе 75), насколько можно судить, соответствует меньшей явке в Восточной Германии (впрочем, дело не только в этом, см. ниже). Распределение, следовательно, не обязано подчиняться каким-то определенным простым законом (и по определению не может быть «нормальным»)

UPD: тут люди говорят, что распределение нормальное, просто кривенькое, по причине малого количества точек.
нормальность распределения, вообще, проверяется не на глаз, а при помощи специальных критериев.
парочка вот (нулевая гипотеза — расределение под вопросом является нормальным).

Shapiro-Wilk normality test
W = 0.909, p-value = 7.397e-13

Lilliefors (Kolmogorov-Smirnov) normality test

D = 0.1667, p-value < 2.2e-16

около трехсот значений (звиняйте, данных по отдельным участкам найти не удалось) как правило уже вполне достаточно (вообще может даже многовато), чтобы результат не вызывал сомнений, а при таких значениях p и говорить не о чем. правда это ни о чем не говорит в любом случае.
Кстати, услышите что распределение где-то «нормальное» или «ненормальное», сразу требуйте результат проверки на нормальность. Правда да, на таких больших выборках это бессмысленно.
UPD: распределение по регионам и так ли все просто

распределения явки по отдельным землям. зеленым — те что прошли проверку на нормальность, красным — та что не прошла (а именно — Северный Рейн-Вестфалия, совсем не граница фрг и гдр, к слову). особого смысла тут искать не стоит, впрочем (с одной стороны выборки маленькие и тест на нормальность может показать все что угодно, с другой — на таких данных тест на нормальность вообще может показать все что угодно). Земли не все, а только те, где больше 10 округов (если включить с 10 округами, будет еще одна «ненормальная» линия)

UPD: закрыт ли вопрос с «гауссианой» у немцев?
Нет, и вот почему: когда точек мало (а их мало), тесты на нормальность выдают могут выдавать сущую дичь:


shapiro.test(1:50)
Shapiro-Wilk normality test
W = 0.9556, p-value = 0.05809

lillie.test(1:50)
Lilliefors (Kolmogorov-Smirnov) normality test
D = 0.0649, p-value = 0.8633

Это значит что для простой последовательности чисел от 1 до 50 таким образом отвергнуть гипотезу о нормальности нельзя. Северный Рейн-Вестфалия — это, к слову, самое большое количество точек (аж 64).

UPD: пользователь ixodus (см. комментарии) уделил внимание более высокому уровню агрегации данных по германии (округа вместо участков). этот факт, в принципе, может повлиять на распределение в масштабах страны, если разброс явки по участкам в пределах округа достаточно велик и действительно случаен. начиная от примерно 10 процентов (что, справедливости ради, по сравнению с рф довольно мало) пик слева начинает пропадать. впрочем, распределение не становится ни нормальным, ни логит-нормальным, даже когда размазано до полной утраты всяких деталей.
на корреляцию между явкой и голосами увеличение разброса даже в совершенно лашадиных масштабах никак существенно не влияет.

2.1 Зависимость голосов за какую-либо партию от явки
Ровно таким же образом голоса за какую-либо партию могут зависеть от явки избирателей. Те же выборы в бундестаг, зависимость от явки голосов за ХДС+ХСС (синим) и ПДС+СвДП+ЗЕЛЕНЫЕ+СДПГ (зеленым) (доля от общего числа избирателей в округе)

(количество голосов за партии/общее число избирателей в округе) от явки
Estimate Std. Error t value Pr(>|t|)
1.4333 0.1438 9.966 < 2e-16 ***
-1.3380 0.1460 -9.165 <2e-16 ***


(количество голосов за партии/количество проголосовавших) от явки

UPD: корреляция между явкой и голосами по землям

Слева — ХДС+ХСС, справа — СДПГКрасным отмечены те линии, которые отражают значимую (p<0.05) линейную зависимость. Опять же, для определенного ответа выборки слишком маленькие. Тут тоже земли больше 10 округов. Две красные линии на графике про ХДС+ХСС — это Берлин и Северный Рейн-Вестфалия. Три красные на графике про СДПГ — Берлин, Северный Рейн-Вестфалия и Шлезвиг-Гольштейн (если включить с 10 округами, будет еще одна красная линия в том же направлении).

Слева — две земли со значимыми корреляциями для ХДС+ХСС, справа — три для СДПГ 

Слева — все земли, кроме перечисленных для ХДС+ХСС, справа — для СДПГ. p = 2.20e-15 и p = 7.90e-05
соответственно. Если убрать земли, где меньше 10 округов, то для ХДС+ХСС p = 4.422e-15, для СДПГ p = 0.0001248
Даже если убрать кроме перечисленных еще и все земли, где средняя явка < 78 (последняя картинка), для ХДС+ХСС все равно p = 0.0133 и p = 0.010961 для СДПГ (что, как считается, достаточно, чтобы говорить о значимой связи)
UPD: тут для британии более наглядный и качественный разбор http://users.livejournal.com/_ab_/139002.html#cutid1
тут для израиля http://levrrr.livejournal.com/31427.html
Даже стало интересно, а где не так?

2. Пики на «красивых» числах
Это на вид очень хороший аргумент, который и правда сложно связать с какими-то «естественными» процессами. Поэтому резонно проинспектировать и другие партии на предмет таких аномалий. Выборы в думу 2011 (сырые данные отсюда http://hist-kai.livejournal.com/243639.html, шаг в 0.1%, каждый процент помечен бледненькой такой линеечкой)



Количество участков от доли голосов за партию. Эти пики на дробях похожи на какую-то херню, может где-то что-то налажал опять.

UPD: про дроби
вот распределение для СР в окрестностях 1/7. шаг = 0.005% в середине 1/7

количество участков от процента СР


явка на тех участках, где голоса за СР в окрестности 1/7


голоса за ЕР участках, где голоса за СР в окрестности 1/7

Не вижу для тех участков, где странная доля голосов за СР никаких безумных аномалий для явки и голосов за ЕР. Что это может значить — понятия не имею, но интересно. Число проголосовавших на всех этих участках нацело делится на 7 (7–1799), так что, видимо, пики на таких значениях — просто артефакт. другие пики, включая пик на 50 за ЕР очень похожи в этом отношении.

UPD: Откуда могут браться пики на «круглых» цифрах
Пока не придумал как это доходчиво объяснить, поэтому просто приведу картинки (если коротко, то это вроде как связано с делимостью на простые числа и тем, что их соотношения дают пики на целых долях всего диапазона, как флажолеты на струне, к примеру).  
+UPD: Можно объяснить так: из набора случайных целых чисел, принимающих значение от нуля до n, случайно сочетаемых в обыкновенной дроби, больше способов получить, скажем, ровно 1/7, 1/2 или 3/4, чем, например, 11/70, 201/400 или 61/80 
  

это распределение для отношения двух равномерно распределенных целых случайных величин x и y.
x — от одного до 800 (чуть больше среднего участка), y — произвольная доля от x (округленное до целого).

> sample(800, 1000000, replace = TRUE) -> x$x
> sample(10000, 100000, replace = TRUE)/10000 -> x$y
> x$y <- round(x$x*x$y)
> hist(x$y/x$x, breaks = 200)

если убрать «участки» с x<100 пики уменьшаются, но не пропадают.

если ограничить значения y (в данном случае y < 1/2x, что ближе к реальности), пики становятся сильно более выраженными (шкала внизу до 0,5, обращаю внимание)

так-то

UPD: та же модель, только для распределения, похожего на настоящее
итак, вот распределение сгенерированных случайных чисел, имитирующих распределение количества явившихся на участки людей:

вот распределение, имитирующее распределение голосов за ер (сглаженное, без пиков, здесь и далее шаг в 0,2%):

далее я помножил «явившихся» из распределения сверху на «голоса» из распределения снизу, округлил до целых чисел и снова поделил на «явившихся» (можно было просто сымитировать распределение голосов за ер, но я что-то не подумал об этом). вот что из этого получилось:

убираем «участки» где «явилось» менее 400:

по-мойму так красота.

UPD: проверка на настоящих данных
Для проверки я добавил случайный шум с амплитудой в 1 голос к числу проголосовавших и к голосам за ер.
до:

после:

более или менее очевидную фигню мне видно только на 75 и 85.

убрал две картинки с распределением голосов за «остальных». они, по понятным причинам, такие же, как и за ЕР, но в зеркальном отражении

Пики не пропадают, если отбросить маленькие участки (кое-кто считает это аргументом против чисто стохастических объяснений), потому, что имеет значение не только размер участка, но и количество участков относительно их размера.

UPD: тем, кого это не убедило
и правильно что не убедило, поэтому призываю проверить все самостоятельно. если нигде тут нет лажи (а на этот предмет было бы здорово, если бы кто-нибудь проверил это дело независимо), то пики на дробях с небольшим знаменателем возникают неизбежно при таких данных (почему, интересно, в настоящих данных они такие маленькие? аномалия?) и чтобы найти настоящие аномалии, нужно их устранить (например, добавив шум). таким образом, думаю, что тем, кто действительно ищет фальсификации (и сам почему-то до такого объяснения не дошел), я, наверное, помог, а тем кто уже напечатал плакатов с, вероятно, артефактами — увы. и что за фигня творится на 75% и 85% и, возможно, в районе 90–100%% по прежнему не ясно

Обращаю еще раз внимание, что так объясняются только «узкие» пики с одинаковыми значениями (=1/2; = 1/3; =1/7 и т. п.), которые видны только при достаточно маленьком шаге. если пик широкий, это объяснение не подходит.


UPD: Спасибо Dmitry Kobak, он провел проверку этих результатов 
выходит, что что-то исчезает, а что-то остается (начиная от 65), а у того что осталось вроде можно найти прописку. Словом, рекомендую http://kobak.livejournal.com/102646.html#cutid1

Словом, про пики резюмирую так (а то одним мерещится что тут написано будто выкладки сверху объясняют все пики, а другим — что я скрываю, что на самом деле они ничего не объясняют):


тут была неинтересная фигня

Может у кого есть для «хороших людей» годное объяснение?



Tags: gnu r, wishful thinking, выборы, задрот, прокрастинация
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 31 comments