Закон малых чисел. Чисел теория. Насколько малыми должны быть малые числа

Система 1 отлично приспособлена к одной форме мышления – она автоматически и без усилий опознает каузальные связи между событиями, иногда даже в тех случаях, когда связи не существует. Однако, Система 1 не слишком способна управляться с «чисто статистическими» фактами, которые меняют вероятность результатов, но не заставляют их случаться. Случайное событие – по определению – не подлежит объяснению, но серии случайных событий ведут себя чрезвычайно регулярным образом.

Большие выборки дают более точный результат, чем маленькие. Маленькие выборки чаще больших дают экстремумы. Наше с Амосом первое совместное исследование показало, что даже у опытных исследователей плохая интуиция и зыбкое представление о значении объема выборки.

Закон малых чисел. Для психолога-исследователя изменчивость выборки – не просто странность, это неудобство и помеха, которая дорого обходится, превращая любое исследование в игру случая. Предположим, вы хотите подтвердить гипотезу, что словарный запас шестилетних девочек в среднем больше, чем словарный запас мальчиков того же возраста. В объеме всего населения гипотеза верна, у девочек в шесть лет словарный запас в среднем больше. Однако девочки и мальчики бывают очень разными, и можно случайно выбрать группу, где заметной разницы нет, а то и такую, где мальчики набирают больше баллов. Если вы – исследователь, такой результат вам дорого обойдется, поскольку, потратив время и усилия, вы не подтвердите правильность гипотезы. Риск снижается только использованием достаточно большой выборки, а те, кто работает с маленькими выборками, отдают себя на волю случая. Первая статья, написанная мной в соавторстве с Амосом, называлась «Вера в закон малых чисел».

Предпочтение уверенности сомнению. Закон малых чисел – проявление общей склонности к уверенности вместо сомнений. Сильная предрасположенность верить, что маленькие выборки точно представляют все население, означает и нечто большее: мы склонны преувеличивать последовательность и когерентность увиденного. Излишняя вера исследователей в результаты нескольких наблюдений сродни эффекту ореола, часто возникающему у нас чувству, что мы знаем и понимаем человека, о котором нам, по сути, известно мало. Система 1 предвосхищает факты, составляя по обрывочным сведениям полную картину. Механизм для поспешных выводов ведет себя так, будто верит в закон малых чисел. В целом он создает чересчур осмысленную картину реальности.

Причина и случай. Ассоциативные механизмы ищут причины. Статистические закономерности трудно воспринимать, потому что к ним требуется принципиально иной подход. Рассматривая событие со статистической точки зрения, мы интересуемся его связью с тем, что могло произойти, а не как именно оно произошло. Никакой особой причины не было, случай выбрал его среди других.

Иллюзия закономерности влияет на наши жизни. Сколько выгодных сделок должен заключить ваш финансовый консультант, прежде чем вы решите, что он необычайно эффективен? Какое количество успешных приобретений убедит совет директоров, что у генерального директора талант к подобным сделкам? Простой ответ на эти вопросы гласит, что, следуя интуиции, вы чаще воспримете случайное событие как закономерное. Мы слишком охотно отвергаем мысль о том, что многое в нашей жизни случайно.

Термин «закон малых чисел» (law of small numbers), введенный в научный обиход нобелевским лауреатом и психологом Даниэлем Канеманом, как и исходный термин «закон больших чисел» (law of large numbers), условны, и их не стоит трактовать буквально.

Что же это за закон такой - закон малых чисел?

Чтобы ответить на этот вопрос, нам нужно ненадолго сосредоточиться на законе чисел больших.

А закон больших чисел, говоря предельно упрощенно, касается вот чего.

Допустим у нас есть огромный мешок с российскими монетами достоинством 1 рубль, 2 рубля, 5 рублей и 10 рублей. В мешке этих монет бесконечно много, причем монет каждого достоинства поровну. Предположим, что эти монеты не отличаются по размеру и весу. К мешку по очереди подходят люди и вынимают каждый по одной монете. Это происходит снова и снова: огромное количество людей получают свои монеты.

Наша задача - угадать, сколько денег получит каждый подошедший в среднем.

Закон больших чисел утверждает, что чем больше к мешку подойдет людей, тем больше среднее количество полученных ими денег будет приближаться к (1+2+5+10)/4=4,5 руб. т.е. к среднему арифметическому. И закон больших чисел, поверьте, истинен.

А вот закон малых чисел был бы истинным, если бы уже на основе подсчета среднего количества денег, полученных первыми несколькими людьми, мы получили бы результат 4,5 руб. А такой результат весьма маловероятен. Например, первые несколько человек вполне могут получить каждый по 10 рублей.

Таким образом, в отличие от закона больших чисел закон малых чисел ошибочен.

Напомню, что термины «закон больших чисел» и «закон малых чисел» - это условные термины, которые не стоит трактовать буквально.

Применительно к более реальным исследовательским задачам, чем приведенная выше условная задача с монетами, ошибочность закона малых чисел проявляется в том, что чемменьше выборка, тем менее точно она отражает свойства генеральной совокупности, т.е. темменее она репрезентативна. И наоборот: чем больше выборка, тем более точно она отражает свойства генеральной совокупности, т.е. тем в большей степени она репрезентативна (при условии рандомизации, естественно, но, как говорится, это уже совсем другая история). Соответственно, если человек делает выводы о генеральной совокупности по слишком малой выборке, то он как бы верит в закон малых чисел, как бы не понимает его ложности.

Вот еще одна пояснительная иллюстрация. Когда я учился в школе, в кабинете математики у нас висел, среди прочих, небольшой плакат, на котором было написано:

Статистика. Верно, когда много.

Но нас интересует не сам по себе закон малых чисел, а то, как люди действуют (проводят исследования, формулируют выводы), если, условно говоря, верят в этот закон.

В этом смысле имеет место следующее. Вера в закон малых чисел (а такая вера, как правило, не осознается) порождает так называемое «скороспелое обобщение» (hasty generalization). Скороспелым является такое обобщение, при котором человек на основании всего лишь нескольких своих наблюдений за определенными объектами или явлениями делает однозначный вывод о свойствах всех таких объектов или явлений. Например, у девушки было трое парней, и каждый из них оказался козлом, из этого девушка заключает, что вообще все мужчины козлы. Конечно, такой вывод неверен, лежащее в его основе обобщение - скороспелое, а девушка как бы верит в то, что троих мужчин достаточно, чтобы судить обо все мужчинах, т.е. верит в закон малых чисел.

Другими словами, человек, верящий в закон малых чисел, преувеличивает репрезентативность малой выборки. Именно поэтому, кстати, веру в закон малых чисел Даниэль Канеман относил к эвристике репрезентативности.

Чтобы лучше понять ошибочность закона малых чисел давайте решим небольшую задачу.

На столе стоит корзина. В ней находятся шары, причем 2/3 шаров одного цвета и 1/3 шаров другого цвета. К корзине подошли два гинеколога: молодой и старый. Каждый из них засовывает в корзину руку и, не видя шаров, вынимает их из корзины.

Молодой гинеколог вытащил 5 шаров. Причем 4 из них оказались красными и один - белым.

Старый гинеколог вытащил 20 шаров, причем 12 из них оказались красными и 8 - белыми.

Кто из гинекологов - молодой или старый - может с большей уверенностью заявить, что в корзине 2/3 красных шаров и 1/3 белых, а не наоборот?

Обычно люди (причем независимо от их пола) выбирают молодого гинеколога. Рассуждают они примерно так: у молодого гинеколога 80% шаров (4/5*100%) оказались красными, а у старого - только 60% шаров (12/20*100%), значит более уверен должен быть молодой гинеколог. Но такое рассуждение ошибочно и является примером веры в закон малых чисел: человек считает, что выборка в 5 шаров может быть более репрезентативной, чем выборка в 20 шаров. А это, конечно, не так.

Вера в закон малых чисел и идущее с ней рука об руку скороспелое обобщение распространены достаточно широко.

Для начала давайте обратим внимание на то, что вера в закон малых чисел и скороспелое обобщение могут быть присущи психологам-исследователям, которые, хотя и обучены математико-статистическим методам, все равно, например, выводят закономерность, исследовав всего 30 испытуемых. (Да-да, исследования Д. Канемана показывают, что даже обученные статистике люди могут верить в закон малых чисел).

Присущи вера в закон малых чисел и скороспелое обобщение и психоаналитикам, которые считают, условно говоря, что семи пациенток было достаточно Фрейду для формулировки основных положений психоанализа.

Влияет закон малых чисел и на повседневные выводы, которые формулируются обывателями и присущи житейскому уровню познания. Например, в следующих утверждениях, относящихся к житейскому уровню познания, легко заметить скороспелые обобщение: все блондинки - глупы, все русские - алкоголики, все москвичи - зазнавшиеся и т.д. и т.п.

Еще один отличный пример бытовой, повседневной веры в закон малых чисел можно увидеть в отечественном кинофильме «Статский советник». Помните эпизод, в котором Пожарский, выражая восхищение даром Фандорина всегда выигрывать, предлагает ему сыграть в карты - угадывать, красная или черная масть будет у вытянутой из колоды карты? Когда два раза выпало черное, Фандорин снова говорит «черное», Пожарский не соглашается с ним («помилуйте, три раза „черное“?!.»), выбирает «красное» и проигрывает.

В данном случае Пожарский как бы верит в закон малых чисел, т.е. считает, что уже выборка всего лишь из трех карт продемонстрирует закон больших чисел, под действием которого возникает последовательность карт, в которой чередование красных и черных мастей является равномерным. Но такая последовательность возникнет только в достаточно множественной серии игр и тасовок, причем чем больше будет игр, тем больше будет равномерность. (Конечно, если пренебречь износом карт и особенностями тасовки).

Этот пример, кстати, иллюстрирует не только веру в закон малых чисел, но и один из видов когнитивных искажений (cognitive biases) под названием «ошибка азартного игрока» (gambler"s fallasy).

Верит в закон малых чисел и игрок в «Дурака», который, видя, что у него на руках одни черные масти заявляет, что колода плохо перетасована.

И конечно, вера в закон малых чисел и скороспелое обобщение лежат в основе всяческихлженаук и, в частности, различных лжепсихологий . Например, именно в режиме скороспелого обобщения сформулированы все соционические описания типов людей и соционических функций.

В заключение я бы хотел отметить, что вера в закон малых чисел - это всего лишь одно из множества когнитивных искажений (cognitive biases), присущих человеку. Причем в условиях научного исследования это искажение можно сравнительно легко скомпенсировать, применяя современные математико-статистические методы и надлежащим образом обеспечивая репрезентативность выборки.

ЛИТЕРАТУРА

Канеман Д., Словик П., Тверски А. Принятие решений в неопределенности: Правила и предубеждения. – Харьков: Издательство Институт прикладной психологии «Гуманитарный Центр», 2005. – 632 с.

Исследование частоты рака почки, проведенное в 3141 округе США, выявило удивительную закономерность: самый низкий уровень заболеваемости обнаружен в сельских, малонаселенных округах, расположенных в традиционно республиканских штатах на Среднем Западе, Юге и Западе. Что вы думаете по этому поводу?
Ваш разум в последние несколько секунд был очень активен, причем работала преимущественно Сист ема 2. Вы планомерно искали в памяти информацию и формулировали гипотезы. Вам понадобились некоторые усилия: у вас расширились зрачки, измеримо участилось сердцебиение. Но и Система 1 не бездельничала: работа Системы 2 полагалась на факты и предложения, извлеченные из ассоциативной памяти. Вы, вероятно, отвергли мысль о том, что республиканские политические взгляды защищают от рака почки. Скорее всего, в итоге вы сосредоточились на том факте, что округа с низким уровнем заболеваемости в основном сельские. Остроумные статистики Говард Вейнер и Харрис Цверлинг, приводя в пример это исследование, прокомментировали: «Очень легко и соблазнительно сделать вывод, что низкий уровень заболеваемости – прямое следствие здоровой сельской жизни: воздух чистый, вода тоже, еда свежая и без добавок». Очень разумно.
Рассмотрим теперь округа с самым высоким уровнем заболеваемости раком почки. Эти нездоровые округа в основном сельские, малонаселенные и расположены в традиционно респ убликанских штатах на Среднем Западе, Юге и Западе. Вейнер и Цверлинг в шутку комментируют: «Легко предположить, что высокий уровень заболеваемости – прямое следствие бедности сельской жизни: хорошая медицина далеко, пища жирная, злоупотребление алкоголем и табаком». Конечно же, что-то не так. Сельская жизнь не может служить одновременным объяснением и для высокого, и для низкого уровня заболеваемости раком почки.
Основной фактор здесь – не то, что округа сельские или в основном республиканские. Все дело в том, что население сельских округов малочисленно. Главный урок, который нужно усвоить, касается не эпидемиологии, а сложных отношений между нашим разумом и статистикой. Система 1 отлично приспособлена к одной форме мышления – она автоматически и без усилий опознает каузальные связи между событиями, иногда даже в тех случаях, когда связи не существует. Услышав об округах с высоким уровнем заболеваемости, вы немедленно заключили, что они чем-то отличаются, что у э той разницы есть объяснение. Однако, как мы увидим, Система 1 не слишком способна управляться с «чисто статистическими» фактами, которые меняют вероятность результатов, но не заставляют их случаться.
Случайное событие – по определению – не подлежит объяснению, но серии случайных событий ведут себя чрезвычайно регулярным образом. Представьте себе сосуд, наполненный небольшими шариками. Половина из них – красные, половина – белые. Затем представьте очень терпеливого человека (или робота), который вслепую достает по четыре шарика, записывает число красных, бросает их обратно и повторяет так много-много раз. Если обобщить результаты, то обнаружится, что сочетание «два белых, два красных» появляется почти в шесть раз чаще, чем «четыре белых» или «четыре красных». Это соотношение – математический факт. Результат многократного извлечения шариков из урны можно предсказать с той же точностью, как результат удара молотком по яйцу. Предсказать, как именно разлетятся осколки скорлупы, вы не сможете, но в целом вы уверены в результате. Впрочем, есть одно различие: удовлетворенное ощущение причинной связи, которое вы испытываете, думая о молотке и яйце, в случае с шариками напрочь отсутствует.
С этим связан и другой статистический факт, относящийся к примеру о раке. Из одного и того же сосуда два очень терпеливых экспериментатора по очереди достают шарики. Джек в каждой попытке вытаскивает по 4 штуки, а Джилл – по 7. Они оба делают отметку каждый раз, когда им достаются шарики одного цвета, все белые или все красные. Если достаточно долго этим заниматься, то Джек будет наблюдать такие результаты примерно в 8 раз чаще Джилл (ожидаемый процент составляет 12,5 и 1,56 % соответственно). И вновь ни молотка, ни причины, просто математический факт: наборы из 4 шариков чаще дают однородные результаты, чем наборы из 7.
А теперь представьте население США шариками в огромном сосуде, причем некоторые шарики помечены буквами «Р П», что говорит о раке почки. Вы извлекаете наборы шариков и по очереди населяете каждый округ. Выборки в сельских местностях меньше остальных. Как и в игре Джека и Джилл, экстремумы – то есть очень высокие и/или очень низкие уровни заболеваемости раком – с большей вероятностью окажутся в малонаселенных округах. Вот и вся история.
Мы начали с факта, который требует объяснения: уровень заболеваемости раком почки сильно меняется в зависимости от округа, и в этих изменениях есть закономерность. Я предложил статистическое объяснение: экстремумы (высокие и низкие показатели) вероятнее появятся в маленьких выборках, чем в больших. Это – не причина. Маленькое население округа не порождает рак и не спасает от него. Оно просто позволяет уровню заболеваемости быть намного выше (или намного ниже), чем в более многочисленной популяции. Истина состоит в том, что объяснять здесь нечего. На самом деле уровень заболеваемости раком не выше и не ниже нормы; если в округе маленькое население, она лишь кажется такой в отдельно взятом году из-за случайности выборки. Если повторить анализ на следующий год, мы заметим, что в целом ситуация с экстремумами в малых выборках та же, но округа, где в предыдущем году было много случаев рака, необязательно и на этот раз покажут высокий уровень заболеваемости. Если так, то разница между плотно населенными и сельскими округами не считается, это просто артефакты, то есть явления, порожденные исключительно каким-то аспектом метода исследования, в данном случае – различиями в размере выборки.
Вы, может, и удивились моему рассказу, но не восприняли его как откровение. Вам давно известно, что результаты исследований надежнее на больших выборках, и о законе больших чисел слышали даже те, кто статистики совершенно не знает. Но просто «знать» недостаточно, и, возможно, вы обнаружите, что в отношении вас справедливы следующие утверждения:

Вы не придали значения признаку «малонаселенный» , когда читали историю об исследовании частоты заболеваний раком.
Вы сильно удивились, узнав о разнице между выборками в 4 и 7 шариков.
Даже сейчас вам требуются определенные умственные усилия, чтобы понять, что следующие два утверждения означают совершенно одно и то же:
– Большие выборки дают более точный результат, чем маленькие.
– Маленькие выборки чаще больших дают экстремумы.

Первое утверждение кажется истинным, но нельзя считать, что вы его поняли, пока интуиция не приняла второе.
Итак, вы знали, что результаты на больших выборках точнее, но сейчас вы, наверное, понимаете, что знали это не очень хорошо. Вы не одиноки. Наше с Амосом первое совместное исследование показало, что даже у опытных исследователей плохая интуиция и зыбкое представление о значении объема выборки.

Закон малых чисел

Исследование частоты рака почки, проведенное в 3141 округе США, выявило удивительную закономерность: самый низкий уровень заболеваемости обнаружен в сельских, малонаселенных округах, расположенных в традиционно республиканских штатах на Среднем Западе, Юге и Западе. Что вы думаете по этому поводу?

Ваш разум в последние несколько секунд был очень активен, причем работала преимущественно Система 2. Вы планомерно искали в памяти информацию и формулировали гипотезы. Вам понадобились некоторые усилия: у вас расширились зрачки, измеримо участилось сердцебиение. Но и Система 1 не бездельничала: работа Системы 2 полагалась на факты и предложения, извлеченные из ассоциативной памяти. Вы, вероятно, отвергли мысль о том, что республиканские политические взгляды защищают от рака почки. Скорее всего, в итоге вы сосредоточились на том факте, что округа с низким уровнем заболеваемости в основном сельские. Остроумные статистики Говард Вейнер и Харрис Цверлинг, приводя в пример это исследование, прокомментировали: «Очень легко и соблазнительно сделать вывод, что низкий уровень заболеваемости - прямое следствие здоровой сельской жизни: воздух чистый, вода тоже, еда свежая и без добавок». Очень разумно.

Рассмотрим теперь округа с самым высоким уровнем заболеваемости раком почки. Эти нездоровые округа в основном сельские, малонаселенные и расположены в традиционно республиканских штатах на Среднем Западе, Юге и Западе. Вейнер и Цверлинг в шутку комментируют: «Легко предположить, что высокий уровень заболеваемости - прямое следствие бедности сельской жизни: хорошая медицина далеко, пища жирная, злоупотребление алкоголем и табаком». Конечно же, что-то не так. Сельская жизнь не может служить одновременным объяснением и для высокого, и для низкого уровня заболеваемости раком почки.

Основной фактор здесь - не то, что округа сельские или в основном республиканские. Все дело в том, что население сельских округов малочисленно. Главный урок, который нужно усвоить, касается не эпидемиологии, а сложных отношений между нашим разумом и статистикой. Система 1 отлично приспособлена к одной форме мышления - она автоматически и без усилий опознает каузальные связи между событиями, иногда даже в тех случаях, когда связи не существует. Услышав об округах с высоким уровнем заболеваемости, вы немедленно заключили, что они чем-то отличаются, что у э той разницы есть объяснение. Однако, как мы увидим, Система 1 не слишком способна управляться с «чисто статистическими» фактами, которые меняют вероятность результатов, но не заставляют их случаться.

Случайное событие - по определению - не подлежит объяснению, но серии случайных событий ведут себя чрезвычайно регулярным образом. Представьте себе сосуд, наполненный небольшими шариками. Половина из них - красные, половина - белые. Затем представьте очень терпеливого человека (или робота), который вслепую достает по четыре шарика, записывает число красных, бросает их обратно и повторяет так много-много раз. Если обобщить результаты, то обнаружится, что сочетание «два белых, два красных» появляется почти в шесть раз чаще, чем «четыре белых» или «четыре красных». Это соотношение - математический факт. Результат многократного извлечения шариков из урны можно предсказать с той же точностью, как результат удара молотком по яйцу. Предсказать, как именно разлетятся осколки скорлупы, вы не сможете, но в целом вы уверены в результате. Впрочем, есть одно различие: удовлетворенное ощущение причинной связи, которое вы испытываете, думая о молотке и яйце, в случае с шариками напрочь отсутствует.

С этим связан и другой статистический факт, относящийся к примеру о раке. Из одного и того же сосуда два очень терпеливых экспериментатора по очереди достают шарики. Джек в каждой попытке вытаскивает по 4 штуки, а Джилл - по 7. Они оба делают отметку каждый раз, когда им достаются шарики одного цвета, все белые или все красные. Если достаточно долго этим заниматься, то Джек будет наблюдать такие результаты примерно в 8 раз чаще Джилл (ожидаемый процент составляет 12,5 и 1,56 % соответственно). И вновь ни молотка, ни причины, просто математический факт: наборы из 4 шариков чаще дают однородные результаты, чем наборы из 7.

А теперь представьте население США шариками в огромном сосуде, причем некоторые шарики помечены буквами «Р П», что говорит о раке почки. Вы извлекаете наборы шариков и по очереди населяете каждый округ. Выборки в сельских местностях меньше остальных. Как и в игре Джека и Джилл, экстремумы - то есть очень высокие и/или очень низкие уровни заболеваемости раком - с большей вероятностью окажутся в малонаселенных округах. Вот и вся история.

Мы начали с факта, который требует объяснения: уровень заболеваемости раком почки сильно меняется в зависимости от округа, и в этих изменениях есть закономерность. Я предложил статистическое объяснение: экстремумы (высокие и низкие показатели) вероятнее появятся в маленьких выборках, чем в больших. Это - не причина. Маленькое население округа не порождает рак и не спасает от него. Оно просто позволяет уровню заболеваемости быть намного выше (или намного ниже), чем в более многочисленной популяции. Истина состоит в том, что объяснять здесь нечего. На самом деле уровень заболеваемости раком не выше и не ниже нормы; если в округе маленькое население, она лишь кажется такой в отдельно взятом году из-за случайности выборки. Если повторить анализ на следующий год, мы заметим, что в целом ситуация с экстремумами в малых выборках та же, но округа, где в предыдущем году было много случаев рака, необязательно и на этот раз покажут высокий уровень заболеваемости. Если так, то разница между плотно населенными и сельскими округами не считается, это просто артефакты, то есть явления, порожденные исключительно каким-то аспектом метода исследования, в данном случае - различиями в размере выборки.

Вы, может, и удивились моему рассказу, но не восприняли его как откровение. Вам давно известно, что результаты исследований надежнее на больших выборках, и о законе больших чисел слышали даже те, кто статистики совершенно не знает. Но просто «знать» недостаточно, и, возможно, вы обнаружите, что в отношении вас справедливы следующие утверждения:

Вы не придали значения признаку «малонаселенный», когда читали историю об исследовании частоты заболеваний раком.

Вы сильно удивились, узнав о разнице между выборками в 4 и 7 шариков.

Даже сейчас вам требуются определенные умственные усилия, чтобы понять, что следующие два утверждения означают совершенно одно и то же:

Большие выборки дают более точный результат, чем маленькие.

Маленькие выборки чаще больших дают экстремумы.

Первое утверждение кажется истинным, но нельзя считать, что вы его поняли, пока интуиция не приняла второе.

Итак, вы знали, что результаты на больших выборках точнее, но сейчас вы, наверное, понимаете, что знали это не очень хорошо. Вы не одиноки. Наше с Амосом первое совместное исследование показало, что даже у опытных исследователей плохая интуиция и зыбкое представление о значении объема выборки.