Вязка
Что такое статистическая значимость. Определение значимости воздействия

Что такое статистическая значимость. Определение значимости воздействия

у меня нет ясности в понимании того, как определяется значимость ГОТОВЫХ контекстно-зависимых поведенческих цепочек. как я понимаю, поведенческая цепочна - это некоторая МОЗГОВАЯ активность. поведенческий контекст - это образ поведения при данном состоянии среды. состояние среды, отслеживается рецепторами органов чувств. чтобы определить значимость поведенческого контекста, надо получить предполагаемый результат поведения при данном состоянии среды, причем до того, как запустить поведенческую цепочку на выполнение. для этого к настоящему моменту в мозгу УЖЕ должен быть актевен образ вариантов поведений в некотором спектре состояний среды, содержащих отслеженное органами чувств в настоящий момент. так?

>>поведенческая цепочка - это некоторая МОЗГОВАЯ активность

Нет. Это последовательность звеньев, отвечающих за более элементарные действия в программе всей цепочки. По мере последовательной активности отдельных звеньев начинает выполняться вся программа отдельными подпрограммами.

>>поведенческий контекст - это образ поведения при данном состоянии среды

В одной цепочке в отдельных звеньях может быть ветвления на другие цепочки так, что при одних условиях активность продолжается по одной цепи, а в других условиях - по другим цепям. Это и есть контекст ность выполнения программы в зависимости от условий.

>>чтобы определить значим ость поведенческого контекст а, надо получить предполагаемый результат поведения при данном состоянии среды

С каждым звеном уже закреплена какая-то значим ость - как результат отработки данного звена цепи в определенных условиях. Эта значим ость может быть оценена только осознанным вниманием к данной цепочке. Без осознания значим ость играет разрешительную (положительная значим ость) или запретительную (отрицательная) роль. В случае, если в данных условиях со звеном ассоциирована отрицательная значим ость, то дальнейшая активность цепи прекращается.

Осознанное внимание может сканировать цепочку без выполнения действий (блокируя их) и получать значим ость, в том числе и окончательного звена, прогнозирующего результат действия.

При построении регрессионной модели встает вопрос определения значимости факторов, входящих в уравнение регрессии (1). Определение значимости фактора означает выяснение вопроса о силе влияния фактора на функцию отклика. Если в ходе решения задачи о проверке значимости фактора выясняется, что фактор незначим, то его можно исключить из уравнения. В этом случае считают, что фактор не оказывает существенного влияния на функцию отклика. Если же подтверждается значимость фактора, то его оставляют в модели регрессии. Считается, что в этом случае фактор оказывает влияние на функцию отклика, которым нельзя пренебрегать. Решение вопроса о значимости факторов эквивалентно проверке гипотезы о равенстве нулю коэффициентов регрессии при данных факторах. Таким образом, нулевая гипотеза будет иметь вид: , где подвектор вектора размерности (l*1). Перепишем уравнение регрессии в матричном виде:

Y = Xb+e ,(2)

Y – вектор размера n;

X - матрица размера (p*n);

b - вектор размера p.

Уравнение (2) можно переписать в виде:

где X l и X p - l - матрицы размера (n,l) и (n,p-l) соответственно. Тогда гипотеза H 0 эквивалентна предположению, что

Определим минимум функции . Так как при соответствующих гипотезах H 0 и H 1 = 1- H 0 оцениваются все параметры некоторой линейной модели, то минимум при гипотезе H 0 равен

тогда как при H 1 он равен

Для проверки нулевой гипотезы рассчитаем статистику , которая имеет распределение Фишера с (l,n-p) степенями свободы, и критическая область для H 0 образована 100*a процентами наибольших значений величины F. Если FF кр - гипотеза отвергается.

Проверку значимости факторов можно проводить и другим методом, независимо друг от друга. Данный метод основан на исследовании доверительных интервалов для коэффициентов уравнения регрессии. Определим дисперсии коэффициентов , Значения являются диагональными элементами матрицы . Определив оценки дисперсий коэффициентов, можно построить доверительные интервалы для оценок коэффициентов уравнения регрессии. Доверительный интервал для каждой оценки будет равен , где - табличное значение критерия Стьюдента при числе степеней свободы, с которым определялся элемент , и выбранном уровне значимости . Фактор с номером i значим, если абсолютная величина коэффициента при данном факторе больше величины отклонения, рассчитанного при построении доверительного интервала. Другими словами, фактор с номером i значим, если 0 не будет принадлежать доверительному интервалу, построенному для данной оценки коэффициента . На практике, чем уже доверительный интервал при заданном уровне значимости, тем с большей уверенностью можно говорить о значимости фактора. Для проверки значимости фактора по критерию Стьюдента можно воспользоваться формулой . Вычисленное значение t-критерия сравнивается с табличным при заданном уровне значимости и соответствующем числе степеней свободы. Данным методом проверки значимости факторов можно пользоваться лишь в случае независимости факторов. Если есть основания считать ряд факторов зависимыми друг от друга, то данный метод может использоваться только для ранжирования факторов по степени их влияния на функцию отклика. Проверку значимости в этой ситуации необходимо дополнять методом, основанным на критерии Фишера.

Таким образом, рассмотрена задача проверки значимости факторов и сокращения размерности модели в случае несущественного влияния факторов на функцию отклика. Далее здесь было бы логично рассмотреть вопрос о введении в модель дополнительных факторов, которые, по мнению исследователя, в ходе проведения эксперимента не были учтены, но их воздействие на функцию отклика существенно. Предположим, что уже после того, как подобрана модель регрессии

, ,

возникла задача включить в модель дополнительные факторы x j , чтобы модель с введением этих факторов приняла вид:

, (3)

где X - матрица размера n*p ранга p, Z – матрица размера n*g ранга g и столбцы матрицы Z линейно не зависят от столбцов матрицы X, т.е. матрица W размера n*(p+g) имеет ранг (p+g). В выражении (3) использованы обозначения (X,Z)=W, . Имеется две возможности определения оценок вновь введенных коэффициентов модели. Во-первых, можно найти оценку и ее дисперсионную матрицу непосредственно из соотношений

В конце нашего сотрудничества мы с Гэри Кляйном все же пришли к согласию, отвечая на основной поставленный вопрос: в каких случаях стоит доверять интуиции эксперта? У нас сложилось мнение, что отличить значимые интуитивные заявления от пустопорожних все же возможно. Это можно сравнить с анализом подлинности предмета искусства (для точного результата лучше начинать его не с осмотра объекта, а с изучения прилагающихся документов). При относительной неизменности контекста и возможности выявить его закономер ности ассоциативный механизм распознает ситуацию и быстро вырабатывает точный прогноз (решение). Если эти условия удовлетворяются, интуиции эксперта можно доверять.
К сожалению, ассоциативная память также порождает субъективно веские, но ложные интуиции. Всякий, кто следил за развитием юного шахматного таланта, знает, что умения приобретаются не сразу и что некоторые ошибки на этом пути делаются при полной уверенности в своей правоте. Оценивая интуицию эксперта, всегда следует проверить, было ли у него достаточно шансов изучить сигналы среды – даже при неизменном контексте.
При менее устойчивом, малодостоверном контексте активируется эвристика суждения. Система 1 может давать скорые ответы на трудные вопросы, подменяя понятия и обеспечивая когерентность там, где ее не должно быть. В результате мы получаем ответ на вопрос, которого не задавали, зато быстрый и достаточно правдоподобный, а потому способный проскочить снисходительный и ленивый ко нтроль Системы 2. Допустим, вы хотите спрогнозировать коммерческий успех компании и считаете, что оцениваете именно это, тогда как на самом деле ваша оценка складывается под впечатлением от энергичности и компетентности руководства фирмы. Подмена происходит автоматически – вы даже не понимаете, откуда берутся суждения, которые принимает и подтверждает ваша Система 2. Если в уме рождается единственное суждение, его бывает невозможно субъективно отличить от значимого суждения, сделанного с профессиональной уверенностью. Вот почему субъективную убежденность нельзя считать показателем точности прогноза: с такой же убежденностью высказываются суждения-ответы на другие вопросы.
Должно быть, вы удивитесь: как же мы с Гэри Кляйном сразу не додумались оценивать экспертную интуицию в зависимости от постоянства среды и опыта обучения эксперта, не оглядываясь на его веру в свои слова? Почему сразу не нашли ответ? Это было бы дельное замечание, ведь решение с самого начала мая чило перед нами. Мы заранее знали, что значимые интуитивные предчувствия командиров пожарных бригад и медицинских сестер отличны от значимых предчувствий биржевых аналитиков и специалистов, чью работу изучал Мил.
Теперь уже трудно воссоздать то, чему мы посвятили годы труда и долгие часы дискуссий, бесконечные обмены черновиками и сотни электронных писем. Несколько раз каждый из нас был готов все бросить. Однако, как всегда случается с успешными проектами, стоило нам понять основной вывод, и он стал казаться очевидным изначально.
Как следует из названия нашей статьи, мы с Кляйном спорили реже, чем ожидали, и почти по всем важным пунктам приняли совместные решения. Тем не менее мы также выяснили, что наши ранние разногласия носили не только интеллектуальный характер. У нас были разные чувства, вкусы и взгляды применительно к одним и тем же вещам, и с годами они на удивление мало изменились. Это наглядно проявляется в том, что каждому из нас ка жется занятным и интересным. Кляйн до сих пор морщится при слове «искажение» и радуется, узнав, что некий алгоритм или формальная методика выдают бредовый результат. Я же склонен видеть в редких ошибках алгоритмов шанс их усовершенствовать. Опять-таки я радуюсь, когда так называемый эксперт изрекает прогнозы в контексте с нулевой достоверностью и получает заслуженную взбучку. Впрочем, для нас в конечном итоге стало важнее интеллектуальное согласие, а не эмоции, нас разделяющие.

Проверка гипотез проводится с помощью статистического анализа. Статистическую значимость находят с помощью Р-значения, которое соответствует вероятности данного события при предположении, что некоторое утверждение (нулевая гипотеза) истинно. Если Р-значение меньше заданного уровня статистической значимости (обычно это 0,05), экспериментатор может смело заключить, что нулевая гипотеза неверна, и перейти к рассмотрению альтернативной гипотезы. С помощью t-критерия Стьюдента можно вычислить Р-значение и определить значимость для двух наборов данных.

Шаги

Часть 1

Постановка эксперимента

Определите свою гипотезу. Первый шаг при оценке статистической значимости состоит в том, чтобы выбрать вопрос, ответ на который вы хотите получить, и сформулировать гипотезу. Гипотеза - это утверждение об экспериментальных данных, их распределении и свойствах. Для любого эксперимента существует как нулевая, так и альтернативная гипотеза. Вообще говоря, вам придется сравнивать два набора данных, чтобы определить, схожи они или различны.

Нулевая гипотеза (H 0) обычно утверждает, что между двумя наборами данных нет разницы. Например: те ученики, которые читают материал перед занятиями, не получают более высокие оценки.
Альтернативная гипотеза (H a) противоположна нулевой гипотезе и представляет собой утверждение, которое нужно подтвердить с помощью экспериментальных данных. Например: те ученики, которые читают материал перед занятиями, получают более высокие оценки.

Установите уровень значимости, чтобы определить, насколько распределение данных должно отличаться от обычного, чтобы это можно было считать значимым результатом. Уровень значимости (его называют также α {\displaystyle \alpha } -уровнем) - это порог, который вы определяете для статистической значимости. Если Р-значение меньше уровня значимости или равно ему, данные считаются статистически значимыми.

Решите, какой критерий вы будете использовать: односторонний или двусторонний. Одно из предположений в t-критерии Стьюдента гласит, что данные распределены нормальным образом. Нормальное распределение представляет собой колоколообразную кривую с максимальным количеством результатов посередине кривой. t-критерий Стьюдента - это математический метод проверки данных, который позволяет установить, выпадают ли данные за пределы нормального распределения (больше, меньше, либо в “хвостах” кривой).
- Если вы не уверены, находятся ли данные выше или ниже контрольной группы значений, используйте двусторонний критерий. Это позволит вам определить значимость в обоих направлениях.
- Если вы знаете, в каком направлении данные могут выйти за пределы нормального распределения, используйте односторонний критерий. В приведенном выше примере мы ожидаем, что оценки студентов повысятся, поэтому можно использовать односторонний критерий.
Определите объем выборки с помощью статистической мощности. Статистическая мощность исследования - это вероятность того, что при данном объеме выборки получится ожидаемый результат. Распространенный порог мощности (или β) составляет 80%. Анализ статистической мощности без каких-либо предварительных данных может представлять определенные сложности, поскольку требуется некоторая информация об ожидаемых средних значениях в каждой группе данных и об их стандартных отклонениях. Используйте для анализа статистической мощности онлайн-калькулятор, чтобы определить оптимальный объем выборки для ваших данных.
- Обычно ученые проводят небольшое пробное исследование, которое позволяет получить данные для анализа статистической мощности и определить объем выборки, необходимый для более расширенного и полного исследования.
- Если у вас нет возможности провести пробное исследование, постарайтесь на основании литературных данных и результатов других людей оценить возможные средние значения. Возможно, это поможет вам определить оптимальный объем выборки.
Часть 2
Вычислите стандартное отклонение
1. Запишите формулу для стандартного отклонения. Стандартное отклонение показывает, насколько велик разброс данных. Оно позволяет заключить, насколько близки данные, полученные на определенной выборке. На первый взгляд формула кажется довольно сложной, но приведенные ниже объяснения помогут понять ее. Формула имеет следующий вид: s = √∑((x i – µ) 2 /(N – 1)).
  - s - стандартное отклонение;
  - знак ∑ указывает на то, что следует сложить все полученные на выборке данные;
  - x i соответствует i-му значению, то есть отдельному полученному результату;
  - µ - это среднее значение для данной группы;
  - N - общее число данных в выборке.
2. Найдите среднее значение в каждой группе. Чтобы вычислить стандартное отклонение, необходимо сначала найти среднее значение для каждой исследуемой группы. Среднее значение обозначается греческой буквой µ (мю). Чтобы найти среднее, просто сложите все полученные значения и поделите их на количество данных (объем выборки).
  - Например, чтобы найти среднюю оценку в группе тех учеников, которые изучают материал перед занятиями, рассмотрим небольшой набор данных. Для простоты используем набор из пяти точек: 90, 91, 85, 83 и 94.
  - Сложим вместе все значения: 90 + 91 + 85 + 83 + 94 = 443.
  - Поделим сумму на число значений, N = 5: 443/5 = 88,6.
  - Таким образом, среднее значение для данной группы составляет 88,6.
3. Вычтите из среднего каждое полученное значение. Следующий шаг заключается в вычислении разницы (x i – µ). Для этого следует вычесть из найденной средней величины каждое полученное значение. В нашем примере необходимо найти пять разностей:
  - (90 – 88,6), (91- 88,6), (85 – 88,6), (83 – 88,6) и (94 – 88,6).
  - В результате получаем следующие значения: 1,4, 2,4, -3,6, -5,6 и 5,4.
4. Возведите в квадрат каждую полученную величину и сложите их вместе. Каждую из только что найденных величин следует возвести в квадрат. На этом шаге исчезнут все отрицательные значения. Если после данного шага у вас останутся отрицательные числа, значит, вы забыли возвести их в квадрат.
  - Для нашего примера получаем 1,96, 5,76, 12,96, 31,36 и 29,16.
  - Складываем полученные значения: 1,96 + 5,76 + 12,96 + 31,36 + 29,16 = 81,2.
5. Поделите на объем выборки минус 1. В формуле сумма делится на N – 1 из-за того, что мы не учитываем генеральную совокупность, а берем для оценки выборку из числа всех студентов.
  - Вычитаем: N – 1 = 5 – 1 = 4
  - Делим: 81,2/4 = 20,3
6. Извлеките квадратный корень. После того как вы поделите сумму на объем выборки минус один, извлеките из найденного значения квадратный корень. Это последний шаг в вычислении стандартного отклонения. Есть статистические программы, которые после введения начальных данных производят все необходимые вычисления.
  - В нашем примере стандартное отклонение оценок тех учеников, которые читают материал перед занятиями, составляет s =√20,3 = 4,51.
Часть 3
Определите значимость
1. Рассчитайте дисперсию между двумя группами данных. До этого шага мы рассматривали пример лишь для одной группы данных. Если вы хотите сравнить две группы, очевидно, следует взять данные для обеих групп. Вычислите стандартное отклонение для второй группы данных, а затем найдите дисперсию между двумя экспериментальными группами. Дисперсия вычисляется по следующей формуле: s d = √((s 1 /N 1) + (s 2 /N 2)).

Профессиональные аналитики уделяют много внимания статистической значимости, и это хорошо. Однако статистическая значимость - лишь один из аспектов хорошего анализа.

Проверка статистической значимости подразумевает выдвижение ряда предположений и определение вероятности того, что полученные результаты имели бы место в случае правильности выдвинутых предположений. Проверка статистической значимости поможет убедиться в том, что данные не вводят вас в заблуждение. Она с математической точки зрения покажет, достаточно ли значимо различие. Бывает, что различия, которые кажутся существенными, не являются таковыми, а бывает и так, что значимыми оказываются небольшие различия. Статистическая проверка позволит убедиться в правильности сделанных выводов.

На основе тестирования создана целая дисциплина. В деловом мире она известна как подход «тестируй и изучай» (test and learn ), включающий основные экспериментальные концепции, которые преподаются на курсах статистики. В среде «тестируй и изучай» эксперимент устроен так, что можно измерить эффекты использования одного или нескольких вариантов и определить, какой из них будет работать лучше всего.