Поиск и обработка статистической информации

 

 

Статистика

Слово «статистика» имеет  латинское происхождение (от status –  состояние). В средние века оно  означало политическое состояние государства. В науку этот термин введен в XVIII в. немецким ученым Готфридом Ахенвалем. Собственно как наука статистика возникла только в XVII в., однако статистический учет существовал уже в глубокой древности. Так, известно, что еще  за 5 тыс. лет до н.э. проводились переписи населения в Китае, осуществлялось сравнение военного потенциала разных стран, велся учет имущества граждан  в Древнем Риме, затем – населения, домашнего имущества, земель в средние  века.

 

Статистика разрабатывает специальную методологию исследования и обработки материалов: массовые статистические наблюдения, метод группировок, средних величин, индексов, балансовый метод, метод графических изображений и другие методы анализа статистических данных.

 

Статистика состоит из трёх разделов:

1. сбор статистических сведений, то есть сведений, характеризующих отдельные единицы каких-либо массовых совокупностей;
2. статистическое исследование полученных данных, заключающееся в выяснении тех закономерностей, которые могут быть установлены на основе данных массового наблюдения;
3. разработка приёмов статистического наблюдения и анализа статистических данных. Последний раздел, собственно, и составляет содержание математической статистики.

 

термин статистика употребляется в 4 значениях:

1. наука, изучающая количественную сторону массовых явлений и процессов в неразрывной связи с их качественным содержанием – учебный предмет в высших и средних специальных учебных заведений;
2. совокупность цифровых сведений, характеризующих состояние массовых явлений и процессов общественной жизни; статистические данные, представляемые в отчетности предприятий, организаций, отраслей экономики, а также публикуемых в сборниках, справочниках, периодической печати и в сети Интернет, которые являются результатом статистической работы;
3. отрасль практической деятельности («статистический учет») по сбору, обработке, анализу и публикации массовых цифровых данных о самых различных явлениях и процессах общественной жизни;
4. некий параметр ряда случайных величин, получаемый по определенному алгоритму из результатов наблюдений, например, статистические критерии (критические статистики), применяющиеся при проверке различных гипотез (предположительных утверждений) относительно природы или значений отдельных показателей исследуемых данных, особенностей их распределения и пр.

 

 

Основные категории, используемые в статистике:

1. Статистическая совокупность – множество социально-экономических объектов или явлений общественной жизни, объединенных качественной основой, но отличающихся друг от друга отдельными признаками, т.е. однородных в одном отношении, но разнородных в другом. Таковы, например, совокупность домохозяйств, семей, предприятий, фирм и т.п.
2. Единица совокупности – первичный элемент статистической совокупности, являющийся носителем признаков и основой ведущегося при обследовании счета.
3. Признак единицы совокупности – свойства единицы совокупности, которые различаются способами их измерения и другими особенностями
4. Статистический показатель – понятие, отображающее количественные характеристики (размеры) или соотношения признаков общественных явлений. Статистические показатели можно подразделить на первичные (объемные) – характеризуют либо общее число единиц совокупности (объем совокупности), либо сумму значений какого-либо признака (объем признака) и выражаются абсолютными величинами и вторичные (расчетные) – задаются на единицу первичного показателя и выражаются относительными и средними величинами. Статистические показатели могут быть плановыми, отчетными и прогнозными.
5. Система статистических показателей – совокупность статистических показателей, отражающая взаимосвязи, которые объективно существуют между явлениями. Она охватывает все стороны общественной жизни как на макро, так и на микроуровне. С изменением условий жизни общества меняются и системы статистических показателей, совершенствуется методология их расчета.

История статистических методов

Первая треть ХХ века прошла под знаком параметрической статистики. Изучались методы, основанные на анализе  данных из параметрических семейств распределений, описываемых кривыми  семейства Пирсона. Наиболее популярным было нормальное распределение. Для  проверки гипотез использовались критерии Пирсона, Стьюдента, Фишера. Были предложены метод максимального правдоподобия, дисперсионный анализ, сформулированы основные идеи планирования эксперимента. Разработанную в первой трети ХХ века теорию анализа данных называют параметрической статистикой, поскольку её основной объект изучения — это выборки из распределений, описываемых одним или небольшим числом параметров. Наиболее общим является семейство кривых Пирсона, задаваемых четырьмя параметрами. Как правило, нельзя указать каких-либо веских причин, по которым распределение результатов конкретных наблюдений должно входить в то или иное параметрическое семейство. Исключения хорошо известны: если вероятностная модель предусматривает суммирование независимых случайных величин, то сумму естественно описывать нормальным распределением; если же в модели рассматривается произведение таких величин, то итог, видимо, приближается логарифмически нормальным распределением и так далее.

Статистические методы

Статистические  методы — методы анализа статистических данных. Выделяют методы прикладной статистики, которые могут применяться во всех областях научных исследований и любых отраслях народного хозяйства, и другие статистические методы, применимость которых ограничена той или иной сферой. Имеются в виду такие методы, как статистический приемочный контроль, статистическое регулирование технологических процессов, надежность и испытания, планирование экспериментов.

 

 Классификация статистических методов

а) разработка и исследование методов  общего назначения;

б) разработка и исследование статистических моделей реальных явлений и процессов  в соответствии с потребностями  той или иной области деятельности;

в) применение статистических методов  и моделей для статистического  анализа конкретных данных.

 

 

 

Статистический анализ конкретных данных

Применение  статистических методов и моделей  для статистического анализа  конкретных данных тесно привязано  к проблемам соответствующей  области. Результаты третьего из выделенных видов научной и прикладной деятельности находятся на стыке дисциплин. Их можно рассматривать как примеры  практического применения статистических методов. Но не меньше оснований относить их к соответствующей области  деятельности человека.

 

Перспективы развития

Теория  статистических методов нацелена на решение реальных задач. Поэтому  в ней постоянно возникают  новые постановки математических задач  анализа статистических данных, развиваются  и обосновываются новые методы. Обоснование  часто проводится математическими  средствами, то есть путем доказательства теорем. Большую роль играет методологическая составляющая — как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента.

.

Вычислительная статистика

Развитие вычислительной техники во второй половине XX века оказало значительное влияние на статистику. Ранее статистические модели были представлены преимущественно линейными моделями. Увеличение быстродействия ЭВМ и разработка соответствующих численных алгоритмов послужило причиной повышенного интереса к нелинейным моделям таким, как искусственные нейронные сети, и привело к разработке сложных статистических моделей, например обощённая линейная модель и иерархическая модель.

 

 

Прикладная статистика — наука о методах обработки статистических данных. Методы прикладной статистики активно применяются в технических исследованиях, экономике менеджменте, социологии, медицине, геологии, истории и т. д. С результатами наблюдений, измерений, испытаний, опытов, с их анализом имеют дело специалисты во многих областях теоретической и практической деятельности. Описание вида данных и механизма их порождения — начало любого статистического исследования. Для описания данных применяют как детерминированные, так и вероятностные методы. С помощью детерминированных методов можно проанализировать только те данные, которые имеются в распоряжении исследователя. Например, с их помощью получены таблицы, рассчитанные органами официальной государственной статистики на основе представленных предприятиями и организациями статистических отчетов. Перенести полученные результаты на более широкую совокупность, использовать их для предсказания и управления можно лишь на основе вероятностно-статистического моделирования. Поэтому в математическую статистику часто включают лишь методы, опирающиеся на теорию вероятностей.

Нечисловые  статистические данные — это категоризованные данные, вектора разнотипных признаков, бинарные отношения, множества, нечеткие множества и др. Их нельзя складывать и умножать на коэффициенты. Поэтому не имеет смысла говорить о суммах нечисловых статистических данных. Они являются элементами нечисловых математических пространств (множеств). Математический аппарат анализа нечисловых статистических данных основан на использовании расстояний между элементами (а также мер близости, показателей различия) в таких пространствах. С помощью расстояний определяются эмпирические и теоретические средние, доказываются законы больших чисел, строятся непараметрические оценки плотности распределения вероятностей, решаются задачи диагностики и кластерного анализа, и т. д.

В прикладных исследованиях используют статистические данные различных видов. Это связано, в частности, со способами  их получения. Например, если испытания  некоторых технических устройств  продолжаются до определенного момента  времени, то получаем т. н. цензурированные данные, состоящие из набора чисел — продолжительности работы ряда устройств до отказа, и информации о том, что остальные устройства продолжали работать в момент окончания испытания. Цензурированные данные часто используются при оценке и контроле надежности технических устройств.

 

 

Математическая статистика — наука, разрабатывающая математические методы систематизации и использования статистических данных для научных и практических выводов.

Во  многих своих разделах математическая статистика опирается на теорию вероятностей, позволяющую оценить надёжность и точность выводов, делаемых на основании ограниченного статистического материала (напр., оценить необходимый объём выборки для получения результатов требуемой точности при выборочном обследовании). В математической статистике есть общая теория проверки гипотез и большое число методов, посвящённых проверке конкретных гипотез. Рассматривают гипотезы о значениях параметров и характеристик, о проверке однородности (то есть о совпадении характеристик или функций распределения в двух выборках), о согласии эмпирической функции распределения с заданной функцией распределения или с параметрическим семейством таких функций, о симметрии распределения и др. Большое значение имеет раздел математической статистики, связанный с проведением выборочных обследований, со свойствами различных схем организации выборок и построением адекватных методов оценивания и проверки гипотез.

 

 

 

Статистическое наблюдение - это начальный этап любого статистического исследования, поэтому от того, насколько полными и качественными окажутся собранные первичные данные, зависят в значительной степени и конечные результаты исследований. В статистической практике используются разные формы, виды и способы наблюдения.

Если  при сборе статистических данных допущена ошибка или материал оказался недоброкачественным, это повлияет на правильность и достоверность  как теоретических, так и практических выводов. Поэтому статистическое наблюдение от начальной до завершающей стадии должно быть тщательно продуманным  и четко организованным.

 

Различают 3 формы организации  наблюдения:

1. Статистическая отчетность – это особая форма организации сбора данных государственной статистикой о деятельности хозяйствующих субъектов, которые обязаны заполнять документы-бланки, называемые формами статистической отчетности, содержащие перечень определенных показателей, сведений, характеризующих ту или иную хозяйственую единицу и результаты ее деятельности, заполняемый на основе данных опертивного или бухгалтерского учета и представляемые в государственные статистические органы для дальнейшего обобщения. Каждая форма отчетности имеет шифр и название. В соответствии со сроками представления отчетность бывает суточная (ежедневная), недельная, месячная, квартальная, полугодовая и годовая. Все эти виды отчетности, кроме годовой, объединяют одним названием – текущая отчетность.
2. Cпециально организованные статистические наблюдения - это переписи и специальные обследования, проводимые по тем явлениям общественной жизни, по которым отсутствует отчетность или когда требуется уточнить, дополнить данные той или иной отчетности, либо провести разовое детальное, всестороннее обследование каких-либо объектов
3. Наблюдение через регистры – сравнительно новая форма организации статистического наблюдения, основанная на применении компьютерных технологий. Регистр – это поименованный и постоянно уточняемый перечень тех или иных единиц наблюдения, созданный для непрерывного длительного статистического наблюдения за определенной совокупностью, в котором содержится информация о каждой единице совокупности .

наблюдение подразделяется на следующие 4 вида:

1. наблюдение основного массива (исключаются из наблюдения малозначимые единицы);
2. анкетное (добровольное заполнение анкет приводит к несплошному виду наблюдения);
3. выборочное (случайный отбор единиц из изучаемой совокупности);
4. монографическое (детальное изучение какой-то одной единицы совокупности).

 

 

По источникам собираемых сведений различают следующие способы  наблюдения: