Читать книгу: «Базовая оценка минерализации. Ресурсный геолог», страница 2

Описанная ситуация является почти типичной на месторождениях Северо-Востока России, изучение которых началось в «глубоко советское» время. Очень часто здесь массив исторических данных представляет собой эдакий «чемодан без ручки»: и использовать невозможно, и выбросить жалко. В каждом конкретном случае решение чаще всего принимается волевым порядком, сопровождается довольно ощутимыми рисками, а специалист, принявший это решение, впоследствии зачастую имеет полный набор бодрящих последствий.

Общий статистический анализ одной величины

Прежде чем переходить к обсуждению темы, заявленной в заголовке, дадим краткое пояснение. По мнению авторов, понимание смысла терминов и смысла формул намного важнее, чем механическое заучивание определений и формул без их смыслового наполнения. Поэтому в ряде случаев будут использованы методы объяснения, очень далекие от наукообразности и не выдерживающие никакой критики с точки зрения высокой статистики. Но зато, надеемся, позволяющие понять суть объясняемых терминов. Строгие академические определения желающие смогут найти в справочниках и учебниках по статистике.

Генеральная совокупность и выборка

Первое, что необходимо обсудить в рамках настоящей главы, это такие понятия, как выборка и генеральная совокупность.

Выборка – это любой набор данных, имеющихся в распоряжении исследователя. Это может быть набор данных опробования по отдельному горизонту, по отдельному рудному телу, группе тел, участку месторождения или всему месторождению целиком. Или просто случайно попавший в руки геолога отдельный журнал опробования. То есть выборка – это тот реальный набор данных, который есть в распоряжении геолога.

Генеральная совокупность – некая математическая абстракция, это выборка, которая содержит все возможные значения некоторой величины для данного объекта. То есть это «все возможные данные». Например, генеральной совокупностью можно считать данные о содержании какого-либо компонента в каждой точке рудного тела (генеральная совокупность содержаний по данному рудному телу), участку месторождения (генеральная совокупность содержаний по участку месторождения). Из подобного «определения» становится ясно, почему генеральная совокупность – это абстракция: просто потому, что в большинстве случаев она недостижима. Даже обладая бесконечным финансированием, невозможно получить содержания в каждой точке рудного тела/участка/месторождения.

Генеральная совокупность и выборка

Выборка может характеризовать генеральную совокупность «хорошо» или «плохо», то есть быть представительной (репрезентативной) или непредставительной (нерепрезентативной). Представительностью принято называть характеристику, которая показывает то, насколько хорошо выборка, имеющаяся в распоряжении геолога, отражает реальные статистические характеристики изучаемого объекта. Представительность – бинарная характеристика: она либо есть, либо ее нет. Например, выборка бороздового опробования по одному горизонту крупного рудного тела, скорее всего, «плохо» характеризует генеральную совокупность содержаний данного тела. Выборка, отобранная из какого-то локального участка рудного тела, скорее всего, тоже будет непредставительной (даже если проб там «много»).

Непредставительные выборки

Напротив, данные опробования этого тела, отобранные по регулярной сети (вопрос о плотности сети, позволяющей получить представительную выборку, решается в каждом случае индивидуально), скорее всего, являются представительными для данного тела (но, скорее всего, непредставительными для всего месторождения). Поэтому при заявлении «эта выборка является представительной» неплохо бы уточнять, представительной для чего.

Представительные выборка

Гистограмма

В большинстве случае объем выборки таков, что ее невозможно всю «охватить взглядом». Однако желание понять, что из себя представляет тот массив данных, который есть в распоряжении, возникает сразу же после появления этого массива. И одним из наилучших способов получить это понимание является графический, поскольку подавляющее количество информации человек получает с помощью зрения. Просто просмотр числовых значений при большом объеме выборки мало что дает, поэтому хочется как-то «генерализовать» всю эту информацию. Для такой генерализации и визуального представления существует очень полезный вид диаграмм, называемый гистограммами. Гистограммы представляют собой столбчатый график, в котором по горизонтали отложены значения изучаемой величины, по вертикали – частота встречаемости значений, а все данные сгруппированы в то или иное количество классов содержаний равной величины и представлены, соответственно, столбцами. Равенство классов в данном случае означает равенство разброса содержаний (не количества наблюдений!) в каждом классе.

Гистограмма

Методика построения гистограммы проста и незамысловата:

– Определяем размах изучаемой величины.

– Решаем, на какое количество классов содержаний будем разбивать наши данные. Количество классов содержаний – это количество столбцов на создаваемой гистограмме (точнее, максимальное количество столбцов). Например, мы определили, что размах содержаний составляет 100 г/т – от 0 г/т до 100 г/т. Далее мы захотели разбить весь диапазон на 10 классов содержаний (о выборе количества классов содержаний чуть дальше). В этом случае границы классов будут следующими: от 0 до 10 г/т, от 10 до 20 г/т, от 20 до 30 г/т… от 90 до 100 г/т.

– Для каждого класса содержаний подсчитываем количество проб, попавших в класс. При подсчете обычно в класс включают нижнюю границу – т. е. содержание 10 г/т войдет в класс от 10 до 20 г/т, а не в класс от 0 до 10 г/т. Хотя возможна и обратная схема. Но в любом случае – схема включения граничных содержаний должна быть едина, и каждая проба должна быть учтена только в одном классе.

– На оси абсцисс (горизонтальной, если забыли) отмечаем границы классов, на оси ординат (вертикальной) размечаем масштаб. И для каждого класса содержаний строим прямоугольник, такой, что вертикальные стороны совпадают с границами классов, а высота равна количеству проб в данном классе с учетом выбранного масштаба. В итоге должно получиться что-то, похожее на диаграмму, приведенную выше (с учетом особенностей используемого распределения).

Можно вместо натуральных величин частоты (т. е. «штук») использовать долю проб в данном классе от общего количества проб – количество проб не всегда информативно. Характер гистограммы от этого не изменится, поменяется только вертикальный масштаб.

Гистограмма

Если длина проб резко различна, то имеет смысл использовать взвешивание – в этом случае на длину пробы. Случается, что визуально видимую минерализацию опробуют более детально – секциями меньшего размера, тогда как слабо проявленные околорудные изменения – более длинными пробами. Гистограмма, построенная по количеству проб, в этом случае неправильно отражает характер распределения содержаний, и вместо количества проб в каждом классе в этом случае лучше подсчитывать суммарную длину проб. То есть в данном случае имеет смысл выполнять взвешивание на длину. Сравните две гистограммы ниже. Они построены по одним и тем же данным. Но гистограмма слева построена без взвешивания на длину, а справа – со взвешиванием. Очевидно, характер гистограмм несколько различен.

Гистограмма без взвешивания (слева) и со взвешиванием на длину пробы (справа)

Взвешивание также имеет смысл выполнять при наличии участков, освещенных сетями разной плотности. В этом случае взвешивание должно выполняться на так называемый вес декластеризации (об этом чуть дальше).

Гистограмма – довольно удобный инструмент, который легко позволяет получить представление о характере распределения значений исследуемой величины по диапазону значений. По внешнему виду гистограммы можно судить о том, является ли выборка однородной или нет. Под однородностью понимается принадлежность всех значений изучаемой величины к одной и той же генеральной совокупности. Обычно однородные выборки одномодальные – т. е. на гистограммах таких выборок присутствует только один «горб». Наличие нескольких таких «горбов» может говорить о том, что в выборку попали значения, имеющие разную природу: например, пробы из стержневой жилы и зоны околорудных изменений или из минерализованных зон разных стадий рудообразования с разной продуктивностью. Или из первичных руд и из зоны окисления – причин может быть масса. Однако кроме естественных причин могут быть и причины технического характера.

Выше при объяснении механизма построения гистограммы было сказано, что диапазон значений разбивается на некоторое количество классов содержаний. Однако ничего не было сказано о том, как выбирается количество классов. Вопрос о количестве классов, на которые разбивать диапазон значений, не имеет однозначного ответа. «Классическим» вариантом разбивки на классы считается формула Стерджесса.

 
Количество классов ≈ 1 +3.22 * lg (N),
 

Здесь N – численность выборки, lg – десятичный логарифм.

Формула является эмпирической, т. е. ее единственное обоснование: «всегда так делали, и хорошо получалось».

Основной недостаток этой формулы – слишком малое количество классов, которое на больших выборках зачастую не позволяет увидеть важные особенности. Рост количества классов полностью объясняется особенностью поведения логарифма: сначала относительно быстрый рост, а затем замедление. На рисунке ниже можно увидеть зависимость между численностью выборки и количеством классов, определенных согласно этой формуле.

Выборку в 100 тыс. записей данное правило рекомендует разбить на 18 классов, в 200 тыс. – на 19, в 1 млн – только на 21. При построении гистограмм в соответствии с данной формулой можно увидеть только что-то очень явное, что чаще всего «и так понятно».

Зависимость между численностью выборки и количеством классов

Эта особенность применяемого правила, скорее всего, объясняется тем, что во времена создания «классической» статистики обычная численность выборки составляла несколько сотен замеров. В настоящее же время объемы выборок принципиально возросли и применение этой формулы может быть не вполне оправдано.

Обычно количество классов подбирается таким образом, чтобы на гистограмме были видны важные особенности, но при этом гистограмма продолжала бы быть похожей на гистограмму, а не на творение художника-абстракциониста или на картинку с одинокими столбцами, разделенными «белым безмолвием». Обычно количество классов не превышает 50 (для выборок объема в несколько десятков тысяч значений). При избыточном количестве классов на небольших выборках очень несложно обнаружить неоднородность, обусловленную исключительно разбиением на классы. На рисунке ниже представлена гистограмма, построенная для выборки в 1000 записей, представляющих собой сгенерированное однородное (нормальное) распределение со средним 20 и стандартным отклонением 5. N для данного рисунка – количество классов разбиения.

Гистограммы с различным количеством классов разбиения по выборке в 1000 записей

Можно видеть, что для выборки в 1000 значений при количестве классов, существенно превышающем правило Стерджесса, появляется ложная неоднородность (второй «горб») с границей в районе 28.

В то же время при достаточно большом количестве наблюдений получить искусственную неоднородность уже довольно сложно. На рисунке ниже показана аналогичная выборка, но с числом наблюдений 10000. То есть для выборки в 10000 наблюдений даже при десятикратном превышении правила Стерджесса явной неоднородности не отмечается. Нижняя граница численности выборки, после которой можно не очень опасаться искусственной неоднородности, вероятно, находится на уровне 4—5 тыс. наблюдений (в принципе, не очень большая редкость для геологии). При меньшем количестве классов, вероятно, не стоит кратно превышать те цифры, которые дает правило Стерджесса.

Гистограммы с различным количеством классов разбиения по выборке в 10000 записей

Среднее арифметическое

Генеральная совокупность в подавляющем большинстве случаев недостижима. Вы в своей работе будете всегда иметь дело с выборкой. У выборки, как и у генеральной совокупности, есть свои характеристики. В том случае, если выборка очень небольшая – например, 5-7-10 значений, вы можете видеть ее всю целиком, и никаких дополнительных характеристик выборки вам не нужно. Однако традиционно в геологии (и моделировании) вы будете иметь дело с выборками объемом в десятки, сотни и тысячи значений. Впрочем, и выборки в миллионы значений также не являются сугубо экзотичными. Поскольку физически невозможно держать эту выборку «в поле зрения», возникает необходимость каким-либо образом охарактеризовать ее относительно небольшим количеством величин, позволяющими получить представление о выборке без просмотра ее целиком.

Первое, что логично напрашивается – это минимальное и максимальное значения, а также размах. Если с минимумом и максимумом все понятно, то размах – это разница между максимумом и минимумом. То есть размах – это диапазон значений, полученных для данной выборки.

Следующая характеристика выборки – это выборочное среднее. Зачастую слово «выборочное» опускают и говорят просто о «среднем». Вообще говоря, существует довольно большое количество средних, однако чаще всего при упоминании «среднего» имеют в виду среднее арифметическое. Среднее (арифметическое) – это величина, которая рассчитывается по формуле, хорошо знакомой еще из школьного курса.

Формула расчета среднего

Например, среднее из 4, 10 и 19 равняется 11. То есть среднее – величина, промежуточная для реальных значений. Если рассматривать числа как точки на числовой прямой, то среднее – это точка «посередине» точек, соответствующих выборочным данным.

Среднее обладает некоторыми свойствами, также позволяющими лучше понять его смысл:

– если средней величиной заменить все значения выборки, то сумма значений выборки не изменится;

– если среднее значение вычесть из каждого значения выборки, то сумма этих разностей будет равна 0.

Необходимо отметить, что среднее (арифметическое) дает неплохое представление о выборке «симметричной», т. е. такой, в которой высоких и низких значений «примерно поровну». В том же случае, когда явно преобладают высокие или низкие значения, среднее дает смещенную оценку. Также на оценку среднего серьезное влияние оказывают значения, резко выделяющиеся из общей массы (причем неважно – в большую или меньшую сторону). В качестве примера можно рассмотреть коллектив небольшой организации, в которой 20 человек получают по 30 т. р., а генеральный директор – 2 млн. р. Очевидно, что среднее, равное для описанного случая, ~695 т. р., вряд ли корректно отражает ситуацию с уровнем доходов сотрудников организации – причем это справедливо как в отношении рядовых сотрудников, так и в отношении директора. Ну или можно рассмотреть известную шутку о том, что все посетители бара, куда заходит Билл Гейтс, мгновенно в среднем становятся миллионерами (правда, счастье длится ровно до того момента, пока этот уважаемый человек не покинет бар). Вопрос о методах выявления и компенсации аномальных значений в выборке – не самый простой и будет относительно подробно рассмотрен в главе, посвященной урезке ураганных содержаний.

Кроме фактора симметричности и наличия/отсутствия аномальных значений, на оценку среднего может повлиять и разница в других свойствах предметов (явлений), которые приводят к смещению оценки среднего. Одним из подобных факторов является свойство, которое принято называть весом.

Представим себе ситуацию смешивания двух объемов руды: одна смешиваемая руда характеризуется содержанием золота (почему бы и не золота?) 5 г/т, вторая – 10 г/т. Обычное среднее арифметическое, очевидно, в данном случае составит 7.5 г/т. То есть, если мы очень хорошо перемешаем рудный материал, то ожидаем увидеть в получившейся смеси эти самые 7.5 г/т. Но что будет, если масса «пятиграммовой» руды составит 10 т, а «десятиграммовой» – 1 т? Очевидно, что в результате смешивания мы получим 11 т руды. При этом из первой порции «придет» 50 г драгоценного металла, а из второй – 10 г. То есть в смеси всего будет содержаться 60 г. И среднее в этом случае составит 60/11 ≈ 5.45 г/т. Очевидно, цифра несколько отличается от ранее полученных 7.5 г/т (что, безусловно, обидно, зато позволило не впасть в ошибку при ожидании).

Учет подобных факторов при вычислении среднего называется взвешиванием, а среднее – средневзвешенным. Взвешивание используется при вычислении характеристик выборки довольно широко. Например, при композитировании данных опробования вдоль по скважинам (в этом случае используется взвешивание на длину проб). Или вычислении среднего по резко неравномерной сети (выполняется взвешивание на вес декластеризации). Вопросы способов вычисления весов рассматриваются в главах, посвященных декластеризации и композированию (впрочем, второе, по сути, является частным случаем первого).

Процентиль, медиана и мода

Кроме вычисления среднего с помощью указанных выше приемов, существуют другие способы краткой характеристики выборки, которые также дают представление о том, с чем имеет дело геолог. И следующие величины, которые мы рассмотрим, процентили или перцентили.

Процентиль – это характеристика выборки, представляющая собой значение, ниже которого находится заданная доля значений в данной выборке. То есть, если говорят, что для какой-то выборки 20% процентиль равен, предположим, 3.2, то это означает, что 20% значений этой выборки не превосходят значение 3.2.

В ряде руководств процентиль определяется как вероятность того, что наугад взятое значение, принадлежащее выборке, не превзойдет значения процентиль. В принципе, эти два определения описывают одну и ту же величину, только немного с разных позиций.

Существует довольно большое количество способов для расчета процентилей. Неплохой обзор способов их расчета приведен в англоязычной версии «Википедии⁴» (причем, что печально, русская версия этой статьи отличается избыточной лаконичностью). Если вы испытываете неприязнь к «Википедии» как к источнику информации, в упомянутой статье содержатся ссылки на первоисточники – можно почитать непосредственно научные статьи.

Маловероятно, что вам потребуется вручную считать процентили, поскольку формулы для их расчета заложены практически во все ПО, имеющее отношение к обработке данных – от Google Sheets до статистических пакетов (естественно, и в пакетах для геологического моделирования эти возможности тоже есть). Просто необходимо помнить, что существуют разные методы их расчета, и процентили, рассчитанные в одном ПО, могут незначительно отличаться от тех же процентилей, рассчитанных в другом ПО. В подавляющем количестве случаев эти различия не оказывают какого-либо влияния на финальный результат обработки данных, поэтому пугаться несовпадения цифр не стоит.

Наиболее часто используемые процентили – это 25%, 50% и 75% процентили. Процентили 25 и 75 называются квартилями – первым и третьим, соответственно. Первый квартиль (т. е. 25 процентиль) отсекает четверть выборки «снизу», т. е. 25% наименьших значений. Третий квартиль (75 процентиль) отсекает четверть выборки «сверху» – т. е. 25% наибольших значений в данной выборке. Процентиль 50% называется медианой и делит выборку на две равные части по количеству наблюдений или весу. Также достаточно часто рассчитываются процентили с шагом 10%: 10%, 20%, 30% и т. д. Такие процентили называют децилями.

Медиана делит распределение пополам, квартили – на четверти, квинтили – на 5 частей, децили – на 10 частей, процентили – на 100 частей.

Разность между первым и третьим квартилями называется межквартильным размахом. Это довольно важная характеристика выборки. Она показывает размах значений половины членов выборки. На величине межквартильного размаха построены некоторые способы ограничения аномальных значений. Также межквартильный размах используется в построении диаграммы, называемой «ящик с усами» (собственно, квартили там являются границами ящика).

Квартили и медиана

Здесь первый квартиль Q1 – число, отделяющее первую четверть выборки: 25% значений меньше, а 75% – больше него. Медиана – половина значений больше и половина меньше нее. Третий квартиль Q3 – это отсечка трех четвертей: 75% значений меньше и 25% значений больше него. Межквартильный размах – это расстояние между Q1 и Q3. Или, по-другому, межквартильный размах – это размах половины данных. Причем данных «из центра» распределения.

Медиана является одной из характеристик выборки. Положительное свойство медианы заключается в том, что на нее не оказывает влияние наличие в выборке аномальных значений. Например, в упомянутых примерах с избыточно меркантильным директором небольшого предприятия медиана будет равна тем самым 30 т. р., которые получают не менее 50% сотрудников описанной организации. И даже если директор начнет получать 4 млн р. (не изменив при этом зарплату остальному коллективу), медиана не сдвинется ни на копейку.

Для процентилей, как и для среднего, доступно взвешивание. В этом случае процентиль будет представлять собой величину, ниже которой находится часть выборки, содержащая заданную долю суммы весов. Если, например, речь идет о рудной выборке и взвешивании на длину пробы, то наглядно, например, первый квартиль можно представить себе как границу четверти суммарной длины проб с наименьшими содержаниями.

Еще одной характеристикой, позволяющей получить представление о выборке, является мода. Эта характеристика называется так совершенно заслуженно: мода – это наиболее часто встречаемое значение (т. е. наиболее «модное»). Мода так же, как и медиана, может служить характеристикой среднего, но чаще используется для характеристики выборки, представленной нечисловыми значениями (например, литологической характеристики). Выборка может содержать более одной моды. В этом случае говорят, что выборка полимодальная (мультимодальная).

Одномодальное и полимодальное распределение на гистограмме

Например в выборке 2, 2, 3, 4, 5, 6, 7, 7 модами будут значения 2 и 7. Значение 2 будет называться нижней модой, значение 7 верхней модой. Если два соседних значения встречаются одинаково часто, то мода считается как среднее арифметическое между ними. Например в выборке 2, 3, 3, 4, 4, 5, 6 модой будет значение 3.5 (три целых пять десятых) поскольку 3 и 4 находятся рядом и встречаются одинаково часто. На гистограмме значениям моды соответствует вершина графика (при одномодальном распределении) или несколько вершин графика (при полимодальном распределении).