Школа прикладной аналитики: аналитическая гибкость

Понкин Игорь Владиславович – доктор юридических наук, профессор кафедры государственного и муниципального управления Института государственной службы и управления РАНХиГС при Президенте РФ, профессор; Консорциум «Аналитика. Право. Цифра».

Нам нужно гибкое разведывательное сообщество, способное оперативно реагировать на постоянно меняющуюся среду угроз и стремительные темпы современных технологических изменений. Доклад Комиссии по возможностям разведки США в отношении оружия массового уничтожения Президенту США [1, с. 5].

Профессиональная компетентность развед-аналитиков заключается в нашей способности быстро адаптироваться к различным вопросам и проблемам и эффективно их анализировать. Дуглас Макичин, Предисловие к книге Ричардса Хойера-мл. «Психология развед-аналитики» [2, с. xi].

Для разведывательной службы не годится застывшая структура, как для других учреждений. Разведка должна быстро приспосабливаться к новой ситуации и в организационном, и в кадровом отношении. Хайнц Фельфе, «Мемуары разведчика» [3, с. 30].

Аналитическая гибкость (франц. – «flexibilité analytique»; англ. – «analytical flexibility») является важнейшим навыком и важнейшей способностью практика-аналитика.

Аналитик нередко сталкивается с ситуацией «гибкого состояния» (англ. – «soft state»), когда данные пребывают в состоянии постоянного изменения, вследствие чего полученный ответ на запрос вовсе не гарантирует соответствия предоставляемых сведений действительности [4, с. 210].

И в этой ситуации без навыков, способностей и мастерства гибкости мышления (когнитивной гибкости, пластичности) практику-аналитику не обойтись, пусть, даже и ценой некоторых издержек.

Кроме того, в условиях быстрых изменений практик-аналитик должен быть готов пересматривать (в пределах разумного) какие-то устоявшиеся у него привычки, подходы, понимания в прикладной аналитике. Как писал Ричардс Хойер-мл., «застывание категорий» (англ. – «hardening of the categories») – «распространённый вид аналитической слабости» [2, с. 28], и даже когнитивного дефицита. По Эстанислао Бахраху, лишённость мышления гибкости становится причиной неудач [5].

Гибкость мышления практика-аналитика очень важна в установлении и поддержании коммуникаций в процессе прикладных аналитических работ. Неслучайно Стендаль (Мари-Анри Бейль) писал, что «гибкость ума может восполнить красоту».

Согласно Е.В. Валиуллиной, гибкость мышления (наряду с беглостью мышления) определяет «такое качественное свойство мышления, как активность, под которой понимается особый вид деятельности, заключающийся в интенсификации основных процессов», «является одной из основных характеристик мышления и позволяет использовать креативный подход в решении возникающих задач, с лёгкостью менять сложившиеся стереотипы и преодолевать ригидность установок» [6, с. 100].

Считается, что более гибкая рабочая среда с использованием адаптируемых шаблонов для создания высококачественного аналитического продукта и наборов дополнительных опциональных аналитических инструментов («заточенных» на обеспечение гибкости в аналитике) обеспечивает практику-аналитику более высокое качество аналитических выкладок и результатов [7, с. 15].

Аналитическая гибкость определённым образом может быть связана со скоростью (оперативностью) прикладных аналитических работ, но этот параметр не является определяющим.

Гибкость в прикладной аналитике презюмирует адаптируемость (адаптированность), приспособляемость (приспособленность) профессионального аналитического мышления практика-аналитика к различным ситуациям, прежде всего – сложным нетипичным, в разных предметно-объектных областях и в разных сферах аналитической работы.

Аналитическая гибкость – обусловленные профессионализмом и опытом (а также иногда – талантами и природной интуицией) практика-аналитика его навыки, способности и мастерство знающе-уверенно (на достаточно высоком профессиональном уровне) и в разумные сроки:

– корригировать и перенастраивать (не более чем с минимально допустимой, предельно минимизированной потерей качеств) свои аналитические стратегии и тактики (в том числе проектируемые трассировки аналитических исследований) и планы проведения аналитических работ, корригировать и перенастраивать линейки задействуемых методов и инструментариев – соответственно изменяемым (в том числе динамически трансформируемым) целям и задачам проведения аналитических работ, их фактическим условиям, ресурсному обеспечению и хронологическому фреймированию, а также соответственно изменяемым требованиям к вырабатываемому прикладному аналитическому продукту;

– отходить от некоторых стандартов и шаблонов (делающих процесс прикладных аналитических работ более ригидным и препятствующих в конкретном случае достижению аналитических целей и решению аналитических задач) с итеративным задействованием линеек вариативных методов и инструментариев «более тонкой» настройки и перенастройки, целевым образом разработанных, протестированных и внедрённых, либо отобранных (из числа типизированных) и адаптированных (перенастроенных) под данный конкретный комплекс аналитических работ;

– релевантно и эффективно переключаться (адаптивно перестраиваться) между уровнями масштабирования или иерархии (в том числе с текущего аналитического уровня на мета-уровень и обратно), между выполнением разных аналитических задач, между разными этапами прикладного аналитического процесса, между различными подходами (переключаясь со стандартизированных на нестандартные и обратно), между разными аспектами исследуемой проблемы или между разными проблемами, между диапазонами, между альтернативами;

– адекватно или адаптируемо экстраполировать навыки и способности на разные (малознакомые или ранее не знакомые) ситуации, переключаться (адаптивно перестраиваться) на относительно новые и нетипичные для себя участки работы;

– различать тонкие аспекты в разных категориях, оперировать амбивалентностями;

– переключаться (адаптивно перестраиваться) между позициями на линейке образов-амплуа (и соответствующими функционалами) практика-аналитика, сочетать их, хотя бы между несколькими из таковых (аналитик-поисковик, аналитик-дескриптор, аналитик-системщик (системный аналитик, аналитик-интегратор), аналитик-прогнозист (предиктивный аналитик), аналитик-«концептуальный мыслитель», аналитик-критик, аналитик-прескриптор, аналитик-криптограф, IT-аналитик, web-аналитик, аналитик-тестировщик и оценщик, аналитик-архивариус, аналитик-диагност («девиантолог», «дефектолог»), аналитик-стратег (в том числе специалист по контриграм), аналитик-статистик, вычислитель, аналитик-архитектор решений и алгоритмизатор, аналитик-«траблшутер» («решатель нерешаемых проблем»), аналитик-визуализатор, аналитик-проектировщик-разработчик, аналитик-мультилингвист и др. [8, с. 118–120]);

– релевантно заимствовать, адаптируемо приспосабливать исследовательские методы и инструментарии из других сфер прикладной аналитики или науки.

Аналитическая гибкость – это не про фальсификации и не про профанации в прикладных аналитических работах.

Однако невозможно обойти стороной проблему того, что аналитическая гибкость, неверно понимаемая и / или недобросовестно применяемая, может повлечь неприемлемые дефекты прикладной аналитики, внести существенные искажения в аналитический процесс, в представление аналитических отчётности и результатов, в интерпретацию данных и результатов, повлечь их фальсифицирующие подгонки. Особенно, когда речь идёт о непрозрачности процедур и отчётностей.

К числу существенных причин (источников) дефектов прикладной аналитики относимы распространённые когнитивные искажения и связанные с ними сомнительные исследовательские подходы (англ. – «questionable research practices», QRP), в числе которых – следующие, связанные с дефектной гибкостью (в части её искажения) в прикладной аналитике:

– представление неожиданных результатов как будто они были предсказаны, с подвёрстыванием под это «задним числом» гипотез после того, как результаты станут известны, ложно выдавая гипотезу post hoc за априорную гипотезу, иначе – «харкинг» (англ. – «HARKing» или полностью «hypothesizing after the results are known»; этот термин (и в аббревиатуре) был введён в научный оборот Норбертом Керром, в его интерпретации: «представление гипотезы post hoc (т.е. основанной на результатах или проинформированной ими) в отчёте об исследовании, как если бы это была априорная гипотеза» [9; 10]);

– недобросовестное и неосновательное использование аналитической гибкости для взлома данных (англ. – «data dredging» «data snooping», «p-hacking»), то есть дефектное применение аналитических инструментариев для предвзятого поиска и отбора закономерностей в данных, которые можно представить как статистически значимые, в частности проводя множества статистических тестов на данных и сообщая только о тех из них, которые дают значимые результаты, тем самым искусственно значительно увеличивая или, напротив, занижая вероятности ложно-положительных результатов [11];

– апофения (англ. – «apophenia», склонность надуманно видеть закономерности в случайных и не связанных данных), включая предвзятость подтверждения (тенденция сосредотачиваться на доказательствах, которые согласуются с чьими-то убеждениями), приводящую к определённому предвзятому аналитическому выбору и выборочному представлению «пригодных для публикации» результатов, и предвзятость ретроспективного взгляда (тенденция рассматривать прошлые события как предсказуемые), приводящую к харкингу, чтобы наблюдаемые результаты казались бы более убедительными [12].

Эти проблемы следует учитывать в организации и контроле хода прикладных аналитических работ, в их оценивании.

По Дугласу Макичину, вполне возможно «научить людей искать и распознавать ментальные препятствия, а также разрабатывать процедуры, направленные на их преодоление» [2, с. xi]

Литература, ссылки

1. Robb C.S., Silberman L.H., Levin R.C., et al. The Commission on the Intelligence Capabilities of the United States regarding Weapons of Mass Destruction: Report to the President of the United States [Комиссия по возможностям разведки США в отношении оружия массового уничтожения: Доклад Президенту США]. – Washington (D.C., USA): Government Printing Office, 2005. – xi; 601 p.

2.  Heuer, jr. R.J. The Psychology of Intelligence Analysis [Психология развед-аналитики] / Foreword by Douglas MacEachin. – Washington (DC, USA): CIA Center for the Study of Intelligence, 1999. – xxv; 184 p.

3. Фельфе Х. Мемуары разведчика. – М.: Политиздат, 1988. – 320 с.

4. DAMA-DMBOK: Свод знаний по управлению данными. Второе издание / DAMA International: Пер. с англ. Г. Агафонова. – М.: Олимп–Бизнес, 2020. – 828 с.

5. Бахрах Э. Гибкий ум: Как видеть вещи иначе и думать нестандартно. – М.: Манн, Иванов и Фербер, 2017.

6. Валиуллина Е.В. Зависимость понятийного мышления от качественных характеристик его активности // Вестник Кемеровского государственного университета. – 2018. – № 2. – С. 99–103.

7. Stromer—Galley J., Rossini P., Kenski K., McKernan B., Clegg B., Folkestad J. Flexible versus structured support for reasoning: enhancing analytical reasoning through a flexible analytic technique [Гибкая и структурированная поддержка рассуждений: улучшение аналитических рассуждений с помощью гибких аналитических технологий] // Intelligence and National Security. – 2021. – Vol. 36. – № 2. – P. 1–20.

8. Понкин И.В., Лаптева А.И. Методология научных исследований и прикладной аналитики: Учебник. Изд. 3-е, дополн. и перераб. / Консорциум «Аналитика. Право. Цифра». – М.: Буки Веди, 2022. – 754 с. <https://moscou-ecole.ru/2022/03/31/methodology_research_analytics_3_ed/>.

9. Kerr N.L. HARKing: Hypothesizing after the results are known [HARKing: выдвижение гипотез после того, как результаты известны] // Personality and Social Psychology Review. – 1998. – Vol. 2. – № 3. – P. 196–217.

10. Lishner D.A. HARKing: Conceptualizations, harms, and two fundamental remedies [Харкинг: концептуализации, вред и две основных панацеи] // Journal of Theoretical and Philosophical Psychology. – 2021. – Vol. 41. – № 4. – P. 248–263.

11. Smith G.D., Ebrahim S. Data dredging, bias, or confounding [Взлом данных, предвзятость или спутанность] // British Medical Journa. – 2002. – Vol. 325. – P. 1437–1438.

12. Baldwin J.R., Pingault J.-B., Schoeler T., Sallis H.M., Munafò M.R. Protecting against researcher bias in secondary data analysis: challenges and potential solutions [Защита от предвзятости исследователя при анализе вторичных данных: проблемы и возможные решения] // European Journal of Epidemiology. – 2022. – Vol. 37. – P. 1–10.