У попередніх матеріалах я розповідав, як скорочення панелі до тисячі домогосподарств теоретично має вплинути на можливість використовувати й аналізувати дані вимірювань, а також яке походження цієї тисячі, як ці домогосподарства потрапили до обраного списку і як вони можуть впливати на розрізнення того, що вимірює телевізійна панель, і того, що насправді дивляться українці. Навіть якщо дослідження матиме ідеальний дизайн, який репрезентативно відтворюватиме генеральну сукупність, є ризики, що будуть «неякісні» учасники дослідження, яких можна відібрати чи залишити системно, а не випадково.

У випадку скорочення дослідження спокуса невипадкового добору є великою. Коли сім’я вперше потрапляє до дослідження, дослідники й користувачі даних нічого не знають про її телевізійні вподобання: скільки дивиться, яким каналам надає перевагу тощо. Сім’я потрапляє до панелі лише на основі своїх демографічних параметрів без урахування глядацької поведінки. Далі дослідники мають змогу спостерігати за поведінкою сім’ї, сегментувати її й розуміти, яким каналам чи програмам члени цієї сім’ї надають перевагу. Тому якщо при скороченні не забезпечити чіткого і зрозумілого механізму відбору й виключення сімей із дослідження, завжди залишатиметься підозра, що їх добирали упереджено. Наприклад, відданих глядачів якогось каналу залишили, а шанувальників якогось іншого — викинули. Сподіваюся, що під час оновлення панелі на 2023 рік замовники й підрядники застосували прозорий і дієвий механізм, за яким в одних сімей забирали прилади, а іншим їх залишали.

Чому взагалі я так багато говорю про вимірювання телевізійної аудиторії — крім того, що багато років цим цікавлюся, переймаюся й займаюся? Поширена думка, що вимірювання потрібні, бо їхні результати — валюта для розподілу грошей рекламного ринку. Насправді, на мою думку, — не лише: телепанель — це набагато більше, ніж цифровий вимірюваний спосіб розподілу грошей між каналами і збирання цих грошей із рекламодавців.  Якби це було так, не було б сенсу боротися за якість панелі: навіть геть «кривенька» панель виконувала б це завдання на всі сто. Навіть панель, у якій дані генерувалися б випадково. Рекламодавці реагували б на якість вимірювання цінами на розміщення: реклама не працює так, як показують цифри вимірювання, — ціна падає, працює і діє — ціна росте. Це спрощення, але я маю на увазі, що розподіл грошей — не проблема.

Ще часто можна чути, що канали платять за вимірювання і самі визначають, як і що вимірювати, бо хто платить, той і замовляє музику. В такому разі можна було б зупинитися на вимірюванні показників реклами, а решту — частку каналів, обсяги телеперегляду й багато іншого — ігнорувати. Та насправді є друга важлива складова телевізійного вимірювання, яка впливає на суспільство. Бо на основі даних вимірювання більшість каналів і виробників контенту формує багаторічну стратегію своєї роботи: що виробляти, що показувати, як показувати. І саме цей інструмент визначає успішність нових ідей.

Отже, якщо вимірювання не відображає реальних уподобань українців, то телебачення показуватиме ті програми, на які немає реального запиту в суспільстві. Нові проєкти можуть мати хороші цифри, але насправді не бути потрібними глядачам; однак люди призвичаюються до них, смаки глядачів змінюються під впливом того, що вони — часто вимушено — споживають. Контент, який від початку не відповідав на запити глядачів, починає впливати на суспільство, а той, який міг би позитивно вплинути на суспільство, зникає, бо його визнають нерейтинговим.

Знов-таки, це дуже спрощена модель, але вона пояснює, чому до телевимірювань так багато уваги. Будувати панель тільки для продажу реклами — це неправильно: панель має більше функцій, і потрібно докласти зусиль, щоб вона реально відображала поведінку глядачів.

Цього можна досягти, подбавши про адекватний дизайн і контролюючи якість учасників дослідження. Дизайн — це матриця, яка визначає, за якими параметрами треба контролювати набір учасників панелі. Зараз це розмір родини, регіон, де вона мешкає, розмір міста чи села, де вона мешкає, кількість телевізорів у помешканні, тип телевізійного прийому тощо. Адекватний дизайн забезпечується, по-перше, регулярними і методологічно вивіреними установчими дослідженнями, по-друге, постійною і протокольною (а не ручною) ротацією панелістів. Для цього потрібне розширення стейкхолдерів дослідження і збільшення його фінансування.

На цьому графіку можна побачити, що за три роки до 2022 року кількість сімей у вибірці дослідження, які мешкали в містах із населенням 50 тисяч і більше, коливалася. За чотири місяці 2020 року процес відновлення призупинився через відомі зовнішні фактори: сім’ї з дослідження вибували, а нові на їхнє місце  не приходили. А ось дванадцятий місяць 2021 року:

Між груднем і листопадом 2021 року кількість сімей, які брали участь у дослідженні, стрімко обвалилася. З панелі виключили понад 250 сімей, і повної заміни їм не знайшлося. Такі зміни суттєво впливають на якість учасників дослідження. Якби це було випадкове скорочення за певним принципом, це мало б один ефект. Але якщо це скорочення було зумовлене системним чинником, є величезні ризики того, що відтоді панель у частині 50 тисяч+ перестала відповідати принципам дизайну дослідження. Бо корекція чи одностороння ротація відбулась не за рахунок зміни контрольних параметрів, а через сторонній неконтрольований вплив; адже не зникли 11% людей із генеральної сукупності. Якщо це було бажання зменшити обсяг панелі, то час для цього обрали дивний. Дивно також, що багатьох панелістів вилучали різко: 

На перший погляд, це можна вважати питанням внутрішньої кухні вимірювача: ну, скоротили собі трохи панель, нічого страшного. Але важлива якість скорочення і те, що було далі. Відновлення йшло мляво — нових сімей до панелі набирали мало, бо був кінець року, зимові свята і таке інше. А в лютому 2022 року оновлення панелі припинилося через велику війну. У 2022 році панель тільки скорочувалася, нових людей не добирали. Отже, ті події кінця 2021 року мають величезний вплив на тисячу домогосподарств, обрану зараз для оновленої панелі.

Як проаналізувати якість тих, кого виключили з вимірювання в листопаді-грудні 2021 року? Технічно треба виділити тих, хто був до 9 листопада, але з 1 січня 2022 року більше ніколи не з’являвся в даних. Це й будуть домогосподарства, які вилучили з вимірювання. У таблиці нижче видно, скільки рейтингів або сумарного часу перегляду ця група вкладала у показники каналів. Якщо, для прикладу, канал надивилися тисячу годин, а група обраних людей — триста годин, то внесок цієї групи — 30%. Це не показник частки каналу в цій групі, а радше показник важливості цієї групи для певного каналу. Що більший показник, то важливішою була ця група для каналу. Звісно, ми можемо дивитися лише на ретроспективну поведінку цієї групи, бо з моменту виключення цих людей їхня глядацька поведінка не вимірюється. Ось результати за січень — жовтень 2021 року:

Деяких каналів із цього списку вже не існує. 21,5% — внесок цієї групи в загальний телеперегляд. Сам по собі цей показник не інформативний, бо залежить від розміру групи, яку виключили. Що більше людей виключили, то більшим є їхній внесок у телеперегляд. Але для нас це важливий відсоток, аби зафіксувати норму внеску цієї групи. Якщо група була відібрана випадково, то для більшості каналів — окрім тих, що мають геть мізерні показники, — внесок групи, яку виключили, був би близьким до внеску в загальний телеперегляд. Але бачимо, що це не так. Є канали, які втратили майже на 30% більше лояльних телеглядачів, а є такі, яких виключення цієї групи торкнулось найменше.

Бачимо, що навіть за умови витриманого дизайну та достатньої кількості сімей для участі в дослідженні важливою є також їхня якість. Тому що тисяча сімей, яка залишилась і стала основою оновленої панелі, зазнала не одного, а двох системних впливів: перший — це аномальне скорочення в кінці 2021 року, яке має наслідки й зараз через зміну структури лояльних глядачів; другий — події 2022 року, коли залишилися невипадково дібрані панелісти. Крім того, як я вже писав, значна частина людей, обраних до тисячі, має давню історію участі в дослідженні; це значить, що вони могли зазнавати й інших впливів.

Єдиний спосіб реального оновлення — це повна ротація із застосуванням випадкового методу відбору. Адже хоч яким крутим є дизайн дослідження «на папері», і хоч якими є результати установчого дослідження, до них уже зараз багато питань. У наступному матеріалі я пройдуся по цих запитаннях. Можливо, вдасться з’ясувати щось у Київському міжнародному інституті соціології, якщо умови контракту не забороняють їм коментарі, про якість панелістів. Бо є різниця між морквою і гнилою морквою, навіть якщо і та, й інша є помаранчевою і важить тисячу грамів.

Фото: RatmaDefakto / Flickr