Точность Кардиопилота по заключениям врачей

Систему проверили на 27 213 кардиограммах из Германии, Китая и США — тех, на которых нейросети не обучались. Для каждой находки два простых числа: сколько случаев система замечает и насколько можно верить её сигналу.

27 213ЭКГ с заключениями врачей в проверке
92из 100записей с патологией система не пропускает как норму
92из 100сигналов о фибрилляции предсердий подтверждаются на чужой базе
3схемы12, 6 и 6 + 1 отведений
Главное

Что система находит

Находит — из 100 записей, где врач отметил находку, система отметила её столько раз. Не пугает напрасно — из 100 раз, когда система подняла флаг, врач был с ней согласен столько раз.

Фибрилляция предсердий

хорошая точность
Находит
83,8%
Не пугает напрасно
92,4%

Из 100 записей с этой находкой замечает 84. Из 100 её сигналов подтверждаются 92. Проверка: 6 877 ЭКГ из Китая, которых не было в обучении, из них с этой находкой — 1 221.

Синусовая брадикардия

высокая точность
Находит
99,5%
Не пугает напрасно
97,8%

Из 100 записей с этой находкой замечает 99. Из 100 её сигналов подтверждаются 98. Проверка: 3 980 ЭКГ из Китая, из них с этой находкой — 1 561.

Синусовая тахикардия

высокая точность
Находит
97,9%
Не пугает напрасно
94,4%

Из 100 записей с этой находкой замечает 98. Из 100 её сигналов подтверждаются 94. Проверка: 3 980 ЭКГ из Китая, из них с этой находкой — 622.

Синусовая аритмия

высокая точность
Находит
86,3%
Не пугает напрасно
86,8%

Из 100 записей с этой находкой замечает 86. Из 100 её сигналов подтверждаются 87. Проверка: 3 980 ЭКГ из Китая, из них с этой находкой — 205.

Желудочковая экстрасистолия

хорошая точность
Находит
84,3%
Не пугает напрасно
98,6%

Из 100 записей с этой находкой замечает 84. Из 100 её сигналов подтверждаются 99. Проверка: 1 859 ЭКГ из Китая, из них с этой находкой — 83.

Предсердная экстрасистолия

высокая точность
Находит
88,4%
Не пугает напрасно
86,4%

Из 100 записей с этой находкой замечает 88. Из 100 её сигналов подтверждаются 86. Проверка: 1 859 ЭКГ из Китая, из них с этой находкой — 43.

АВ-блокада 1 степени

дополняет врача
Находит
69,3%
Не пугает напрасно
84,7%

Из 100 записей с этой находкой замечает 69. Из 100 её сигналов подтверждаются 85. Проверка: 6 877 ЭКГ из Китая, которых не было в обучении, из них с этой находкой — 720.

Блокада левой ножки пучка Гиса

хорошая точность
Находит
93,9%
Не пугает напрасно
83,8%

Из 100 записей с этой находкой замечает 94. Из 100 её сигналов подтверждаются 84. Проверка: 1 150 ЭКГ из Германии, из них с этой находкой — 33.

Блокада правой ножки пучка Гиса

хорошая точность
Находит
78,0%
Не пугает напрасно
83,9%

Из 100 записей с этой находкой замечает 78. Из 100 её сигналов подтверждаются 84. Проверка: 1 150 ЭКГ из Германии, из них с этой находкой — 100.

Передний инфаркт миокарда

хорошая точность
Находит
70,7%
Не пугает напрасно
86,1%

Из 100 записей с этой находкой замечает 71. Из 100 её сигналов подтверждаются 86. Проверка: 1 150 ЭКГ из Германии, из них с этой находкой — 140.

Электрокардиостимулятор

высокая точность
Находит
85,7%
Не пугает напрасно
100,0%

Из 100 записей с этой находкой замечает 86. Из 100 её сигналов подтверждаются 100. Проверка: 1 150 ЭКГ из Германии, из них с этой находкой — 14.

Безопасность

Больного не пропускают как здорового

92из 100записей с патологией получают жёлтый или красный цвет
74–82из 100здоровых получают зелёный — без лишней тревоги
9,7 → 6,9%пропусков стало меньше почти на треть благодаря второму мнению

Светофор — первое, что видит врач: красный — срочно, жёлтый — нужна проверка, зелёный — норма. Вторая, независимая модель перепроверяет каждую «норму» и переводит её в жёлтый, если что-то видит. Понизить срочность она не может.

Три схемы записи

12, 6 и 6 + 1 отведений

12 отведений

Обычный кардиограф: все 29 диагнозов. Передний инфаркт находит 71 раз из 100, и 86 из 100 сигналов подтверждаются.

6 отведений

Электроды на руках и ноге. Ритм виден не хуже, чем на 12: фибрилляцию предсердий находит 94 раз из 100, полную блокаду ножки — 97.

6 + 1 грудное

Один грудной электрод возвращает передний инфаркт: без него система находит его 28 раз из 100, с ним — 65. Где стоит электрод, система определяет сама. Подробнее →

Мировой эталон

На официальной задаче базы PTB-XL по нарушениям ритма — одной из главных открытых баз ЭКГ в мире — показатель Кардиопилота 0,958, лучшая опубликованная модель — 0,957 (чем ближе к 1, тем лучше).

Дети

Отдельно проверены 314 записей пациентов младше 18 лет: ритм система определяет уверенно — тахикардию находит в 90 случаях из 100, брадикардию — в 94.

Откуда цифры

Пять открытых баз с заключениями врачей: PTB-XL (Германия), SPH и Chapman–Ningbo (Китай), CPSC 2018 (Китай, в обучении не участвовала) и Georgia (США). Пациенты поделены на две половины: на одной подбирались пороги, а числа на сайте — со второй, которую подбор не видел. Проверка шла на отдельном стенде на той же сборке, что работает на сайте. Проверьте систему и на своих записях — в пилоте.

Инструмент поддержки врачебного решения. Кардиопилот помогает врачу и не заменяет его осмотр: окончательное заключение делает врач.

Точность проверена на 27 213 ЭКГ с заключениями врачей из Германии, Китая и США.