[PRNewswire] Babylon AI, 글로벌 헬스케어 부문 최초로 의사와 동등한 정확도 달성

-- 런던 기반의 의학 AI 기업 Babylon, Royal College of Physicians, Stanford Primary Care 및 Yale New Haven Health 등과 대서양을 넘나드는 협력을 함으로써 상당한 돌파구 마련

(런던 2018년 6월 27일 PRNewswire=연합뉴스) Babylon Health가 런던 Royal College of Physician에서 라이브 스트리밍된 발표 중에 세계 최초의 소식을 오늘 밤 발표했다. 일련의 엄격한 테스트(MRCGP 시험의 관련 섹션 포함)에서 Babylon Health의 AI가 개업 중인 임상의들과 동등한 건강 자문을 제공하는 능력을 입증한 것이다[1].

MRCGP 시험은 일반의(General Practitioner, GP) 학생이 치르는 마지막 시험으로, Royal College of General Practitioners (RCGP)가 출제한다. 이 평가를 통과한 GP 학생은 독자적인 의료 행위를 할 수 있을 정도로 충분히 높은 수준의 능력과 임상 기술을 보유한 것으로 여겨진다.

이 시험의 핵심 파트에서는 의사의 진단 능력을 테스트한다.

1. Babylon의 기술은 규제적 이유로 의학적 진단보다는 건강 정보를 제공한다. 시행되는 테스트는 의사들이 정확도 기준으로 여기는 진단 시험과 관련이 있다. 그러나 Babylon의 AI 서비스는 여전히 의학적 진단보다는 정보 서비스를 제공한다.

Babylon은 공개된 RCGP 자료[2]를 비롯해 독자적으로 출판된 시험 준비 자료에서 진단 기술을 테스트하는 대표적인 문제 표본 세트를 추출하고, 현 RCGP 교육과정에 따라 표본지도를 작성했다. 그 목적은 가능한 한 실제 MRCGP 문제와 비슷하게 출제하는 것이다.

지난 5년 간 실제 의사들의 평균 시험 통과 점수는 72%였다[3]. Babylon의 AI는 처음 이 시험을 치르면서 81%라는 성적을 냈다. Babylon의 AI가 지속해서 학습하고 지식을 축적함에 따라, Babylon은 차후 테스트에서는 훨씬 더 높은 성적을 낼 것으로 예상하고 있다.

시험이 중요하긴 하지만, 의사들은 일상적인 의료 행위를 수행하면서 매우 다양한 질병과 상태를 보게 된다. 따라서 과학자, 임상의 및 엔지니어로 구성된 Babylon은 자사 AI의 역량을 추가로 테스트하기 위해 Royal College of Physicians, Dr Megan Mahoney (Chief of General Primary Care, Division of Primary Care and Population Health, Stanford University) 및 Dr Arnold DoRosario (Chief Population Health Officer, Yale New Haven Health)와 협력하고, 독자적으로 구성한 100개의 증상 집합(또는 "비그네트")을 이용해 경험이 풍부한 7명의 1차 진료 의사들과 Babylon의 AI를 비교 테스트했다.

Babylon의 AI는 정확도 80%를 기록했고, 7명의 의사는 정확도 범위가 64~94%였다.

1차 진료 의학에서 가장 빈번하게 진찰되는 상태를 기준으로 평가한 결과, Babylon AI의 정확도가 98%에 달했다. 그에 반해 Babylon 연구팀이 평가한 노련한 임상의들은 동일한 척도에서 정확도 52~99%를 기록했다.

2. RCGP가 기존 시험지를 출판하지 않는 관계로, Babylon은 자사 AI 시험을 준비하고 테스트하는 과정에서 예시 문제(일부는 RCGP가 직접 출판한 것)를 이용했다. 그중 일부는 공개 자료(모두 참고문헌으로 소개)에서 추출했다.

3. 2012~2017 기간에 대해 공개된 RCGP 테스트 결과 데이터를 바탕으로 GP 학생의 평균 CSA 통과 점수를 계산했다.

결정적으로 Babylon AI의 안전성은 97%였고, 이는 평균 93.1%를 기록한 의사들보다 높은 수준이었다.

Babylon 설립자 겸 CEO Dr Ali Parsa는 오늘 밤에 나온 소식과 관련해 "세계보건기구(WHO)에 따르면, 전 세계적으로 부족한 의사의 수는 500만 명이 넘는다"라며 "즉, 세계 인구의 절반 이상이 가장 기본적인 헬스케어 서비스도 받지 못하고 있다는 것"이라고 말했다. 이어 "가장 부유한 나라에서도 1차 진료가 점점 비싸지고 불편해지고 있으며, 대기 시간이 길어 바로 진료를 받을 수 없는 상황이 종종 발생한다"면서 "자사의 최신 AI 역량으로 판단하자면, 지리적 위치, 재물이나 상황에 상관없이 모든 사람이 최고 수준의 개업 임상의와 같은 수준의 건강 서비스를 자유롭게 이용하는 것이 가능하다"라고 설명했다.

또한, 그는 "오늘 밤에 나온 결과는 AI로 강화된 건강 서비스가 전 세계 헬스케어 시스템에 대한 부담을 덜어줄 수 있음을 확실하게 보여주는 것"이라며 "자사의 사명은 지구 상의 모든 사람에게 이용 가능하고 저렴한 건강 서비스를 제공하는 것이다. 이 기념비적인 결과로, 인류는 누구나 안전하고 정확한 건강 서비스를 보장받는 세상을 향해 큰 발걸음을 내디뎠다"라고 덧붙였다.

Babylon의 연구 논문 'AI로 구동되는 증상 확인기 평가(Evaluation of AI Powered Symptom Checker)'는 Babylon 웹사이트와 ArXiv.com에서 곧 다운로드 가능할 전망이다.

Babylon 소개
Babylon의 사명은 지구 상의 모든 사람에게 이용 가능하고 저렴한 건강 서비스를 제공하는 것이다. Babylon은 유럽, 북미, 아시아, 중동 및 아프리카 전역의 국민에게 일주일 내내 하루 24시간 디지털 건강 도구(건강 평가, 부상자 분류 및 건강 도구 포함)와 영상 진료에 대한 접근성을 제공하고자 첨단 기술과 최상의 의학 전문지식을 결합한다.

추가 정보는 https://www.babylonhealth.com/을 참조한다.

오늘 밤 행사 사진과 B롤 자료 보기:
https://www.babylonhealth.com/press/assets

본 배포 자료의 추가 사본을 비롯한 연구 논문 보기:
https://www.babylonhealth.com/press/press-room

출처: Babylon Health

Babylon AI Achieves Equivalent Accuracy With Human Doctors in Global Healthcare First

-- Transatlantic collaboration between the London-based medical Artificial Intelligence (AI) company and the Royal College of Physicians, Stanford Primary Care and Yale New Haven Health yields significant breakthrough

LONDON, June 27, 2018/PRNewswire/ -- Babylon Health tonight announced a world-first during a presentation streamed live from London's Royal College of Physicians: The company's AI, in a series of robust tests (including the relevant sections of the MRCGP exam), has demonstrated its ability to provide heath advice which is on-par with practicing clinicians[1].

The MRCGP exam is the final test for trainee General Practitioners (GPs), set by the Royal College of General Practitioners (RCGP). Trainee GPs who pass this assessment have demonstrated their competence and clinical skills to a level which is sufficiently high enough for them to undertake independent practice.

A key part of this exam tests a doctor's ability to diagnose.

1. Babylon's technology provides health information, rather than a medical diagnosis, for regulatory reasons. The tests carried out relate to the diagnostic exams taken by doctors as a benchmark for accuracy, however, Babylon's AI service remains an information service, rather than a medical diagnosis.

Babylon took a representative sample-set of questions testing diagnostic skills from publicly available RCGP sources[2], as well as independently published examination preparation materials, and mapped these to the current RCGP curriculum in order to ensure the questions resembled actual MRCGP questions as closely as possible.

The average pass mark over the past five years for real-life doctors was 72%[3]. In sitting the exam for the first time, Babylon's AI scored 81%. As the AI is continues to learn and accumulate knowledge, Babylon expects that subsequent testing will produce significant improvements in terms of results.

Important though exams are, doctors are presented with a much wider range of illnesses and conditions in their daily practice. Therefore, to further test the AI's capabilities, Babylon's team of scientists, clinicians and engineers next collaborated with the Royal College of Physicians, Dr Megan Mahoney (Chief of General Primary Care, Division of Primary Care and Population Health, Stanford University), and Dr Arnold DoRosario (Chief Population Health Officer, Yale New Haven Health) to test Babylon's AI alongside seven highly-experienced primary care doctors using 100 independently-devised symptom sets (or 'vignettes').

Babylon's AI scored 80% for accuracy, while the seven doctors achieved an accuracy range of 64-94%.

The accuracy of the AI was 98% when assessed against conditions seen most frequently in primary care medicine. In comparison, when Babylon's research team assessed experienced clinicians using the same measure, their accuracy ranged from 52-99%.

2. As the RCGP does not publish past papers, Babylon used example questions - some published directly by the College, some which were sourced from publicly available resources (which all are referenced) - during its AI exam preparation and testing.

3. Average CSA pass mark by trainee GPs was calculated using publicly available RCGP test result data from the period 2012 - 2017.

Crucially, the safety of the AI was 97%. This compares favourably to the doctors, whose average was 93.1%.

Dr Ali Parsa, Babylon's Founder and CEO said of tonight's news: "The World Health Organisation estimates that there is a shortage of over 5 million doctors globally, leaving more than half the world's population without access to even the most basic healthcare services. Even in the richest nations, primary care is becoming increasingly unaffordable and inconvenient, often with waiting times that make it not readily accessible. Babylon's latest artificial intelligence capabilities show that it is possible for anyone, irrespective of their geography, wealth or circumstances, to have free access to health advice that is on-par with top-rated practicing clinicians.

"Tonight's results clearly illustrate how AI-augmented health services can reduce the burden on healthcare systems around the world. Our mission is to put accessible and affordable health services into the hands of every person on Earth. These landmark results take humanity a significant step closer to achieving a world where no-one is denied safe and accurate health advice."

Babylon's research paper, entitled Evaluation of AI Powered Symptom Checker, can be downloaded from the company's website and will be available over coming days via ArXiv.com.

About Babylon
Babylon's mission is to put an accessible and affordable health service in the hands of every person on earth. Babylon uses a combination of cutting-edge technology and the best available medical expertise to deliver 24-hours-a-day, 7-days-a-week access to digital health tools (including health assessment, triage and health tools), to people across Europe, North America, Asia, the Middle East and Africa, as well as video doctor consultations.

For more information, please visit: https://www.babylonhealth.com/

To access photographs and b-roll assets from tonight's event, visit: https://www.babylonhealth.com/press/assets

To access the research paper as well as additional copies of this press release, visit: https://www.babylonhealth.com/press/press-room

Source: Babylon Health

[편집자 주] 본고는 자료 제공사에서 제공한 것으로, 연합뉴스는 내용에 대해 어떠한 편집도 하지 않았음을 밝혀 드립니다.
(끝)

출처 : PRNewswire 보도자료