연구 결과 Gemini AI 뉴스 요약이 가장 문제가 많은 것으로 평가됨

누군가가 버그라는 어색한 주제를 재빠르게 언급하지 않으면 인공지능에 대한 대화를 할 수 없습니다. 정보를 정리할 때 이러한 시스템이 유용할 수 있고, 생성 AI가 갑자기 나타날 수 있다는 점이 인상적인 만큼, 우리는 이 세련된 외관의 모든 결점을 알아차리기 시작하기 전에 멀리 볼 필요가 없습니다. 완전히 말도 안되는 환각을 불러일으키는 Google AI 리뷰의 나쁜 시절 이후 확실히 진전이 있었지만 실제로는 얼마나 멀리 왔습니까? 일부 새로운 연구에서는 바로 이에 대해 상당히 우려하고 있습니다.

유럽방송연합(EBU)과 BBC는 AI로 생성된 뉴스 요약을 제공하는 데 있어 OpenAI ChatGPT, Google Gemini, Microsoft Copilot 및 Perplexity와 같은 시스템의 성능을 정량화하는 데 관심이 있었으며, 특히 25세 미만의 15%가 AI에 뉴스를 의존하고 있는 것으로 나타났습니다. BBC는 처음에 광범위한 설문 조사와 일련의 6개 포커스 그룹을 실시하여 이러한 AI 시스템에 대한 경험과 의견에 대한 데이터를 수집했습니다. 이 접근 방식은 나중에 EBU의 국제 분석을 위해 확장되었습니다.

신념과 기대를 살펴보면, 이 설문 조사에 포함된 영국 성인의 약 42%가 인공 지능의 정확성을 신뢰한다고 답했으며, 이 수치는 젊은 연령층에서 증가했습니다. 그들은 또한 정확성에 대해 매우 우려한다고 주장하며, 84%는 사실 오류가 신뢰를 크게 약화시킬 것이라고 말했습니다. 적절하게 조심스러운 접근 방식처럼 들릴 수도 있지만, 이 콘텐츠 중 실제로 잘못된 부분이 얼마나 됩니까? 그리고 사람들이 이를 인지하고 있습니까?

결과를 바탕으로 대부분의 AI 응답에 문제가 있는 것으로 밝혀졌기 때문에 대부분 “아니요”라고 추측해야 합니다.

평가된 모델 중 어느 것도 좋은 성능을 발휘하지 못했고, 이러한 테스트에서 성능에 관해서는 대부분 동일한 위치에 있었습니다. 그러나 전반적인 문제와 심각한 결과를 초래하는 것으로 간주되는 문제 모두에서 특이점만을 지적하는 쌍둥이 자리가 있으며 이는 훨씬 더 걱정스럽습니다.

쌍둥이 자리의 나쁜 점은 무엇입니까? 연구원들이 강조한 문제 중에는 원본 자료에 대한 명확한 링크 부족, 신뢰할 수 있는 출처와 풍자적 콘텐츠를 구별하지 못하는 것, 위키피디아에 대한 과도한 의존, 관련 맥락을 확립하지 못하는 것, 직접적인 인용의 도살 등이 있습니다.

이 연구가 의존하는 두 가지 주요 데이터 세트를 수집하는 6개월 동안 이러한 AI 시스템은 진화했으며 결국 처음보다 뉴스 요약에 대한 문제가 더 적은 것으로 나타났습니다. 듣기 좋은 소식입니다. 특히 Gemini는 정확성 측면에서 가장 큰 이득을 얻었습니다. 그러나 이러한 개선에도 불구하고 Gemini는 여전히 동료보다 요약에 훨씬 더 심각한 문제를 나타냅니다.

AI 기반 뉴스와 우리의 관계에 조금이라도 관심이 있다면 전체 EBU 보고서를 읽어 볼 가치가 있습니다. 이것이 시스템에 대한 신뢰 수준에 대해 심각하게 의문을 제기하기에 충분하지 않다면 아마도 이 내용을 더 주의 깊게 읽어야 할 것입니다.

여기에 공유된 방법이나 결과에 대해 회사에서 의견이 있는지 확인하기 위해 Google에 연락했으며, 답변을 통해 알려드리겠습니다.