ChatGPT, Copilot, Gemini и другие нейросети ошибаются в обработке и создании текстов – BBC на примере новостей
BBC провело тематическое исследование, касающееся ИИ-помощников и доказало, как ошибаются чат-боты на основе нейросетей ChatGPT, Copilot, Gemini – на примере обработки новостных текстов и создания на их основе новых текстов.
Исследование, проведенное редакцией BBC, выявило серьезные проблемы с точностью обработки новостного контента популярными чат-ботами с искусственным интеллектом. В ходе эксперимента были протестированы ChatGPT, Microsoft Copilot, Google Gemini и Perplexity. Методология исследования включала анализ 100 новостных материалов с сайта BBC. ИИ-ассистентам предлагалось ознакомиться с текстами и ответить на вопросы по их содержанию. Результаты оказались тревожными: более половины (51%) всех ответов содержали существенные неточности, а каждый пятый ответ (19%) включал грубые фактические ошибки.
Показательный пример того, как нельзя бездумно, и неумеючи, генерировать тексты. А затем рассчитывать на их полноценное и эффективное применение в своих целях.
Среди наиболее явных промахов – неверная интерпретация официальной позиции британской системы здравоохранения по вопросу вейпинга сервисом Gemini, а также ошибочные утверждения ChatGPT и Copilot о текущих должностях политиков, ранее ушедших в отставку. Примечательно, что Microsoft Copilot и Google Gemini продемонстрировали более низкую точность по сравнению с ChatGPT и Perplexity. Исследователи также отметили, что всем системам свойственно смешивать редакционные мнения с фактической информацией и упускать важный контекст. Пит Арчер, директор программы BBC по генеративному ИИ, подчеркнул необходимость усиления контроля за использованием контента и призвал разработчиков ИИ-систем к большей прозрачности в вопросах точности их работы.
Данное исследование обозначает важные вопросы о надежности ИИ-ассистентов как инструментов для работы не только с новостной информацией, но и генерирование текстов для сайтов, соц.сетей и прочих платформ. Ранее мы не единожды подчеркивали необходимость критического подхода к их использованию, необходимости обязательного фактчекинга и адаптации. Также рассказывали о последствиях для сайтов в виде пессимизации.
Следите за обновлениями нашего блога по копирайтингу. В нем публикуются полезные материалы – в том числе касающиеся функционирования генеративных текстовых нейросетей.
