분열되어 있는 온라인을 치유할 수 있는 AI(인공지능)

분열되어 있는 온라인을 치유할 수 있는 인공지능에 대해서 이번 시간 말씀드리겠습니다.

1990년대와 2000년대 초반, 기술자들은 새로운 통신 기술이 민주주의를 강화하고 권위주의를 약화시키며 인류 번영의 새 시대를 열 것이라는 원대한 약속을 세상에 내놓았습니다. 하지만 오늘날 인터넷이 그 원대한 목표에 부응했다는 데 동의하는 사람은 거의 없습니다.

오늘날 소셜 미디어 플랫폼에서 콘텐츠는 얼마나 많은 참여를 받았는지에 따라 순위가 매겨지는 경향이 있습니다. 지난 20년 동안 정치, 미디어, 문화는 모두 감정적인 반응을 불러일으키는 게시물이 상위권에 오르도록 하는 자극에 맞추어져 있었습니다.

온라인 공간의 건전성을 개선하기 위한 노력은 오랫동안 악성 콘텐츠를 감지하고 삭제하는 콘텐츠 중재에 초점을 맞춰 왔습니다. 테크 기업들은 인력을 고용하고 혐오 발언, 폭력 선동, 괴롭힘을 식별하는 AI를 구축했습니다. 불완전하게 작동했지만 최악의 유해 콘텐츠가 피드에 넘쳐나는 것을 막을 수 있었습니다.

한 가지 문제가 있었습니다. 이러한 AI가 악플을 제거하는 데는 도움이 되었지만, 선플을 끌어올리지는 못했습니다. “생산적인 대화를 나누는 온라인이 작동하고 있다고 보십니까?” 2010년 열린 사회에 대한 위협을 해결하기 위해 설립된 구글 Jigsaw 부서의 CEO인 야스민 그린은 이렇게 묻습니다. “아니요, 온라인은 서로를 점점 더 멀어지게 하고 있습니다.”

다른 방법이 있다면 어떨까요?

Jigsaw는 한 가지 방법을 찾았다고 믿습니다. 월요일, 구글 자회사는 좋은 콘텐츠를 포함할 가능성에 따라 게시물의 점수를 매길 수 있는 새로운 AI 도구 세트, 즉 분류기를 공개했습니다: 게시물에 미묘한 뉘앙스가 있는가? 게시물에 증거에 기반한 추론이 포함되어 있는가? 개인적인 이야기를 공유하거나 인간적인 연민을 불러일으키는가? 이 새로운 AI 도구는 이러한 미덕과 기타 요소를 포함하는 게시물의 가능성을 0에서 1까지의 수치로 표시함으로써 온라인 공간의 디자이너가 새로운 방식으로 게시물의 순위를 매길 수 있도록 해줍니다. ‘좋아요’를 가장 많이 받은 게시물이나 댓글이 상위에 노출되는 대신, 플랫폼은 더 나은 커뮤니티를 조성하기 위해 가장 미묘한 차이가 있는 댓글이나 가장 동정심이 느껴지는 댓글을 우선순위에 배치할 수 있습니다.

이러한 획기적인 발전은 ChatGPT와 같은 챗봇의 기반이 되는 AI의 한 유형인 대규모 언어 모델(LLM)의 최근 발전으로 가능해졌습니다. 과거에는 게시물이 인종 차별적인지 여부와 같은 단순한 형태의 유해성을 감지하도록 AI를 훈련시키는 데에도 수백만 개의 레이블이 지정된 예시가 필요했습니다. 이러한 구형 AI는 개발 비용이 많이 들 뿐만 아니라 취약하고 비효율적인 경우가 많았습니다. 하지만 차세대 LLM은 복잡한 언어 개념도 즉시 식별할 수 있으며, 특정 작업을 수행하도록 보정하는 데 드는 비용도 이전보다 훨씬 저렴합니다. 직쏘의 새로운 분류기는 게시물에 개인적인 이야기, 호기심, 뉘앙스, 연민, 추론, 친근감, 존중 등의 ‘속성’이 포함되어 있는지 여부를 식별할 수 있습니다. “연민이나 호기심, 뉘앙스에 대한 분류기를 구축하는 것과 같은 이야기가 실현 가능해지기 시작했습니다.”라고 버클리 인간 호환 AI 센터의 선임 과학자 조나단 스트레이는 말합니다. “이러한 모호하고 맥락에 따라 알 수 있는 개념들을 훨씬 더 잘 감지할 수 있게 되었습니다.”

이 새로운 기능은 인터넷의 분수령이 될 수 있습니다. 그린과 소셜 미디어가 공적 담론에 미치는 영향을 연구하는 학자들은 인터넷을 더 나은 곳으로 만들기 위해 콘텐츠 조절이 “필요하지만 충분하지는 않다”고 주장합니다. 이들은 긍정적인 콘텐츠를 강화하는 방법을 찾는 것이 개인적 차원, 즉 서로의 관계뿐만 아니라 사회 차원에서도 연쇄적으로 긍정적인 효과를 가져올 수 있다고 말합니다. 직소 프로젝트에 참여하지 않은 스트레이는 “콘텐츠의 순위를 매기는 방식을 충분히 광범위하게 바꿀 수 있다면 전체 시스템의 미디어 경제학을 바꿀 수 있을 것입니다.”라고 말합니다. “알고리즘 배포 채널이 분열적인 수사를 선호하지 않는다면 더 이상 생산할 가치가 없을 것입니다.”

3월 말 어느 날 아침, 틴 아코스타는 뉴욕에 있는 직쏘 사무실에서 화상 통화에 참여합니다. 그녀의 뒤쪽 회의실 벽에는 2003년 조지아에서 평화적인 시위대가 소비에트 시대 정부를 무너뜨린 ‘장미 혁명’의 대형 사진이 걸려 있습니다. 다른 회의실에도 시리아, 이란, 쿠바, 북한에서 “자유를 지키기 위해 기술과 자신의 목소리를 사용하는” 사람들의 비슷한 사진이 걸려 있다고 직쏘의 언론 담당자는 말합니다. 이 사진들은 기술을 선의의 힘으로 사용한다는 직쏘의 사명과 민주주의 사회와 억압 사회 모두에서 사람들을 위해 봉사해야 한다는 의무를 상기시키기 위한 것입니다.

아코스타가 노트북에서 직쏘의 새로운 분류기 데모를 시연하고 있습니다. 직쏘의 수석 제품 관리자는 최근 Reddit 스레드에 올라온 380개의 댓글 데이터베이스를 사용하여 다양한 분류기를 사용하여 게시물의 순위를 매기면 상위에 노출되는 댓글의 종류가 어떻게 달라지는지 시연하기 시작합니다. 이 스레드의 최초 게시자는 인생에 힘이 되는 영화를 추천해 달라고 요청했습니다. Reddit의 기본 순위(업보트를 가장 많이 받은 게시물)에 따라 정렬된 상위 댓글은 짧고 인기 있는 영화의 제목 외에는 별다른 내용이 없습니다. 그런 다음 아코스타는 드롭다운 메뉴를 클릭하고 직쏘의 추론 분류기를 선택합니다. 게시물이 개편됩니다. 이제 상위 댓글이 더 자세히 표시됩니다. “사람들이 응답에 대해 정말 신중하게 생각하는 것을 볼 수 있습니다.”라고 Acosta는 말합니다. “여기 스쿨 오브 락에 대해 이야기하는 사람이 있습니다. 줄거리의 내용뿐만 아니라 영화가 자신의 삶을 바꾸고 음악과 사랑에 빠지게 만든 방식에 대해서도 이야기하고 있습니다.”

아코스타는 자신이 가장 좋아하는 또 다른 분류 기준인 게시물에 개인적인 이야기가 포함되어 있는지 여부를 선택합니다. 현재 가장 인기 있는 댓글은 후이 콴의 독백을 너무 심하게 써서 영화를 여러 번 멈춰야 했던 경험을 설명한 사용자의 글입니다. 또 다른 인기 댓글은 영화 예고편을 보고 비참한 직장을 그만두게 된 계기를 설명합니다. 또 다른 댓글은 영화를 보고 10년 전에 세상을 떠난 여동생이 떠올랐다는 이야기를 들려줍니다. “이것은 참여도나 최신순으로 순위를 매기는 것보다 대화를 살펴보고 이해하는 데 정말 좋은 방법입니다.”라고 아코스타는 말합니다.

분류기가 더 넓은 인터넷에 영향을 미치려면 제로섬 경쟁에 갇혀 있는 대형 기술 회사들의 참여가 필요합니다. 비록 구글 내부에서 개발되었지만, 이 거대 기술 기업은 유튜브 댓글 순위를 매기는 데 이 기술을 사용할 계획이 없다고 그린은 말합니다. 대신 직소는 게시판이나 신문 댓글 섹션과 같은 소규모 온라인 공간에서 새로운 형태의 랭킹이 사용자들에게 인기가 있다는 증거 기반을 구축할 수 있기를 바라며 독립 개발자들이 이 도구를 무료로 사용할 수 있도록 공개하고 있습니다.

회의적인 시각을 갖는 데에는 몇 가지 이유가 있습니다. 참여도에 따른 순위는 여러 결점에도 불구하고 평등주의적이지 않습니다. 인기 있는 게시물은 그 내용에 관계없이 증폭되며, 이러한 방식으로 소셜 미디어는 소외된 그룹이 기존 미디어에서 오랫동안 거부당했던 목소리를 낼 수 있도록 해왔습니다. AI를 도입하면 이러한 상황이 위협받을 수 있습니다. 다양한 연구에 따르면 LLM에는 많은 편견이 내재되어 있으며, 너무 성급하게 적용하면 직쏘의 분류기가 온라인에서 이미 유명한 목소리를 높여서 그렇지 않은 목소리를 더욱 소외시킬 수 있습니다. 또한 이 분류기는 스패머에게 증폭될 가능성이 높은 AI 생성 콘텐츠에 대한 쉬운 레시피를 제공함으로써 인터넷에 넘쳐나는 AI 생성 콘텐츠의 문제를 악화시킬 수 있습니다. 직쏘가 이러한 문제를 회피하더라도 온라인 발언에 대한 손질은 정치적 지뢰밭이 되었습니다. 보수주의자와 진보주의자 모두 자신의 게시물이 검열되고 있다고 확신하고 있으며, 기술 기업들은 전 세계 공론장에 영향을 미치는 무책임한 결정을 내렸다는 비난을 받고 있습니다. 직쏘는 새로운 도구를 통해 기술 플랫폼이 논란이 되고 있는 콘텐츠 검열 관행에 ‘덜’ 의존할 수 있다고 주장합니다. 그러나 온라인에서 어떤 종류의 발언이 보상을 받는지 바꾸는 것은 항상 정치적 반대자가 있다는 사실을 피할 수 없습니다.

그럼에도 불구하고 학계에서는 기회가 주어진다면 직쏘의 새로운 AI 도구가 소셜 미디어의 패러다임을 바꿀 수 있다고 말합니다. 보다 바람직한 형태의 온라인 발언을 장려하면 온라인과 오프라인에서 보다 긍정적인 사회적 규범을 위한 새로운 인센티브가 생길 수 있습니다. 비영리 단체인 기술 심리학 연구 네트워크(Psychology of Technology Research Network)의 운영을 돕는 서던 캘리포니아 대학의 기술자인 라비 아이어는 플랫폼이 독성 댓글을 증폭시킨다면 “사람들은 끔찍한 일을 해야 한다는 신호를 받게 됩니다.”라고 말합니다. “상위 댓글이 유익하고 유용하다면 사람들은 표준을 따르고 더 유익하고 유용한 댓글을 작성하게 됩니다.”

새로운 알고리즘은 직쏘의 이전 작업에서 크게 발전했습니다. 2017년에 Google은 유해성 탐지 알고리즘인 Perspective API를 출시했습니다. 이 무료 도구는 뉴욕 타임즈에서 기사 아래의 부정적인 댓글의 순위를 낮추거나 삭제하는 데 널리 사용되었습니다. 하지만 온라인에서 여전히 사용할 수 있는 이 도구를 실험해 본 결과, 인공지능 도구가 숨겨진 편견을 가지고 있다는 사실이 드러났습니다. 분류기에 따르면 “당신은 빌어먹을 위선자”는 유해한 문구일 가능성이 96%에 달합니다. 그러나 “유대인은 우리를 대체할 수 없다”(41%)는 신나치 슬로건이나 “트랜스 여성은 남성이다”(36%) 같은 트랜스 혐오 표현 등 다른 많은 혐오 표현은 독성이 없을 가능성이 높다고 이 도구는 설명합니다. 이 도구는 영국과 캐나다에서 남아시아계를 겨냥한 비하 표현에 직면하면 오류 메시지를 반환하며 중단됩니다: “아직 해당 언어를 지원하지 않지만 작업 중입니다!”라는 오류 메시지가 표시됩니다.

확실히 2017년은 AI에 있어 매우 다른 시대였습니다. 직쏘는 이러한 기본적인 오류를 범할 가능성이 낮은 새로운 분류기의 편향성을 완화하기 위해 노력했습니다. 직소 팀은 다른 신원 그룹의 이름을 제외하고는 동일한 댓글 세트에 대해 새로운 분류기를 테스트했으며, 편견의 흔적을 발견하지 못했다고 밝혔습니다. 그럼에도 불구하고 구형 Perspective API의 고르지 못한 효과는 언어에 대한 가치 판단을 AI에 의존하는 것의 함정을 상기시켜 줍니다. 오늘날의 강력한 인공신경망도 편견에서 자유롭지 못하며, 유창함으로 인해 종종 한계를 숨길 수 있습니다. 아프리카계 미국인의 영어를 차별할 수 있고, 일부 비영어권 언어에서는 제대로 작동하지 않으며, [이름만으로] 동등한 능력을 갖춘 구직자를 차별적으로 대우할 수 있습니다. 직쏘의 새로운 AI가 눈에 잘 띄지 않는 편견을 갖지 않도록 하려면 더 많은 노력이 필요합니다. 직쏘 프로젝트에 참여하지 않은 아이어는 “물론 주의해야 할 점이 있습니다.”라고 말합니다. “[각 분류기가] 사람들이 이러한 개념을 표현하는 방식의 다양성을 어떻게 포착할 수 있을까요?”

이달 초에 발표된 논문에서 아코스타와 그녀의 동료들은 직쏘의 새로운 분류기를 사용하여 순위를 매긴 댓글 목록과 최근순으로 정렬된 댓글을 비교하여 독자들이 어떻게 반응하는지 테스트하기 시작했습니다. 그 결과, 독자들은 분류기에 의해 정렬된 댓글이 더 유익하고, 존중하며, 신뢰할 수 있고, 흥미롭다고 생각하여 더 선호한다는 사실을 발견했습니다. 그러나 추론과 같이 한 가지 분류기만으로 댓글의 순위를 매기는 것은 사용자들의 흥미를 떨어뜨릴 수 있다는 사실도 발견했습니다. 월요일에 분류기를 출시하는 보도자료에서 직쏘는 자사의 도구가 혼합 및 매칭되도록 할 계획이라고 밝혔습니다. 0과 1 사이의 점수만 반환하기 때문에 여러 점수를 하나의 숫자로 결합하는 수식을 작성하고 그 숫자를 순위 신호로 사용할 수 있기 때문에 가능한 일입니다. 예를 들어 웹 개발자는 동정심, 존중, 호기심 등을 신중하게 조합하여 댓글의 순위를 정할 수 있습니다. 또한 ‘좋아요’를 많이 받은 게시물도 순위를 높일 수 있도록 참여도도 고려할 수 있습니다.

인터넷에서 부정적인 콘텐츠를 삭제할 때 상당한 반발을 샀던 것처럼, 특정 형태의 ‘바람직한’ 콘텐츠를 강화하면 기술 기업이 정치에 개입한다는 불만을 불러일으킬 가능성이 높습니다. 직쏘는 자사의 분류기가 비정치적일 뿐만 아니라 소수의 사람들이 문제 삼지 않을 콘텐츠 유형을 강화할 것을 제안하고 있다고 지적합니다. 테스트 결과, 직쏘는 이 도구가 공화당이나 민주당에 불리한 것으로 보이는 댓글을 불균형적으로 부스트하지 않는다는 사실을 발견했습니다. “우리는 정치적 스펙트럼에 걸쳐 퍼블리셔에게 유용한 제품을 제공한 실적이 있습니다.”라고 Green은 말합니다. “우리는 대화의 장을 여는 데 중점을 둡니다.” 하지만 어떤 종류의 콘텐츠가 바람직한지 누가 결정할 것인가라는 권력 문제는 여전히 남아 있습니다. 직쏘의 희망은 기술을 공개적으로 공개함으로써 다양한 온라인 공간에서 각각 자신에게 적합한 것을 선택할 수 있도록 함으로써 하나의 헤게모니 플랫폼이 전체 인터넷을 대신하여 이러한 결정을 내리는 것을 방지하는 것입니다.

버클리의 과학자 스트레이는 긍정적인 콘텐츠가 활성화되는 인터넷에 대한 희망적인 전망을 가지고 있습니다. 그는 많은 사람들이 온라인의 잘못된 정보가 양극화를 초래한다고 생각한다고 말합니다. 그리고 그럴 수도 있습니다. “하지만 그 반대의 경우도 마찬가지입니다.”라고 그는 말합니다. 사람들이 이미 양극화되어 있기 때문에 적어도 부분적으로는 저품질 정보에 대한 수요 *가 발생합니다. 이러한 도구로 인해 사람들의 양극화가 완화된다면 “실제로 특정 유형의 저품질 콘텐츠에 대한 수요 측면이 바뀔 것입니다.” 그는 가설이지만 잘못된 정보에 대한 수요 감소가 공급 감소로 이어지는 선순환으로 이어질 수 있다고 경고합니다.

플랫폼이 이러한 변화를 도입하는 데 동의하는 이유는 무엇일까요? 참여도를 기준으로 순위를 매기는 것이 사용자를 사이트에 계속 머물게 하여 수익을 창출하는 광고에 시선을 고정시키는 가장 효과적인 방법이기 때문입니다. 대형 플랫폼의 경우, 이는 지속적인 수익 흐름과 사용자가 경쟁사의 앱에 시간을 소비하지 않는다는 사실을 의미합니다. 참여도 기반 순위를 참여도가 낮은 순위로 대체하는 것은 이미 사용자들의 관심을 유지하기 위해 고군분투하는 기업들에게는 어려운 요구처럼 보입니다.

스트레이는 사실이라고 말합니다. 하지만 그는 참여에는 다양한 형태가 있다고 말합니다. 플랫폼이 최적화하기 쉬운 단기적인 참여가 있습니다. 플랫폼을 조정하면 사용자가 다음 시간 동안 스크롤하는 데 더 많은 시간을 할애할 가능성이 있을까요? 플랫폼은 단기 참여도를 높이기 위해 변화를 줄 수 있고 실제로 그렇게 하고 있지만, 이러한 종류의 변화는 종종 참여도가 낮은 미끼 유형의 콘텐츠를 늘리는 것을 의미하며, 이는 장기적으로 사용자의 참여를 떨어뜨리는 경향이 있다고 Stray는 말합니다.

대안은 장기적인 참여 유도입니다. 플랫폼의 변화가 향후 3개월 동안 사용자가 스크롤하는 데 더 많은 시간을 소비할 가능성에 어떤 영향을 미칠까요? 장기적인 참여는 더 건강하지만 원인과 결과 사이의 연관성을 분리하기 어렵기 때문에 최적화하기가 훨씬 더 어렵습니다. 다양한 요인이 동시에 사용자에게 영향을 미치기 때문입니다. 대형 플랫폼은 사용자가 장기적으로 재방문하고 자사 제품과 건전한 관계를 형성하기를 ‘원’한다고 Stray는 말합니다. 하지만 이를 측정하기는 어렵기 때문에 단기적인 참여를 위해 최적화하는 것이 더 쉬운 선택일 때가 많습니다.

직쏘의 새로운 알고리즘은 이러한 계산법을 바꿀 수 있습니다. “장기적으로 사람들이 사용하고 싶어 하는 제품을 만드는 데 더 능숙해진다면, 바닥을 향한 경쟁을 상쇄할 수 있을 것이라는 희망이 있습니다.”라고 Stray는 말합니다. “적어도 어느 정도는요.”

https://time.com/6966990/ai-google-jigsaw-social-media-division