Siri 뺨치는 퍼플렉시티 신기능 사용해보기

이번 뉴스레터에서는 OpenAI o3 모델, 벤치마크 점수 논란부터 퍼플렉시티의 신기능까지 다양한 소식을 전해드립니다.

📑

[콘텐츠]

위클리 Ai트렌드:
- OpenAI o3 모델, 벤치마크 점수 논란... "실제보다 과장됐나?"
- Anthropic, AI가 고유한 도덕 규범을 가졌다는 연구결과 발표
- 6GB VRAM으로도 1분짜리 AI영상 제작 가능, "FramePack"

위클리 Ai활용팁:
- 굿바이 시리..? Perplexity의 iOS용 AI 비서 활용법
- 노트북LM 웹 디스커버리 기능으로 효율적인 리서치하기

위클리 Ai트렌드

OpenAI o3 모델, 벤치마크 점수 논란... "실제보다 과장됐나?"

FrontierMath를 만든 Epoch AI의 o3 테스트 결과 - 정답률이 10% 정도로 측정되었다. @Epoch AI

OpenAI의 o3 모델에 대한 벤치마크 결과가 회사가 처음 발표했던 것보다 낮게 나오면서 투명성에 대한 논란이 일고 있습니다. 지난 12월 OpenAI가 o3를 공개했을 때, 프론티어매스라는 어려운 수학 문제 세트에서 25% 이상의 정답률을 보였다고 주장했는데요. 이는 경쟁 모델들이 2% 미만의 정답률을 보인 것에 비해 압도적인 성과였습니다.

그러나 프론티어매스를 만든 연구소 Epoch AI가 직접 o3를 테스트한 결과, 실제 점수는 10% 정도에 그쳤다고 합니다. OpenAI가 완전히 거짓말을 한 것은 아니지만, 공개 발표 시 가장 높은 성능을 달성한 버전의 점수를 언급했을 가능성이 높습니다.

Epoch AI와 아크 프라이즈 파운데이션의 보고에 따르면:

공개된 o3는 내부 테스트 버전과 다른 모델일 가능성이 크며,
실사용 목적으로 최적화되면서 벤치마크 성능이 낮아졌으며,
OpenAI의 기술 담당자도 현재 배포된 o3가 "실제 사용 사례와 속도를 위해 최적화했다"고 인정했다고 합니다.

최근 xAI(일론 머스크의 AI 회사)와 메타도 유사한 논란에 휩싸였는데요. 이번 사례는 AI 벤치마크 결과를 그대로 받아들이지 말아야 한다는 교훈을 다시 한번 상기시켜 주는 것 같습니다.

출처

Anthropic, AI가 고유한 도덕 규범을 가졌다는 연구결과 발표

Anthropic이 자사의 AI 비서 Claude와의 30만 건 이상의 익명 대화를 분석하여 AI의 도덕 규범 체계를 연구한 결과를 발표했습니다. 이번 연구는 AI모델이 가지고 있는 도덕적 가치를 종합적으로 분류한 최초의 시도로 주목받고 있는데요.

연구 결과의 주요 내용은 다음과 같습니다:

AI의 가치를 실용적, 인식론적, 사회적, 보호적, 개인적 5개 주요 카테고리로 분류
가장 세분화된 단계에서는 3,307개의 고유한 가치 식별
Claude는 일반적으로 앤트로픽이 추구하는의 윤리적 가치(도움이 되고, 정직하고, 해롭지 않은)와 일치하면서도 다양한 상황에 적응하는 모습을 보임

흥미롭게도 연구팀은 Claude가 학습 과정에서 의도하지 않았던 가치를 표현하는 사례도 발견했습니다. "지배력"이나 "도덕성 부재" 같은 가치들이 나타난 것이죠. 연구진은 이러한 사례가 사용자들이 특수한 기법을 사용해 Claude의 안전 가드레일을 우회하려 했기 때문이라고 분석하고 있습니다.

Anthropic은 이러한 새로운 평가 방법이 미래의 잠재적인 "탈옥(jailbreak)" 시도를 식별하고 완화하는 데 도움이 될 것이라고 이야기했는데요. 앤트로픽의 이런 노력이 AI의 탈옥을 완전히 막을 수 있을지 귀추가 주목되네요.🤔

출처

6GB VRAM으로도 1분짜리 AI영상 제작 가능, "FramePack"

AI영상 생성기술이 나날이 발전하고 있습니다. 이번에 공개된 새로운 오픈소스 도구 'FramePack'은 정말 최소한의 VRAM 사양만으로도 일반 소비자용 GPU에서도 빠르고 고품질의 비디오 생성이 가능해졌습니다

FramePack의 주요 특징은 다음과 같습니다:

더 효율적인 처리를 통해 더 길고(1분 이상) 고품질의 비디오 생성 가능
130억 파라미터 모델이 단 6GB의 비디오 메모리로 60초 클립 생성 가능

6GB VRAM이면 일반 게이밍 PC정도면 AI 비디오 생성이 충분히 원활하게 가능하다는 건데요. 테스트해보고 싶다면, 공식 GitHub를 통해 설치하여 직접 로컬에서 비디오를 생성해볼 수 있습니다. AI 영상 콘텐츠 제작에 관심이 있지만 고사양 PC가 없어 망설이셨던 분들에게 좋은 소식이 될 것 같네요.

위클리 Ai활용법

굿바이 시리..? Perplexity의 iOS용 AI 비서 활용법

Perplexity에서 iOS용 "Perplexity Assistant" 기능을 공개했습니다. 이 기능을 활용하면, AI 앱이 아이폰에서 질문에 답변하는 것을 넘어, 실제 행동까지 수행할 수 있는데요. 현재 가능한 기능으로는 음악 재생, 이메일 초안 작성, 식당 검색, 일정 변경, 식당 예약, 알림 설정 등이 포함되어 있습니다.
iOS 사용자라면 Perplexity 앱을 업데이트하면 해당 기능을 바로 사용해볼 수 있는데요, 직접 테스트해본 결과를 공유합니다: