짧은 소감
이 책은 AI에 대한 국가, 기업간의 현재 모습과 미래의 모습을 예측하고 있다. 미국의 독주 그러다가 중국의 부상. AI도 패권경쟁으로 넘어가고 전략자산 취급이 되며 수출제한도 적극적으로 한다. 그런 상황에 각 국가는 어떤 전략을 취해야하고 소버린 AI를 구축해야하는 당위성도 이야기한다.
개인의 입장에선 어떨까? 일단 CBRN이 있다. 지금도 매우 많은 지식이 있는 LLM들이 CBRN에 어떻게 대처할까? 다크웹에 있는 데이터로 학습된 LLM들이 어떤 정보를 제공할까? 폭탄이나 총기 같은 제조법을 알려주고. 심지어 재료를 어떻게 모을지도 알려줄텐데
이 책을 읽기전 들었던 막연한 생각. 나는 AI 시대에 직업적으로 어떻게 대처해야할까 정도 생각을 했다면. 삶에 연관된 문제도 생길 가능성이 높다는걸 알게됐다. AI연구에서 안전연구는 너무나 필요하다
AI시대에 직업적으로 살아남는 방법은 어떤게 있을까. AI가 우리의 직업을 위협하는건 아니다. 우리의 직업을 위협하는 건 우리보다 AI 도구를 잘 쓰는 경쟁자다.
AI가 나오고 보니 숙련자보단 초급자에게 더 위협이 됐다. 신입이 해야했던 귀찮은 일을 숙련자가 AI에게 명령을 내려 더 빠르게 업무를 수행한다. 결국은 상위 10% 이내에 들 수 있는 실력을 갖춰야한다.
LLM 그루밍을 통해 새로운 갈등이 생겨날 수도 있다. 역사적 문화적 갈등이 존재하는 모든 곳에 나타날것이고. LLM들이 이걸 학습하면 동해를 일본해라고 부르겠지
AI 오픈소스 생태계, 진정한 공개인가?
- 오픈소스가 더 비쌀 가능성이큼
- 모델 다운로드는 싸지만
- 모델만 가지고는 아무것도 못함
- 추가 데이터 준비하고 기업 맞춤형으로 파인튜닝하고.
- 파인튜닝은 노하우가 필요하고 수많은 시행착오와 숙련된 인력이 필요
- AIOps도 필요.
- 모델을 배포 및 운영하는 인력
- 도구를 직접 개발
- 트래픽이 늘어날수록 당연히 노하우는 더 필요
지식 증류
- 학습이 완료된 강력하고 큰 모델을 일부 매개변수를 제거하는 pruning(프루닝) 같은 모델 경량화 기법을 써서 능력은 유지하고 매개변수제거
- 증류: 대형 모델이 보유한 뛰어난 지식과 추론 능력을 이용해 데이터를 생성하고 이를 다시 작은 모델에 추가 학습
- 딥시크 R1이 라마를 이용해서 증류함
트럼프 시대, AI 패권 경쟁은 어떻게 달라질까
- 바이든 행정부는 AI 가속칩, GPU를 수출 규제함
- 동맹국, 티어1, 티어2, 티어3으로 나눠 쿼터제 적용
- 트럼프는 더 세게 할것
MoE(Mixture of Experts)
- 모델 자체를 하나로 단일화 하는 것은 현실적으로 쉽지 않음 (ROI가 안좋음)
- MoE 형태로 여러 모델을 배포
- 몇개의 기능 그룹으로 나누고 각 그룹내에 다양한 과제를 잘 수행할 수 있는 추론 능력이 뛰어난 별도의 AI를 둔다.
- 개별 AI들이 서로 라우팅함
- A2A, MCP도 비슷
수츠케버는 이전 학습 방식을 안쓸거 같다함
- 오토리그레시브 모델 방식이나, 트랜스포머 아키텍처를 유지할지 여부도 불확실
- 넥스트 토큰 프리딕션 방식을 사용하지 않을것 같음
ASL(AI Safety Level)
- CBRN 화생방핵
- AI가 자체적으로 연구하다가 인간의 통제를 벗어남
- 모델이 폭탄 제조법을 상세하게 알려주고 그걸 어디서 만들 수 있는지도 알려주면 얼마나 위험할까
- 누구나 다 폭탄을 만들 수 있는 시대가 될것
- 다크웹 데이터로 튜닝되면 어떻게 될까
AI 시장의 발전은 산업용 AI 에이전트에 달려있다
- 사티아 나델라 — AI 가 예상만큼 GDP 성장에 도움을 주고 있지 않다.
- AI 가 확산되면 생산성이 급격히 증가할 것이다
- 에이전트 기반으로 진화할 수 밖에 없다
세이프티 → 시큐리티
엔트로픽 다리오 아모데이
- 세이프티: 투명성, 편향성, 설명 가능성, 오작동 가능성 등 주로 AI 모델 자체의 내부적 문제를 다룸
- 시큐리티: AI 모델 자체뿐 아니라, 이를 포함한 전체 시스템의 보안과 안정성. 해커가 AI 시스템의 취약점을 공격한다거나
- 레드팀 운영
새로운 사업들
- AI 안정성 검증만을 전문으로 하는 민간 기업
- 아폴로 리서치
- TTA (한국정보통신기술협회)
- 셀렉트스타
AI가 인류를 몰락 시키는건 터미네이터가 아니다
- 저출산
- AI는 사람보다 더 친절하고 감정도 잘 이해함
- 미래 세대는 분명히 사람보다 AI랑 더 가까울 것
- 알렉사 다 빼버린 학교
- 질문을 반복하거나 장난쳐도 짜증 안내고 친절함
- 아이들이 상대방도 친절하다는걸 전혀 배우지 못함
- 타인에 대한 배려나 예의를 못배움