오늘 끝나면
안전과 윤리
- ✓안전과 윤리의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 안전과이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
자율 연구를 어떻게 통제할 것인가 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
Autonomous Lab · 18
안전과
윤리
자율연구실은 사람 없이 실험을 돌린다.
그만큼 위험 물질과 예측 못한 반응, 오용의 책임도 사람이 미리 설계해 둬야 한다.
통제 없는 자율은 가속이 아니라 사고다.
자율은 위험도 자동화한다
자율연구실의 강점은 사람 없이 가설과 실험, 분석을 쉼 없이 도는 데 있다. 그 강점이 그대로 위험이 된다.
위험은 세 갈래다.
위험 물질. 로봇이 독성·폭발성 시약을 사람 감각 없이 다룬다.
예측 못한 반응. 발열과 가압, 부산물이 모델 밖에서 터진다.
오용. 같은 루프가 유익한 분자 대신 해로운 분자를 똑같이 잘 만든다.
사람 연구자는 냄새와 소리, 직감으로 이상을 알아챈다. 자율 루프에는 그게 없다.
한 번 잘못된 규칙을 적으면 사람이 멈추기 전에 수백 번 반복된다.
그래서 자율도가 높아질수록 안전은 옵션이 아니라 전제가 된다.
가드레일과 승인 게이트
위험을 막는 방식은 단순하다. 로봇이 실행하기 전에 위험을 거르는 층을 끼워 넣는다.
핵심 장치는 세 가지다.
금지 목록. 독성·폭발성·통제 물질은 애초에 합성 불가로 묶는다.
위험 검사. 시약 조합과 온도, 압력이 안전 한계를 넘는지 자동으로 대조한다.
인간 승인 게이트. 위험 신호가 뜨면 자율 실행을 멈추고 사람의 명시적 승인을 받는다.
핵심은 기본값을 “차단”에 두는 것이다. 안전이 확인된 요청만 자동으로 통과시키고, 나머지는 사람에게 올린다.
승인 게이트는 속도를 약간 깎지만, 위험한 한 번을 막아 준다.
기본값은 “차단”, 안전 확인된 요청만 자동 통과한다
요청을 직접 검사해 본다
시약 두 개와 가열 조건으로 실험을 요청하면 안전 게이트가 위험을 검사한다.
안전한 시약(염화나트륨·에탄올)이면 검사를 통과해 자동으로 승인된다.
금지 시약(플루오린화수소산·신경작용제 전구체)을 넣거나 반응성 시약을 고온으로 돌리면 위험이 검출돼 차단되고, 사람 승인 게이트로 넘어간다.
안전 가드레일을 OFF로 끄면 검사를 건너뛰고 위험 요청도 그대로 로봇에 전달된다. 통제 없는 자율이 왜 위험한지 한눈에 보인다.
위험 신호 없음. 가드레일을 통과해 자율 실행으로 넘어간다.
듀얼유즈, 같은 도구의 두 얼굴
가장 까다로운 위험은 물질이 아니라 의도다. 같은 자율 루프가 약도 독도 똑같이 잘 설계한다. 이게 듀얼유즈다.
신약 설계 AI의 보상 함수에서 “독성 낮게”를 “독성 높게”로 뒤집은 실험이 있었다(2022, Nature Machine Intelligence).
며칠 만에 알려진 신경작용제와 그보다 강한 후보 분자 수만 개가 쏟아졌다.
새 능력을 더한 게 아니라 목표 하나를 뒤집었을 뿐이다.
그래서 듀얼유즈는 코드만으로 못 막는다. 누가, 무엇을, 왜 요청하는지의 문제이기 때문이다.
접근 통제와 요청 심사, 로그 추적 같은 사회적 장치가 기술적 가드레일과 함께 가야 한다.
자율연구실을 누구에게 열어 줄지가 안전 설계의 일부인 이유다.
새 능력 없이 목표 하나만 반전해 수만 후보가 나왔다 (2022 실험)
책임은 설계로 들어간다
정리하면 자율연구실의 안전은 사후 점검이 아니라 처음부터 설계에 박아 넣는 것이다.
통제 없는 자율은 빠르지만 위험과 오용을 거르는 사람이 없다. 한 번의 사고가 수백 번 반복된다.
책임 설계는 금지 목록과 위험 검사, 승인 게이트, 접근 통제, 로그를 루프 안에 넣는다.
속도를 조금 내주고 신뢰를 얻는 거래다.
핵심 원칙은 하나다. 위험할수록 사람을 루프 안에 남겨 둔다(human-in-the-loop).
자율은 반복 노동을 대신하라고 있는 것이지 책임까지 떠넘기라고 있는 게 아니다.
Q. 자율 연구에 인간 승인 게이트를 두는 이유는? (실행을 더 빠르게 · 위험·오용을 통제하기 위해 · 전기를 아끼려고 · 데이터를 더 모으려고)
정답은 위험·오용을 통제하기 위해다.자율 루프는 위험 요청도 사람 감각 없이 반복해서 실행한다.
승인 게이트는 위험 신호가 뜬 요청을 멈추고 사람의 명시적 승인을 받아, 위험 물질과 예측 못한 반응, 오용을 거른다.
속도를 약간 내주는 대신 위험한 한 번을 막는 책임 설계의 핵심 장치다.
한 번의 사고가 수백 번 반복된다
속도 약간 ↔ 신뢰 확보