오늘 끝나면
데이터 파이프라인
- ✓데이터 파이프라인의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 데이터이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
측정에서 결론까지 자동으로 흐르게 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
Autonomous Lab · 11
데이터
파이프라인
로봇이 실험을 돌리면 측정값이 쏟아진다.
그 더러운 숫자를 사람 없이 결론까지 잇는 길이 데이터 파이프라인이다.
이 길이 막히면 루프 전체가 멈춘다.
측정에서 결론까지 한 길로
파이프라인은 측정값을 받아 결론으로 흘려보내는 자동 통로다. 네 칸으로 된다.
원시는 센서와 기기가 뱉은 출력 그대로다.
정제는 표준화하고 결측과 이상치를 처리한다.
분석은 통계로 요약한다.
결론은 기준과 비교해 판정한다.
사람이 엑셀로 손수 하던 일이다. 자율연구실은 이걸 코드로 박아 자동으로 흘린다.
A-Lab(버클리·2023)은 17일간 41개 신소재를 합성하며 X선 회절 데이터를 이 길로 흘려 자동으로 판정했다.
한 실험의 측정이 다음 실험의 입력이 되려면 이 통로가 끊김 없이 돌아야 한다.
사람 손 없이 측정값이 판정까지 한 번에 흐른다
기기 출력은 원래 더럽다
현실의 측정은 깔끔하지 않다. 그대로 평균 내면 결론이 틀어진다.
센서가 가끔 빈 값을 뱉는데, 이게 결측이다.
어떤 기기는 비율(0.74)로 주고 어떤 기기는 퍼센트(74)로 주는데, 이게 단위 혼용이다.
신호가 튀어 318 같은 말도 안 되는 값이 끼기도 하는데, 이게 이상치다.
정제는 이걸 규칙으로 처리한다. 빈 값은 버리고, 단위는 맞추고, 튄 값은 거른다.
사람이라면 눈으로 보고 지웠을 일을 코드가 매번 똑같이 한다.
이 규칙이 없으면 더러운 숫자가 그대로 분석에 들어가 가짜 결론을 만든다.
| 원시 | 문제 | 처리 |
|---|---|---|
| ····· | 결측 | 버림 |
| 0.748 | 단위 혼용 | ×100 → 74.8 |
| 318.0 | 이상치 | 버림 |
| 73.5 | 정상 | 그대로 |
사람 없이 결론까지 흐른다
한 실험의 측정 8점이 네 단계를 거쳐 판정 한 줄이 된다.
정제 단계에서 빈 값은 버려지고, 0.74는 74로 보정되고, 튄 값은 걸러진다.
분석 단계는 남은 값만 평균과 표준편차로 요약하고, 결론 단계는 기준과 비교해 판정한다.
더러운 값이 더 섞여도 정제가 막아주면 결론은 버티고, 막히면 결론이 흔들린다.
이 전 과정에 사람 손이 한 번도 들어가지 않는다.
센서·기기 출력 그대로
이대로는 못 쓴다. 빈칸·비율·튄 값이 섞여 있다
더럽게 올려도 정제가 막아준다. 막히면 결론이 흔들리고 루프가 멈춘다.
수집도 표준화도 자동이다
파이프라인의 입구도 사람이 안 채운다. 기기들이 직접 흘려넣는다.
무게저울, 분광기, 온도센서, X선 회절기는 제각각 다른 형식으로 출력한다.
파이프라인은 이걸 받아 같은 단위, 같은 시각 도장(타임스탬프), 같은 자리로 맞춘 한 가지 표준 표로 모은다.
그래서 어느 기기 값이든 같은 분석에 곧장 들어간다.
모은 데이터는 사라지지 않게 저장된다. 다음 실험이 과거 결과를 참조해야 하기 때문이다.
Coscientist(카네기멜런·2023)는 GPT-4가 기기 출력을 읽고 다음 단계를 정했는데, 출력이 표준 형식이라 가능했다.
수집과 표준화와 저장이 자동이라야 사람이 자는 밤에도 루프가 돈다.
저장까지 자동이다. 다음 실험이 과거를 참조한다
파이프라인이 루프를 잇는다
가설과 로봇과 분석은 따로 떨어진 부품이다. 이걸 한 흐름으로 묶는 게 파이프라인이다.
로봇이 아무리 많이 측정해도, 그 값이 분석까지 안 닿으면 쓸모가 없다.
분석이 결론을 내도, 그 결론이 다음 가설로 안 돌아가면 루프가 안 닫힌다.
파이프라인은 이 칸과 칸 사이를 잇는 배관이다.
그래서 파이프라인이 막히면 데이터가 안 흐르니 로봇 손도 LLM 뇌도 같이 멈춘다.
자율연구실의 속도는 가장 느린 배관 한 칸이 정한다.
Q. 데이터 파이프라인이 자율랩에서 하는 역할은? (실험을 더 빨리 돌린다 · 측정을 분석과 결론까지 자동으로 잇는다 · 로봇을 제어한다 · 가설을 생성한다)
정답은 측정을 분석과 결론까지 자동으로 잇는다이다.파이프라인은 원시 측정값을 정제와 분석을 거쳐 결론까지 사람 없이 흘려보낸다.
로봇 제어나 가설 생성은 다른 칸의 일이다.
이 배관이 막히면 측정이 결론으로 못 닿아 루프 전체가 멈춘다.
┄┄ 점선 배관 한 칸이 막히면 루프 전체가 멈춘다