DataMotto

노트북은 지금 하는 작업에 에이전트 하나를 붙인다. 전처리 담당은 구조와 청결을 맡고, 분석 담당은 표가 안정된 뒤 넘겨받아 탐색 그래프와 요약, 간단한 모델을 돌린다. 일을 나누면 각 에이전트의 시야가 흐트러지지 않고, 다음 단계로 가기 전에 추론을 확인할 자리도 남는다.

CSV나 Excel을 올리면 DataMotto가 데이터형을 감지하고, 거친 열 제목을 다시 붙이고, 빈 행과 빈 열을 지우고, 같은 값만 반복하는 열을 뺀다. 마지막 처리는 생각보다 크다. 값이 고정된 열은 모델에 아무것도 알려 주지 않고, 망가진 내보내기를 감추는 경우가 많다. 변경은 적용 전에 제시되므로 데이터를 왜곡할 수정은 되돌릴 수 있다.

데이터 품질 점수는 전체적으로 가지런한지가 아니라, 던진 질문을 이 데이터가 견디는지를 본다. 찾은 문제를 나열하고 목표와 대조하며, 결론을 받치기에 너무 희박한 열은 보강을 제안한다. 신호등처럼 읽으면 된다. 낮은 점수는 속도를 줄이라는 뜻이지 파일이 쓸모없다는 뜻이 아니다.

열을 고르고 원하는 모양의 예를 표시한 뒤 한 문장으로 설명한다. 에이전트가 추출 코드를 쓰고 결과를 새 열에 놓는다. 정규식을 손으로 짜는 것보다 빠르고, 코드가 남아 있어 검토도 쉽다. 주문 참조, 제품 이름, 주소 조각은 잘 처리한다. 한 열에 여러 형식이 섞여 공통 표지가 없으면 거기서 막힌다.

매주 표를 내보내는 대신 Notion 데이터베이스, HubSpot 레코드, Stripe 데이터를 연결하고 노트북이 직접 가져오게 한다. 연결은 레코드를 데이터프레임으로 바꾸므로 같은 정리와 같은 분석이 그대로 적용된다. 정기 보고에 맞고, 대신 분석의 신선도는 마지막 동기화까지만 간다.

노트북의 각 페이지는 Python, R, Julia를 별도 세션에서 실행하고, 통계 패키지 상당수는 이미 설치되어 있으며 없는 것은 재현 가능한 환경에 넣을 수 있다. 변수는 세션을 넘지 않는다. Python에서 만든 데이터프레임은 R에서 보이지 않는다. 섞인 작업에서는 분명한 제약이고, 동시에 남에게 건넸을 때 예측 가능성을 지켜 주는 이유다.