Lightning Rod: Generate training data

사람에게 예시를 손으로 라벨링하게 하는 대신, Lightning Rod는 나중에 실제로 일어난 일을 라벨로 쓴다. 거래가 성사됐거나 계약이 갱신됐다면, 그 결과가 앞선 질문의 정답이 된다. 결과물은 실제 이력으로 만든 학습 세트다. 어지러운 부분은 어지러운 채로 남고, 그건 의도된 것이다. 여기서 합성 데이터 생성이 더 뿌리 깊은 무언가에 자리를 내주는 대목이기도 하다. 모든 예시가 실제 결과로 거슬러 올라가기 때문이다.

플랫폼은 뉴스, 문서, 맞춤형 데이터를 흡수해 라벨링된 예측 데이터셋을 만드는 파이프라인에 통과시킨다. 질문과 답변 생성부터 미세 조정과 평가까지 루프 전체를 아우른다. 팀은 시작하기 위해 자체 데이터 정리 체계를 만들 필요가 없다.

Foresight는 전망형 질문에 보정된 확률을 돌려주는 예측 모델군이다. OpenAI 호환이라 기본 URL과 모델 이름만 바꿔 기존 코드에 넣을 수 있다. foresight-v4와 더 오래된 foresight-v3, 두 모델을 쓸 수 있다.

기본적으로 예측 모델은 학습한 내용만으로 작동한다. 더 예리한 답을 얻으려면 자체적으로 집계한 맥락을 제공하거나, Perplexity와 Google News 같은 소스에서 끌어오는 리서치 모드를 켠다. 이 구성 덕분에 개발자는 각 예측에 외부 근거를 얼마나 넣을지 조정할 수 있다.

완성된 모델은 자체 클라우드나 Lightning Rod 클라우드에서 돌아간다. 규제 산업에서는 이게 진짜 차별점이 된다. 대안은 대개 데이터를 남의 서버에 두는 호스팅 서비스이기 때문이다. 압축형 모델은 배포 후 호출당 비용도 낮춘다.

Lightning Rod에 따르면 자사 모델은 여러 도메인 작업에서 프런티어 시스템을 앞섰고, ForecastBench에서 Superforecaster 범위에 도달했으며, GPU 한 장에서 돌아간다. 큰 주장이다. 자기 활용 사례에서 시험해보기 전까지는 감안해서 받아들일 만하지만, 방향은 분명하다. 더 작고, 더 싸고, 한 가지 문제에 맞춰 조정된 모델이다.

API는 기본적으로 일반 텍스트를 돌려주는데, 사람이 결과를 읽기에는 충분하다. 프로그래밍 작업에는 answer_type 확장이 구조화 출력을 돌려주고, Python SDK가 lr.predict() 한 번으로 파싱을 처리한다. 덕분에 예측을 자동화 워크플로에 엮기 쉬워진다.