탐색적 확산 모델

빨간 표적 점, 궤적 썸네일로 구성된 사전 학습 리플레이 버퍼, 미세 조정 밀도 곡선이 포함된 3D 정책 공간 다이어그램 — 가로형, 넓은 2단 구성.

절제된 벡터 스타일로 제작한 3차원 정책 공간 다이어그램, 사전 학습 리플레이 버퍼, 미세 조정 패널을 담은 과학적 방법 개요 도표입니다.

이 프롬프트로 시작하기

이론적 동기에서 보상 없는 사전 학습을 거쳐 미세 조정까지 이어지는 탐색적 정책 모델의 흐름을 보여 주는 방법 개요 도표입니다.

중립적인 테두리 색상

(b)와 (c) 섹션을 둘러싼 점선 테두리를 파란색에서 회색으로 변경하고, 나머지는 그대로 유지합니다.

머신러닝 방법론 도입부에 사용할 방법 개요 도표를 과학 시각화 디자이너의 관점에서 제작하세요. 이론적 동기에서 보상 없는 사전 학습을 거쳐 후속 미세 조정에 이르는 탐색적 정책 모델의 작업 흐름을 설명하세요. 내용은 익명으로 처리하고, 일반적인 학술 개념과 표기법으로 제한하며, 출처를 표기하지 마세요.

2단 편집 폭에 걸쳐 배치할 수 있는 비율의 단일 가로 페이지 형식을 사용하세요. 논문에 바로 삽입할 수 있도록 넓고 간결하게 구성하세요. (a), (b), (c)로 표기한 세 개의 연속된 섹션을 순서대로 배치하고, 읽기 쉬운 제목, 축 라벨, 수학 기호, 필수 주석을 포함하세요.

섹션 (a): 세 개의 좌표축, 반투명 삼각형 메시 형태의 실행 가능 영역, 실선으로 연결된 초록색 정책 점, 빨간색 목표 점 하나를 갖춘 3차원 정책 공간 다이어그램을 만드세요. 결정론적 정책과 최대 상태 엔트로피 정책에는 짧은 지시선을 사용하고, 간략한 이론적 결론을 덧붙이세요. 굵은 빨간색 화살표로 (a)를 (b)에 연결하세요. (b)와 (c)는 파란색 둥근 점선 테두리로 묶고 제목은 “탐색적 확산 모델”로 하며, (b)의 제목은 “사전 학습”으로 하세요. 가로로 나열된 궤적 썸네일이 들어 있는 둥근 리플레이 버퍼를 배치하고, 확산 모델, 가우시안 정책, 보상 없는 환경을 나타내는 빨간 로봇, 회색 로봇, 지구본 아이콘을 함께 배치하세요. 아이콘은 검은색 실선 화살표로 연결하고, 환경에서 버퍼로 이어지는 순환 구조를 만들며 상호작용, 행동 수집, 경험 저장을 라벨로 표시하세요. (c)는 밝은 색상의 둥근 “미세 조정” 패널로 만들고, 각각 확률 밀도 곡선을 갖춘 가우시안 정책과 확산 정책, 후속 작업 상자, 눈에 띄는 빨간색 개선 화살표를 표시하세요. 정책 이름과 함께 π_g 및 π_d를 유지하고, 관련 아이콘, 화살표, 곡선에 직접적인 의미 라벨을 붙이세요.

흰색 바탕에 절제된 짙은 파란색, 빨간색, 초록색 포인트와 밝은 회색 및 옅은 베이지색 채우기를 사용하세요. 학술 논문에 어울리는 절제된 벡터 스타일로 가늘고 정교한 선을 유지하세요. 좌표 이름, 직접 라벨, 수식, 하위 그림 라벨은 보존하고, 장식과 출처 표기는 최소화하여 과학적 내용에 집중하세요.

두 번째 목표 추가하기

정책 공간에 빨간색 목표 점을 하나가 아닌 두 개 표시하며, 나머지 다이어그램은 변경되지 않습니다.

Kimi Design 사용해 보기

머신러닝 방법론 도입부에 사용할 방법 개요 도표를 과학 시각화 디자이너의 관점에서 제작하세요. 이론적 동기에서 보상 없는 사전 학습을 거쳐 후속 미세 조정에 이르는 탐색적 정책 모델의 작업 흐름을 설명하세요. 내용은 익명으로 처리하고, 일반적인 학술 개념과 표기법으로 제한하며, 출처를 표기하지 마세요.

2단 편집 폭에 걸쳐 배치할 수 있는 비율의 단일 가로 페이지 형식을 사용하세요. 논문에 바로 삽입할 수 있도록 넓고 간결하게 구성하세요. (a), (b), (c)로 표기한 세 개의 연속된 섹션을 순서대로 배치하고, 읽기 쉬운 제목, 축 라벨, 수학 기호, 필수 주석을 포함하세요.

섹션 (a): 세 개의 좌표축, 반투명 삼각형 메시 형태의 실행 가능 영역, 실선으로 연결된 초록색 정책 점, 그리고 빨간색 목표 점 하나를 갖춘 3차원 정책 공간 다이어그램을 만드세요. 결정론적 정책과 최대 상태 엔트로피 정책에는 짧은 지시선을 사용하고, 간략한 이론적 결론을 덧붙이세요. 굵은 빨간색 화살표로 (a)를 (b)에 연결하세요. (b)와 (c)는 “탐색적 확산 모델”이라는 제목의 파란색 둥근 점선 테두리로 묶고, (b)의 제목은 “사전 학습”으로 하세요. 가로로 나열된 궤적 썸네일이 들어 있는 둥근 리플레이 버퍼를 배치하고, 확산 모델, 가우시안 정책, 보상 없는 환경을 나타내는 빨간 로봇, 회색 로봇, 지구본 아이콘을 함께 배치하세요. 아이콘은 검은색 실선 화살표로 연결하고, 환경에서 버퍼로 이어지는 순환 구조를 만들며 상호작용, 행동 수집, 경험 저장을 라벨로 표시하세요. (c)는 밝은 색상의 둥근 “미세 조정” 패널로 만들고, 각각 확률 밀도 곡선을 갖춘 가우시안 정책과 확산 정책, 후속 작업 상자, 눈에 띄는 빨간색 개선 화살표를 표시하세요. 정책 이름과 함께 π_g 및 π_d를 유지하고, 관련 아이콘, 화살표, 곡선에 직접적인 의미 라벨을 붙이세요.

흰색 바탕에 절제된 짙은 파란색, 빨간색, 초록색 포인트와 밝은 회색 및 옅은 베이지색 채우기를 사용하세요. 학술 논문에 어울리는 절제된 벡터 스타일로 가늘고 정교한 선을 유지하세요. 좌표 이름, 직접 라벨, 수식, 하위 그림 라벨은 보존하고, 장식과 출처 표기는 최소화하여 과학적 내용에 집중하세요.

모델 상자 제목 변경하기

점선 상자의 이름을 탐색적 확산 모델에서 탐색적 정책 모델로 변경하며, 나머지는 변경되지 않습니다.

Kimi Design 사용해 보기

머신러닝 방법론 도입부에 사용할 방법 개요 도표를 과학 시각화 디자이너의 관점에서 제작하세요. 이론적 동기에서 보상 없는 사전 학습을 거쳐 후속 미세 조정에 이르는 탐색적 정책 모델의 작업 흐름을 설명하세요. 내용은 익명으로 처리하고, 일반적인 학술 개념과 표기법으로 제한하며, 출처를 표기하지 마세요.

2단 편집 폭에 걸쳐 배치할 수 있는 비율의 단일 가로 페이지 형식을 사용하세요. 논문에 바로 삽입할 수 있도록 넓고 간결하게 구성하세요. (a), (b), (c)로 표기한 세 개의 연속된 섹션을 순서대로 배치하고, 읽기 쉬운 제목, 축 라벨, 수학 기호, 필수 주석을 포함하세요.

섹션 (a): 세 개의 좌표축, 반투명 삼각형 메시 형태의 실행 가능 영역, 실선으로 연결된 초록색 정책 점, 빨간색 목표 점 하나를 갖춘 3차원 정책 공간 다이어그램을 만드세요. 결정론적 정책과 최대 상태 엔트로피 정책에는 짧은 지시선을 사용하고, 간략한 이론적 결론을 덧붙이세요. 굵은 빨간색 화살표로 (a)를 (b)에 연결하세요. (b)와 (c)는 파란색 둥근 점선 테두리의 제목을 “탐색적 확산 모델”로 하고, (b)의 제목은 “사전 학습”으로 하세요. 가로로 나열된 궤적 썸네일이 들어 있는 둥근 리플레이 버퍼를 배치하고, 확산 모델, 가우시안 정책, 보상 없는 환경을 나타내는 빨간 로봇, 회색 로봇, 지구본 아이콘을 함께 배치하세요. 아이콘은 검은색 실선 화살표로 연결하고, 환경에서 버퍼로 이어지는 순환 구조를 만들며 상호작용, 행동 수집, 경험 저장을 라벨로 표시하세요. (c)는 밝은 색상의 둥근 “미세 조정” 패널로 만들고, 각각 확률 밀도 곡선을 갖춘 가우시안 정책과 확산 정책, 후속 작업 상자, 눈에 띄는 빨간색 개선 화살표를 표시하세요. 정책 이름과 함께 π_g 및 π_d를 유지하고, 관련 아이콘, 화살표, 곡선에 직접적인 의미 라벨을 붙이세요.

흰색 바탕에 절제된 짙은 파란색, 빨간색, 초록색 포인트와 밝은 회색 및 옅은 베이지색 채우기를 사용하세요. 학술 논문에 어울리는 절제된 벡터 스타일로 가늘고 정교한 선을 유지하세요. 좌표 이름, 직접 라벨, 수식, 하위 그림 라벨은 보존하고, 장식과 출처 표기는 최소화하여 과학적 내용에 집중하세요.