feat: initialize antigravity project configuration and update researc… - #8
Conversation
…h sequence modeling documentation
There was a problem hiding this comment.
Pull request overview
PR này hoàn thiện nội dung cho mục “Sequence Modeling cho Offline RL” trong report, thay thế phần placeholder bằng phần tổng quan và phân tích chi tiết hai bài báo gần đây (Decision S4 và Elastic Decision Transformer), đồng thời liên hệ trực tiếp với các khái niệm trong Ch.14 của Foundations of Machine Learning.
Changes:
- Bổ sung phần giới thiệu hướng sequence modeling cho offline RL và vai trò của Decision Transformer.
- Viết đầy đủ 2 tiểu mục paper review: Decision S4 (ICLR 2023) và Elastic Decision Transformer (NeurIPS 2023), gồm motivation, phương pháp, liên hệ Ch.14, và phần “mở rộng”.
- Thêm các trích dẫn/bib keys tương ứng (đã tồn tại trong
report/ref/ref.bibtheo kiểm tra).
Comments suppressed due to low confidence (3)
report/content/research_sequence_modeling.tex:103
- Đoạn này nhắc lại return-to-go dưới dạng có chiết khấu
$\sum_{t'=t}^{T} \gamma^{t'-t} r_{t'}$ , nhưng ở phần mô tả Decision Transformer trước đó return-to-go lại được định nghĩa không chiết khấu. Nên chỉnh để hai chỗ dùng cùng một định nghĩa (và nếu dùng dạng chiết khấu thì nên nói rõ$\gamma$ lấy từ MDP).
\item \textbf{$\Vpi$ và return (Định nghĩa 14.3):} Return-to-go ${\hat R}_t = \sum_{t'=t}^{T} \gamma^{t'-t} r_{t'}$ là ước lượng Monte Carlo trực tiếp của $\Vpi(s_t)$. Elastic DT làm rõ rằng chọn return-to-go \textit{tối ưu khả thi} (in-support) chính xác hơn là chọn một hằng số cao tuỳ tiện như DT gốc.
report/content/research_sequence_modeling.tex:104
- Tham chiếu “§3a.3.3” ở đây không gắn với label nào trong tài liệu và sẽ dễ sai khi PDF đổi numbering. Nên trỏ trực tiếp tới mục/bảng so sánh TD–MC bằng \ref (ví dụ Phần~\ref{subsubsec:td_comparison} hoặc Bảng~\ref{tab:td_comparison}).
\item \textbf{TD(0) và TD($\lambda$) (§14.5.2, §14.5.5):} Expectile loss có cấu trúc tương tự TD target; context ngắn tương đương bootstrap ít bước (TD-like), còn context dài tương đương Monte Carlo return ($\lambda \to 1$). Đây là sự nối trực tiếp giữa phổ TD--MC được phân tích trong §3a.3.3 và cơ chế điều chỉnh context của Elastic DT.
report/content/research_sequence_modeling.tex:111
- Tương tự phần trên: \paragraph đang chứa “[MỞ RỘNG] …” trong khi environment \begin{morong} đã tự tạo title “[MỞ RỘNG]”, dẫn đến lặp tiêu đề khi xuất PDF. Nên thống nhất cách trình bày giữa heading và tcolorbox để tránh duplicate heading.
\paragraph{\textbf{[MỞ RỘNG]} Hạn chế và câu hỏi mở.}
\begin{morong}
\textbf{Chi phí tính toán inference:} Xác định context length elastic đòi hỏi ước lượng $\hat{V}(s_t)$ tại mỗi bước suy luận --- tăng overhead so với DT cố định, có thể là rào cản trong ứng dụng real-time.
💡 Add Copilot custom instructions for smarter, more guided reviews. Learn how to get started.
|
|
||
| Ta xét bài toán offline RL: tác tử được cung cấp một tập dữ liệu tĩnh $\mathcal{D} = \{(s_t, a_t, r_t)\}$ thu thập từ các trajectory trong quá khứ, và phải học một policy tốt mà \textit{không} được tương tác thêm với môi trường. Không gian trạng thái và hành động có thể lớn, phần thưởng có thể thưa (sparse), và chuỗi thời gian có thể rất dài ($L \gg 100$). | ||
|
|
||
| Decision Transformer~\cite{chen2021decision} đã đề xuất xử lý bài toán này bằng cách biểu diễn toàn bộ trajectory như một chuỗi token $({\hat R}_1, s_1, a_1, {\hat R}_2, s_2, a_2, \dots)$, trong đó ${\hat R}_t = \sum_{t'=t}^{T} r_{t'}$ là \textit{return-to-go} --- ước lượng Monte Carlo của $\Vpi(s_t)$ (Định nghĩa 14.3~\cite{mohri2018}) --- rồi dùng GPT-style Transformer để dự đoán $a_t$ theo điều kiện trên ${\hat R}_t$ và $s_{1:t}$. Tuy nhiên, self-attention chuẩn có độ phức tạp $O(L^2)$ theo chiều dài chuỗi $L$, làm cho phương pháp này khó mở rộng khi horizon dài và không hiệu quả về mặt mẫu (sample-inefficient) khi tài nguyên tính toán hạn chế. |
There was a problem hiding this comment.
verified and fixed
| Decision S4 mang lại một góc nhìn mới về một số khái niệm nền tảng trong Ch.14: | ||
|
|
||
| \begin{itemize} | ||
| \item \textbf{MDP và $\Vpi$ (Định nghĩa 14.1, 14.3):} Bài báo giả định môi trường thỏa MDP đầy đủ, nhưng tránh giải phương trình Bellman. Return-to-go ${\hat R}_t$ chính là ước lượng Monte Carlo của $\Vpi(s_t)$, tương tự MC prediction được đề cập trong phần so sánh TD(0) vs Monte Carlo (§3a.3.3 của Tuấn Anh). |
| \item \textbf{Xấp xỉ hàm (§14.5.6):} S4 layers là một dạng xấp xỉ hàm $\Phi(s_{1:t}) \to a_t$ rất khác với $f_w(s) = w \cdot \Phi(s)$ trong sách --- bộ nhớ trạng thái ẩn $h(t)$ đóng vai trò tổng hợp thông tin lịch sử mà không cần bảng Q-value tường minh. | ||
| \end{itemize} | ||
|
|
||
| \paragraph{\textbf{[MỞ RỘNG]} Hạn chế và câu hỏi mở.} |
There was a problem hiding this comment.
verified and fixed
…arch sequence modeling report
|
@copilot Please review again this PR after verifying and fixing above potential bugs/problems/issues. Only leave comments or suggestions on potential issues/bugs/etc.—do not make any changes or create commits on your own. Also, check whether this PR satisfies the requirements assigned to member Dương Tuấn Anh of phase 3 in the project plan file docs/PLAN.md. |
Found one remaining formatting issue: in report/content/research_sequence_modeling.tex line 108 the \paragraph includes “\textbf{[MỞ RỘNG]}” while the following morong tcolorbox already titles “[MỞ RỘNG]”, so the label will render twice; suggest removing the bracketed tag from the paragraph (or removing the paragraph) and letting morong supply the title. Phase 3 requirements for Dương Tuấn Anh (docs/PLAN.md) look satisfied in this PR: two post‑2021 sequence‑modeling papers (Decision S4 ICLR 2023, Elastic DT NeurIPS 2023) with problem statement, main contributions, Ch.14 linkage, and open‑question sections. Overall “≥6 papers” is a global requirement and can’t be verified from this file alone. |
This pull request significantly expands and finalizes the content for the "Sequence Modeling for Offline RL" section in the
research_sequence_modeling.texreport. It replaces previous placeholders with detailed reviews of two recent papers, providing clear connections to foundational RL concepts and Chapter 14 of the reference book. The changes also include a thorough discussion of each paper's motivation, methodology, results, theoretical connections, and open questions.Major content additions and improvements:
Selection and summary of key papers:
Paper 1: Decision S4 (ICLR 2023):