I study LLM safety and evaluation, with a focus on process-level diagnosis of instruction-following failures and refusal dynamics.
I am an undergraduate student at Chung-Ang University, pursuing Art and Technology with Cyber Security as a convergence major. My work asks when, where, and how LLM failures form before they appear in final outputs — the token-by-token process a final answer hides. I like projects that turn research questions into reproducible evaluation pipelines, diagnostic signals, and working systems.
- LLM safety and evaluation
- Logit dynamics, refusal/compliance margins, and early-token behavior
- Jailbreak and instruction-following failure analysis
- Benchmark design, LLM-as-Judge evaluation, and automated experiment pipelines
- Applied AI systems, privacy-aware ML, and retrieval-based reasoning
| Work | Topic | Status |
|---|---|---|
| Persona Attack: Incremental Memory Injection Jailbreak Attack against LLMs | Multi-turn jailbreak evaluation | Preprint (arXiv:2606.00150) |
| TLO: Observing failure before the final answer | Process-level safety evaluation | In progress |
| GraphRAG for traceable financial QA | Retrieval-based reasoning | Oral accepted, 2025 |
| FinSec LLM post-training for grounded QA | Domain post-training | In progress |
| Project | Description |
|---|---|
| build-up | Evidence-first local deep-research agent with an append-only knowledge vault. |
| Temporal_Logit_Observability | Temporal analysis of LLM safety activation via logit-margin scores. |
| Persona_Attack | Incremental memory injection jailbreak attack experiments against LLMs. |
| GraphRAG-Conference | GraphRAG framework for Korean financial-security regulatory interpretation. |
| FinSec-LLM-PostTraining | RAG and QLoRA post-training pipeline for Korean financial-security and regulatory QA. |
| SafeAI_Final | Machine unlearning experiment on privacy, fairness, and eye-coordinate regression. |
| AutoValetParking | Centralized autonomous valet parking simulation with reservation-based path planning. |
- I prefer benchmark design and reproducible workflows over one-off results.
- I keep model weights, private datasets, generated artifacts, and credentials out of public repositories.
- I document assumptions around data, evaluation conditions, metrics, and compute constraints.
한국어 소개
저는 LLM의 안전성과 평가를 연구하며, 특히 지시 이행 실패와 거부(refusal) 동역학을 최종 출력이 아니라 생성 과정 단위에서 진단하는 데 초점을 둡니다.
중앙대학교 학부생으로 예술공학을 전공하고 사이버보안을 융합전공하고 있습니다. 관심의 중심은 "LLM의 실패가 최종 답변에 드러나기 전, 언제·어디서·어떻게 형성되는가" 입니다. 연구 질문을 재현 가능한 평가 파이프라인과 진단 신호, 그리고 실제로 동작하는 시스템으로 옮기는 작업을 선호합니다.
연구 주제
- LLM 안전성과 평가
- Logit 동역학, 거부/순응 마진, 초기 토큰 행동
- Jailbreak 및 지시 이행 실패 분석
- 벤치마크 설계, LLM-as-Judge 평가, 실험 자동화 파이프라인
- 응용 AI 시스템, 프라이버시 보존 ML, 검색 기반 추론
작업 원칙
- 일회성 결과보다 벤치마크 설계와 재현 가능한 워크플로를 우선합니다.
- 모델 가중치, 비공개 데이터셋, 생성 산출물, 자격 증명은 공개 저장소에 두지 않습니다.
- 데이터, 평가 조건, 지표, 연산 제약에 대한 가정을 명시적으로 기록합니다.
- Portfolio: 2betforyou.github.io
- Google Scholar: AjNUcTAAAAAJ
- Email: june295921@cau.ac.kr