AIC Spark / Beyond Mimic
AI Agentにおけるユーザモデリング
AI Agentがユーザーを理解する際に、音声や感情などの情報をどのように活用できるかに関心があります。
- User Modeling
- AI Agent
- Emotion
- Speech
- Human-AI Interaction
Research
Learning through questions.
進行中の研究、プログラムでの研究経験、探索段階の提案、輪読・文献調査を区別して記録しています。
Current Research
2026.07 – Present
Research Experience
2026.01 – 2026.04
Open-Vocabulary 3D Scene Understanding
Junior Research Experience Program (JREP)
JREP参加者として杉浦孔明研究室で研究指導を受け、活動しました。
Mentor: 鈴木駿太郎
Open3DISおよびOpenSceneを題材として、Open-Vocabulary 3D Scene Understandingについて取り組みました。
Activities
- 関連論文サーベイ
- CLIP / SAM / Grounding DINO / Grounded-SAM / Open3DIS / OpenSceneの調査
- Open3DISの環境構築・再現実験
- OpenSceneの再現
- 複数sceneへの推論
- class-wise IoU評価
- 認識傾向の分析
Inference / Visualization
Representative class-wise IoU
再現実験における代表値
High IoU
floor0.654
bathtub0.642
ceiling0.635
toilet0.609
bed0.580
Low IoU
box0.032
other prop0.045
books0.059
desk0.083
picture0.099
Observations
floor / toilet / bedなど比較的大きく形や位置が安定した物体ではIoUが高い傾向が見られました。
picture / desk / booksなど、小さい・薄い・境界が曖昧な物体ではIoUが低い傾向が見られました。
Exploratory Research
Exploratory Work / Research Proposal
Multimodal Biosignals for HRV Estimation
PPGを中心に、加速度・温度などのマルチモーダル生体信号を組み合わせ、HRV指標を推定する方法について探索しています。
Studies / Reading
2026.08 – Present
QCQI Reading Group
Quantum Computation and Quantum Informationの輪読。
Study / Literature Review
Audio / Music Generation
音声・音楽生成手法に関する調査。研究成果ではなく、文献調査として継続しています。
- Raw waveform
- Mel-spectrogram
- Neural Codec
- Autoencoder
- GAN
- Normalizing Flow
- Transformer
- Diffusion Model
- Audio Conditioning
- MusicGen