last update: May 20,2005
mail to :
doya@atr.jp
Elfwing, S.,
Doya, K., Christensen, H. I. (2007). Evolutionary development of hierarchical
learning structures. IEEE Transactions on Evolutionary Computations,
11(2), 249-264.[PDF]
Ogasawara, H., Doi, T., Doya, K., Kawato,
M. (2007). Nitric oxide regulates input specificity of long-term depression
and context dependence of cerebellar learning. PLoS Computational Biology,
3(1), e179.[PDF]
Schweighofer,N., Tanaka, S. C., Doya, K. (2007). Serotonin and the evaluation
of future rewards: Theory, experiments, and possible neural mechanisms. Annals
of the New York Academy of Sciences, 14, 289-300.[PDF]
Bando, T., Shibata, T., Doya, K., Ishii, S. (2006).
Switching particle filters for efficient visual tracking. Robotics
and Autonomous Systems, 54, 873-884.[PDF]
Bapi, R. S., Miyapuram, K. P., Graydon, F. X., Doya, K. (2006).
fMRI investigation of cortical and subcortical networks in the
learning of abstract and effector-specific representations of
motor sequences. Neuroimage. 32, 714-727. (Neuroimage Editor’s
Choice Award, 2006)[PDF]
Daw, N. D. Doya, K. (2006). The computational neurobiology of learning
and reward. Current Opinion in Neurobiology, 16, 199-204.[PDF]
Doya, K., Ishii, S., Rao, R. P. N., Pouget, A. (2006).
Bayesian Brain: Probabilistic Approaches to Neural Coding. MIT
Press
Kawawaki, D., Shibata, T., Goda, N., Doya, K., Kawato, M. (2006). Anterior
and superior lateral occipito-temporal cortex responsible for target motion
prediction during overt and covert visual pursuit. Neuroscience Research.
54, 112-123. [PDF]
2006 Neuroscience
Research Excellent Paper Award
Matsubara, T., Morimoto, J., Nakanishi, J., Sato,
M., Doya, K. (2006). Learning CPG-based biped locomotion with a
policy gradient method. Robotics and Autonomous Systems, 54,911-920.
Morimoto, J., Doya, K. (in press). Reinforcement learning state estimator.
Neural Computation.
Ogasawara, H., Doi, T., Doya, K., Kawato, M. (2006).
Nitric oxide regulates input specificity of long-term depression and
context dependence of cerebellar learning. PLoS Computational Biology,
3(1), e179. [PDF]
Schweighofer, N., Shishida, K., Cheol, H. E.,
Okamoto, Y., Tanaka, S., Yamawaki, S., Doya, K. (2006). Humans can adopt
optimal discounting strategy under real-time constraints. PLoS Computational
Biology, 2(11), e152, 1349-1356. [PDF]
Tanaka, S. C., Samejima, K., Okada, G., Ueda, K., Okamoto, Y., Yamawaki,
S., Doya, K. (2006). Brain mechanism of reward prediction under predictable
and unpredictable environmental dynamics. Neural Networks. 19, 1233-1241.
内部英治, 銅谷賢治 (2006). 複数の報酬によって与えられる拘束のもとでの強化学習. 電子情報通信学会技術研究報告, 106(102),
1-6.
上岡拓未, 内部英治, 銅谷賢治 (2006). 複数の価値関数を用いた多目的強化学習. 電子情報通信学会技術研究報告, 105(658), 127-132.
杉本徳和, 鮫島和行, 銅谷賢治, 川人光男 (2006). MOSAICモデルにより環境を抽象化する階層型強化学習.
電子情報通信学会論文誌, J89-D(7), 1577-1587.
銅谷賢治, 石井信 (2006). 学習ダイナミクスの制御と脳の物質機構. システム／制御／情報, 50, 303-308.
Bando, T., Shibata, T., Doya, K.,
Ishii, S. (2005). Hard / soft switching particle filters for efficient
real-time visual tracking. International Symposium on Artificial Life
and Robotics 2005.
Bissmarck, F., Nakahara, H., Doya,
K., Hikosaka, O. (2005). Responding to modalities with different latencies.
Advances in Neural Information Processing Systems, MIT Press. [pdf]
Bissmarck, F., Franklin, D., Doya, K. (2005). Selective saccades
in sequential hand movements. IEICE Technical Report, 105(34), 1-5.
Capi, G., Doya, K. (2005). Evolution of neural architecture fitting environmental
dynamics. Adaptive Behavior, 13, 53-66. [pdf]
Doi, T., Kuroda, S., Michikawa, S., Doya, K., Kawato, M. (2005). Spontaneous
activity of parallel fibers autoregulates the amount of AMPA receptors to elicit
cerebellar LTD for supervised learning. Society for Neuroscience 35th Annual
Meeting.
Doya K., Uchibe E. (2005). The Cyber Rodent project: Exploration of adaptive
mechanisms for self-preservation and self-reproduction. Adaptive Behavior,
13 (2), 149-160.
Kawawaki, D., Shibata, T., Goda, N., Doya, K., Kawato, M. (in press). Anterior
and superior lateral occipito-temporal cortex responsible for target motion prediction
during overt and covert visual pursuit. Neuroscience
Research.
Matsubara, T., Morimoto, J., Nakanishi, J., Sato, M., Doya, K. (2005).
Learning sensory feedback to CPG with policy gradient for biped locomotion. IEEE
International Conference on Robotics and Automation (ICRA2005).
Morimoto, J., Doya, K. (2005). Robust reinforcement learning. Neural
Computation, 17, 335-359.
Samejima, K., Ueda, Y., Doya, K., Kimura, M. (2005). Representation of action-specific
reward value in the striatum. Science, 310, 1337-1340.
Samejima, K., Ueda, Y., Doya, K., Kimura, M. (2005). A reinforcement learning
model predicts monkey's choice and dorsal striatal activities. Society for Neuroscience
35th Annual Meeting
Schweighofer,N., Shishida, K., Okamoto, Y., Tanaka, S., Yamawaki, S., Doya, K.
(2005). Reward value is exponentially discounted at short - time scales and modulated
by serotonin in humans. Society for Neuroscience 35th Annual Meeting.
Suzuki, H., Schweighofer, N., Hirata, Y., Fujiwara, K., Katori, Y., Shimokawa,
H., Aihara, K., Kawato, M. (2005). Can electrical coupling induce chaos in inferior
olive neurons? Experimental evidence. Society for Neuroscience 35th Annual Meeting.
Tanaka, S., Shishida, K., Schweighofer, N., Okamoto, Y., Yamawaki, S., Doya,
K. (2005). Serotonin affects temporal credit assignment in delayedstimulus-outcome
association learning. Society for Neuroscience 35th
Annual Meeting.
Ueda, Y., Samejima, K., Doya, K., Kimura, M. (2005). Distinct groups of striate
neurons encode action value, action choice, and reinforcement during free - choice
task. Society for Neuroscience 35th Annual Meeting.
石井信, 銅谷賢治 (2005). 強化学習−理論と応用−. 電子情報通信学会誌, 88, 804-810.
銅谷賢治 (2005-2006). 計算神経科学への招待: 脳の学習機構の理解を目指して, 第1回〜14回. 数理科学.
銅谷賢治, 五味 裕章, 阪口 豊, 川人 光男 (2005). 脳の計算機構―ボトムアップ・トップダウンのダイナミクス. 朝倉書店.
杉本徳和, 銅谷賢治,
川人光男 (2005). マルチエージェント環境における共通なシンボルの生成. 電子情報通信学会技術研究報告, 105(341), 45-50.
藤原祐介, 佐藤雅明, 山下宙人, 吉岡琢, 川脇大, 柴田智広, 銅谷賢治, 外山敬介 (2005). 眼球と大脳皮質の同時電流源推定によるＭＥＧ眼球アーチファクト除去.
電子情報通信学会技術研究報告, 104(759), 31-36.
松原崇充, 森本淳, 中西淳, 佐藤雅昭, 銅谷賢治. 方策こう配法を用いた動的行動則の獲得：2足歩行運動への適用.
電子情報通信学会論文誌, Vol.J88-D-II, (1), 53-65.
吉本潤一郎, 銅谷賢治, 石井信 (2005). 強化学習の基礎理論と応用. 計測と制御, 44(5),
313-318.
Haruno, M., Kuroda, T., Doya, K. , Toyama, K. , Kimura,
M. , Samejima, K. , Imamizu, H. , Kawato, M. (2004). A neural correlate
of reward-based behavioral learning in caudate nucleus: a functional magnetic
resonance imaging study of a stochastic decision task. Journal of Neuroscience,
24(7), 1660-1665.
Ito, M., Doya, K., Shirao, T., Sekino, Y. (2004). Fos imaging reveals that the
supramammillary nucleus enhances hippocampal activity of rats placed in a novel
open field. Society for Neuroscience 34th Annual Meeting, 96.
Kawawaki, D., Shibata, T., Goda, N., Doya, K., Kawato, M. (2004). Anterior and
superior lateral occipito-temporal cortex responsible for target motion prediction
during overt and covert visual pursuit. Society for Neuroscience 34th Annual
Meeting, 64.
Samejima K., Doya K., Ueda K., Kimura M. (2004). Estimating internal variables
and parameters of a learning agent by a particle filter. Advances in Neural Information
Processing Systems16, 1335-1342, MIT Press. [pdf]
Sato, M., Yoshioka, T., Kajiwara, S., Toyama, K., Goda, N., Doya, K., Kawato,
M. (2004). Hierarchical bayesian estimation for MEG inverse problem. NeuroImage,
23, 806-826.
Schweighofer, N., Doya, K., Kuroda, S. (2004). Cerebellar aminergic neuromodulation:
towards a functional understanding. Brain research reviews, 44, 103-116. [pdf]
Schweighofer, N., Doya, K., Fukai, H. , Chiron, Jean V., Furukawa, T., Kawato, M. (2004). Chaos may enhance information transmission in the inferior olive. Proceedings of the National Academy of Sciences, USA, 101(13), 4655-4660. [pdf]
Schweighofer,N., Tanaka, S., Asahi, S., Okamoto, Y., Doya,
K., Yamawaki, S. (2004). An fMRI study of the delay discounting of reward
after tryptophan depletion and loading. 1: decision-making. Society
for Neuroscience 34th Annual Meeting, 97.
Tanaka, S., Doya, K., Okada, G., Ueda, K., Okamoto, Y., Yamawaki, S. (2004).
Prediction of immediate and future rewards differentially recruits cortico-basal
ganglia loops. Nature Neuroscience, 7(8), 887-893. [doi:10.1038/nn1279] [pdf]
[pdf-s]
Tanaka, S., Schweighofer,N., Asahi, S., Okamoto, Y., Yamawaki, S., Doya, K.
(2004). An fMRI study of the delay discounting of reward after tryptophan depletion
and loading. 2: reward expectation. Society for Neuroscience 34th Annual Meeting,
98.
Tanaka S., Doya K., Okada G., Ueda K., Okamoto Y., Yamawaki
S. (2004). Different cortico-basal ganglia loops specialize in reward
prediction on different time scales. Advances in Neural Information
Processing Systems16, 701-708, MIT Press.[pdf]
Uchibe, E., Doya, K. (2004). Competitive-cooperative-concurrent reinforcement
learning with importance sampling. The Eighth International Conference on the
SISimulation of Adaptive Behavior, 287-296.
Wolpert, M. D., Doya, K, Kawato, M. (2004).
A unifying computational framework for motor control and social interaction.
In Frith C, Wolpert DM (Eds.) The Neuroscience of Social Interaction.
Oxford University Press, Oxford, UK,
305-322.
内部英治, 銅谷賢治 (2004). 複数報酬のもとでの階層強化学習. 日本ロボット学会誌.
杉本徳和, 鮫島和行, 銅谷賢治, 川人光男 (2004). 複数の状態予測と報酬予測モデルによる強化学習と行動目標の推定.
電子情報通信学会論文誌, J87-D-U(2), 683-694.
銅谷賢治 (2004). 学習する身体ーロボットの脳をつくるー. けいはんな社会的知能発生学研究会編，知能の謎, 111-131, ブルーバックス，講談社．
Bissmarck F., Nakahara H., Doya K., Hikosaka O. (2003). Parallel network mechanisms for motor sequence acquisition in real time. IEICE Technical Report, 102, 113-118.
Capi G., Doya K. (2003). Evolving Recurrent Neural Controllers for Sequential Tasks - A Parallel Implementation. Congress on Evolutionary Computation, 1, 514-519.
Capi G., Uchibe E., Doya K. (2003). Selection of neural architecture and the environment complexity. Dynamic Systems Approach for Embodiment and Sociality
From Ecological Psychology to Robotics, 6, 311-317. Advanced Knowledge International.
Daniel M Wolpert, D. M., Doya, K., Kawato, M. (2003). A
unifying computational framework for motor control and social interaction..
Philosophical Transactions of the Royal Society, 358, 593-602.
Doya K. (2003). Enjoy now or strive for future: Neural mechanisms of reward prediction at different time scales. Summer Program 2003 Progarm and Abstracts, 36.
Doya K. (2003). Cyber Rodents: Self-preserving, self-reproducing robotic colony. ATR Up to Date, Summer 2003, 12-13.
Doya K. (2003). A Computational Theory of Neuromodulation. International Symposium, New Horizons in Molecular Sciences and Systems: An Integrated Approach, 50.
Doya K., Sugimoto N., Wolpert D.M., Kawato M. (2003). Selecting optimal behaviors based on contexts. International Symposium on Emergent Mechanisms of Communication, Awaji, 19-23. [pdf]
Elfwing S., Uchibe E., Doya K. (2003). An evolutionary approach to automatic construction of the structure in hierarchical reinforcement learning. Genetic and Evolutionary Computation - GECCO 2003 Proceedings, Part 1, Chicago, IL, Springer, GECCO 2003, LNCS 2723, 507-509. [pdf]
Eriksson A., Capi G., Doya K. (2003). Evolution of meta-parameters in reinforcement learning algorithm. IEEE/RSJ IROS. [pdf]
Samejima K., Doya K., Kawato M. (2003). Inter-module credit assignment in modular reinforcement learning. Neural Networks, 16, 985- 994.
Samejima K., Ueda Y., Doya K., Kimura M. (2003). Activity of striate projection neurons encodes action-selective reward expectations. Society for Neuroscience 33rd Annual Meeting, 78.
Schweighofer N., Doya K. (2003). Meta-learning of reinforcement learning. Neural Networks, 16, 5-9.
Tanaka S., Doya K., Okada G., Ueda K., Okamoto Y., Yamawaki S. (2003). Prediction of immediate and future rewards differentially recruits cortico-basal ganglia loops. Society for Neuroscience 33rd Annual Meeting, 58.
Ueda Y., Samejima K., Doya K., Kimura M. (2003). Reward value dependent striate neuron activity of monkey performing trial and error behavioral decision task. Neuroscience Research, Vol. 46 Suppl. 1 S1-S220, S50.
Wolpert D.M., Doya K., Kawato M. (2003). A unifying computational framework for motor control and social interaction. Philosophical Transactions of the Royal Society, 358, 593-602. [pdf]
内部英治, 銅谷賢治 (2003). 重点サンプリングを用いた複数強化学習器の同時学習. 電子情報通信学会技術研究報告, 102, 731, 179-184.
川脇大, 柴田智広, 郷田直一, 銅谷賢治, 川人光男 (2003). ヒトのFEF野およびMST野における円滑性追跡眼球運動の視標運動予測に関するfMRI研究. 第１８回生体・生理工学シンポジウム, 97-98.
鮫島和行, 上田康雅, 銅谷賢治, 木村寛 (2003). 行動決定系列からの学習系の内部状態／パラメータ系列の推定. 電子情報通信学会技術研究報告, 102, 731, 119-124.
鮫島和行, 銅谷賢治, 上田一貴, 木村寛 (2003). 大脳基底核ー強化学習モデルによる線条体神経細胞活動の記録と予測. 電子情報通信学会技術研究報告, 103, 152, 11-16.
杉本徳和, 銅谷賢治, 川人光男 (2003). 教示者の行動目標を推定する見まね学習. 電子情報通信学会技術研究報告, 103, 390, 61-66.
杉本徳和, 鮫島和行, 銅谷賢治, 川人光男 (2003). ダイナミクスの線形性に基づいて状態空間を分割する階層型強化学習. 電子情報通信学会技術研究報告, 103, 153, 25-30.
田中沙織, 銅谷賢治, 岡田剛, 上田一貴, 岡本泰昌, 山脇成人 (2003). 空間的情報を含むマルコフ決定課題を用いた長期と短期の報酬予測に伴う脳活動のfMRI測定. 電子情報通信学会技術研究報告, 103, 92, 1-6.
銅谷賢治 (2003). ロボットと脳の報酬系. 「生命科学における制御ーサイバネティクスの新展開」予稿集.
銅谷賢治 (2003). 脳の局所回路の計算機構. 神経情報科学サマースクールテキスト, 3-9.
銅谷賢治 (2003). サイバーローデントー自己保存し自己複製するロボットー. ATR Journal, 49, 12-13.
銅谷賢治 (2003). 高次機能：脳の物質系のメタ学習モデル. シリーズ・ニューバイオフィジックスII, 10, 101-114.
坂東誉司, 柴田智広, 銅谷賢治, 石井信 (2003). 動的な再サンプリング法の切り替えによるロバスト視覚追跡. 日本ロボット学会第２１回学術講演会, 1K25.
松山和裕, 鮫島和行, 銅谷賢治 (2003). 淡蒼球内節／黒質網様部の強化学習による確率的行動選択. 電子情報通信学会技術研究報告, 103, 490, 43-48.
Asahi S., Okamoto, Y., Okada, G., Morinobu, S., Yamawaki, S., Doya K. (2002). Relationship between brain activation during GO/NOGO task and impulsiveness: A fMRI study. 32nd Annual Meeting, Society for Neuroscience, Orlando, USA.
Capi G., Uchibe E., Doya K. (2002). Selection of neural architecture and the environment complexity. The 3rd International Symposium on Human and Artificial Intelligence Systems: Dynamic Systems Approach for Embodiment and Sociality, Fukui, Japan, 231-237. [pdf]
Doya K. (2002). Metalearning and neuromodulation. Neural Networks, 15, 495-506. [pdf]
Doya K. (2002). Computational models of neuromodulation. Neural Networks 2002 Special Issue on Computational Models of Neuromodulation.
Doya K. (2002). Recurrent neural networks: Supervised Learning. Arbib M, The Handbook of Brain Theory and Neural Networks, Second Edition. [pdf]
Doya K., Samejima K., Katagiri K., Kawato M. (2002). Multiple model-based reinforcement learning. Neural Computation. [pdf]
Okada G., Okamoto, Y., Ueda, K., Morinobu, S., Yamawaki, S., Doya, K. (2002). Selection between small, immediate rewards and large, delayed rewards in prediction of future reward: A functional magnetic resonance imaging study. 8th International Conference on Functional Mapping of the Human Brain, Sendai, Miyagi.
Schweighofer N., Doya K. (2002). A biologically plausible computational model of meta-learning in reinforcement learning. 32nd Annual Meeting, Society for Neuroscience, Orlando, USA.
Ueda Y., Samejima K., Doya K., Kimura M. (2002). Reward value-dependent striate neuron activity of monkey performing trial-and-error behavioral decision task. 32nd Annual Meeting, Society for Neuroscience, Orlando, USA.
内部英治, 銅谷賢治 (2002). 複数報酬のもとでの階層強化学習. 第7回ロボティクス・シンポジア, 149-154.
川人光男, 銅谷賢治, 春野雅彦 (2002). ヒト知性の脳科学はどのまで可能か. 科学, 72, 9, 878-918.
鮫島和行, 銅谷賢治 (2002). Integrate-and-fire neuron model を用いた黒質ドーパミン細胞のTD誤差計算モデル. 日本神経回路学会第１２回全国大会, 231-234.
鮫島和行, 上田康雅, 銅谷賢治, 木村寛 (2002). 行動選択に及ぼす動機付けと過去の行動の文脈/運動/報酬の履歴. 第２５回日本神経科学大会, II, 221.
杉本徳和, 鮫島和行, 銅谷賢治, 川人光男 (2002). 複数の状態予測と報酬予測モデルによる強化学習と行動目標の推定. 電子情報通信学会技術報告, NC2001-118, 87-94.
杉本徳和, 鮫島和行, 銅谷賢治, 川人光男 (2002). 複数の状態予測と報酬予測モデルによる強化学習と行動目標の推定. 日本神経回路学会第１２回全国大会, 335-338.
田中沙織, 銅谷賢治, 岡田剛, 上田一貴, 岡本泰昌, 山脇成人 (2002). 長期と短期の報酬予測に伴う脳活動のfMRI測定. ニューロコンピューティング研究会, NC2002-16, 37-42.
田中沙織, 銅谷賢治 (2002). 短期と長期の報酬予測に伴う脳活動のfMRI測定と強化学習に基づく回帰解析. 日本神経回路学会第12回全国大会, 57-60.
銅谷賢治 (2002). 自律学習ロボットから脳と心へのアプローチ - 強化学習の理論に基づく脳の神経回路と物質系の機能モデル-. 平成１３年度ATR研究発表会, 41-42.
銅谷賢治 (2002). 強化学習とメタ学習の脳内機構―大脳基底核と神経修飾物質系. 日本神経回路学会誌, 9, 1, 36-40.
銅谷賢治 (2002). 強化学習の計算論. 医学のあゆみ, 202, 3, 175-179.
銅谷賢治 (2002). つくってみないとわかった気になれない立場から. 科学, 72, 9, 919-920.
銅谷賢治 (2002). 計算神経科学における強化学習「神経修飾物質系のメタ学習仮説」. 人工知能学会第１６回全国大会, 2A1-4.
銅谷賢治 (2002). 系列運動の複数の座標系による表現：皮質―基底核並列ループの役割. 第２５回日本神経科学会，認知座標の変換過程シンポジウム, S9-2, 108.
銅谷賢治 (2002). ロボットの報酬系―学習と進化を支えるメカニズム. 計測自動制御学会システム・情報部門学術講演会(SICE SSI-2002), 1-4.
銅谷賢治 (2002). 脳の学習の回路と物質のメカニズム. 計測自動制御学会関西支部シンポジウム, 15-18.
銅谷賢治 (2002). 行動学習系のメタパラメタ制御と神経修飾物質. 別冊・数理科学「脳情報数理科学の発展」, 31-36.
銅谷賢治 (2002). 強化学習とメタ学習の脳内機構―大脳基底核と神経修飾物質系. 日本神経回路学会誌, 9, 1, 36-40.
松本真央, 岡田真人, 銅谷賢治, 川人光男 (2002). 局所回路間の振動位相変化による相互作用の制御. 電子情報通信学会技術研究報告.
森本淳, 銅谷賢治 (2002). 強化学習を用いた状態観測器の構築. 日本神経回路学会誌.
古川哲也, 上田修功, 樋口さとみ, 銅谷賢治, 川人光男 (2002). 拡張結合混合モデルを用いた脳活動解析, 電子情報通信学会技術報告, NC2001-96, 111-118.
Bapi R.S., Doya K. (2001). Multiple forward model architecture for sequence processing. Sun R, Giles L, Sequence Learning: Paradigms, Algorithms, and Applications, Springer Verlag, 309-320.
Doya K. (2001). Specialization of cerebellum, basal ganglia, and cerebral cortex in supervised, reinforcement, and unsupervised learning. Stockholm Workshop on Computational Neuroscience, Stockholm, 13.
Doya K. (2001). Robotic neuroscience: A synthetic approach to the brain. Neuroscience Research, Supplement, 24, S16.
Doya K. (2001). Metalearning and neuromodulation. CREST Workshop on Metalearning and Neuromodulation, Seika, Kyoto, 6.
Doya K., Kimura H., Kawato M. (2001). Neural mechanisms of learning and control. IEEE Control Systems Magazine, 21, 42-54.
Doya K., Kimura H., Miyamura A. (2001). Motor control: Neural models and system theory. International Journal of Applied Mathematics and Computer Science, 11, 101-128. [pdf]
Doya K., Okada G., Ueda K., Okamoto Y., Yamawaki S. (2001). Prediction of short- and long-term reward: A functional MRI study with a Markov decision problem. 31st Annual Meeting, Society for Neuroscience, San Diego, USA.
Doya K., Samejima K., Katagiri K., Kawato M. (2001). Task decomposition and imitation by MOSAIC architecture. HFSP Arundel Meeting / Wolpert Group, Arundel, Canada.
Haruno M., Kuroda T., Doya K., Toyama K., Kimura M., Samejima K., Imamizu H., Kawato M. (2001). fMRI study of human brain activity during reinforcement learning. 31st Annual Meeting, Society for Neuroscience, San Diego, USA.
Kuroda S., Yamamoto K., Miyamoto H., Doya K., Kawato M. (2001). Statistical characteristics of climbing fiber spikes necessary for efficient cerebellar learning. Biological Cybernetics, 84, 183-192. [pdf]
Matsumoto N., Okada M., Doya K., Sugase Y., Yamane S., Kawano K. (2001). Dynamics of the face-responsive neurons in the temporal cortex. Neuroscience Research, Supplement, 24, S73.
Miyapuram K.P., Bapi R.S., Samejima K., Doya K. (2001). fMRI investigation of the learning of visuo-motor sequences. 31st Annual Meeting, Society for Neuroscience, San Diego, USA
Morimoto J., Doya K. (2001). Robust reinforcement learning. Advances in Neural Information Processing Systems 13, MIT Press, 1061-1067. [pdf]
Morimoto J., Doya K. (2001). Acquisition of stand-up behavior by a real robot using hierarchical reinforcement learning. Robotics and Autonomous Systems, 36, 37-51.
Nakahara H., Doya K., Hikosaka O. (2001). Parallel cortico-basal ganglia mechanisms for acquisition and execution of visuo-motor sequences - A computational approach. Journal of Cognitive Neuroscience, 13, 626-647. [pdf]
Okada G., Okamoto Y., Ueda K., Yamashita H., Kagaya A., Morinobu S., Yamawaki S., Doya K. (2001). Localization of brain activity in prediction of future reward using fMRI and MEG. 31st Annual Meeting, Society for Neuroscience, San Diego, USA.
Schweighofer N., Doya K., Lay F. (2001). Unsupervised learning of granule cell sparse codes enhances cerebellar adaptive control. Neuroscience, 103, 35-50. [pdf]
Tabata H., Shibata T., Taguchi S., Doya K., Kawato M. (2001). A simulation study on smooth pursuit and ocular following responses based on an MST neural-field model. Society for Neuroscience, San Diego, USA.
岡田真人, 銅谷賢治, 吉岡利福, 川人光男 (2001). 位相を隠れ変数として持つ領域ベース結合MRFモデル. 電子情報通信学会論文誌.
川人光男, 銅谷賢治, 春野雅彦 (2001). ヒト知性の計算神経科学，第５回その１:モザイクの拡張とコミュニケーション. 科学, 71, 2, 197-204.
川人光男, 銅谷賢治, 春野雅彦 (2001). ヒト知性の計算神経科学，第５回その２：モザイクの拡張とコミュニケーション. 科学, 71, 6, 839-843.
川人光男, 銅谷賢治, 春野雅彦 (2001). ヒト知性の計算神経科学，第６回：ヒト知性に計算理論はどこまで迫れるか. 科学, 71, 12, 1617-1626.
小池康晴, 銅谷賢治 (2001). マルチステップ状態予測を用いた強化学習によるドライバーモデル. 電子情報通信学会論文誌, J84-D-11, 2, 370-379.
鮫島和行, 片桐憲一, 銅谷賢治, 川人光男 (2001). 複数の予測モデルを用いた強化学習による非線形制御. 電子情報通信学会論文誌, J84-D-11, 9, 2092-2106.
鮫島和行, 片桐憲一, 銅谷賢治, 川人光男 (2001). モジュール競合による運動パターンのシンボル化と見まね学習. 電子情報通信学会論文誌, J85-D-11, 1, 90-100.
鮫島和行, 銅谷賢治, 川人光男 (2001). モジュール強化学習におけるモジュール間の責任割り付け. 日本神経回路学会第１１回全国大会, 119-120.
鮫島和行, 銅谷賢治, 川人光男 (2001). 強化学習MOSAIC : 予測性によるシンボル化と見まね学習. 日本ロボット学会誌, 19, 5, 551-556.
銅谷賢治, 森本淳, 鮫島和行 (2001). 強化学習と最適制御. システム/制御/情報, 45, 4, 30-40.
銅谷賢治, 鮫島和行 (2001). 強化学習と大脳基底核. バイオメカニズム学会誌, 25, 4, 167-171.
銅谷賢治 (2001). 系列運動の脳内表現と学習のアルゴリズム. 認知科学の新展開第３巻「運動と言語」, 29-52.
銅谷賢治 (2001). 脳の計算理論へのトライアスロン的アプローチ. 日本神経回路学会誌, 8, 1, 26-27.
銅谷賢治 (2001). 大脳基底核の強化学習モデルと，小脳，大脳皮質との機能統合. 第78回日本生理学会大会予稿集, 158.
銅谷賢治 (2001). 神経情報科学サマースクール2001報告. 日本神経回路学会誌, 7, 4, 123-124.
銅谷賢治 (2001). 脳の物質系のメタ学習モデル. 生物物理学とはなにか―未解決問題への挑戦, 10.
田口進也, 田端宏充, 柴田智広, 銅谷賢治, 川人光男 (2001). 眼球運動における小脳の感覚運動変換. 日本神経回路学会第１１回全国大会, 229-230.
田端宏充, 柴田智広, 田口進也, 銅谷賢治, 河野憲二, 川人光男 (2001). 円滑性追跡眼球運動の視標予測のためのMST野神経場モデル, 日本神経回路学会第１１回全国大会, 181-182.
古川哲也, 佐藤雅昭、銅谷賢治, (2001). 変分ベイズ法を用いた相互情報量の推定. 電子情報通信学会技術報告, NC2001-4, 19-24.
古川哲也, 深井英和, ニコラシュヴァイゴファー, 佐藤雅昭, 銅谷賢治, 川人光男 (2001). 下オリーブ核細胞モデルの相互情報量解析, 242-243.
松本有央, 岡田真人, 銅谷賢治, 菅生康子, 山根茂, 河野憲二 (2001). サル側頭葉顔細胞のVB法による混合正規分布解析. 電子情報通信学会技術研究報告, NC2000-115, 93-100.
松本有央, 岡田真人, 銅谷賢治, 菅生康子, 山根茂, 河野憲二 (2001). サル側頭葉顔細胞集団の混合正規分布解析によるクラスタリング, 357.
森本淳, 銅谷賢治 (2001). 階層型強化学習を用いた３リンク２関節ロボットによる起立運動の獲得. 日本ロボット学会誌, 19, 5, 574-579.
Bapi R.S., Doya K., Harner A.M. (2000). Evidence for effector independent and dependent representations and their differential time course of acquisition during motor sequence learning. Experimental Brain Research, 132, 149-62.
Bapi R.S., Graydon F.X., Doya K. (2000). Time course of learning of motor sequence representation. 30th Annual Meeting, Society for Neuroscience.
Doya K. (2000). Complementary roles of basal ganglia and cerebellum in learning and motor control. Current Opinion in Neurobiology, 10, 732-739. [pdf]
Doya K. (2000). Metalearning, neuromodulation, and emotion. Hatano G, Okada N, Tanabe H, Affective Minds, Elsevier Science, 101-104. [pdf]
Doya K. (2000). A possible role of serotonin in regulating the time scale of reward prediction. Serotonin Conference.
Doya K. (2000). Possible roles of neuromodulators in the regulation of learning processes. 30th Annual Meeting, Society for Neuroscience.
Doya K. (2000). Reinforcement learning in continuous time and space. Neural Computation, 12, 219-245. [pdf]
Doya K., Katagiri K., Wolpert D.M., Kawato M. (2000). Recognition and imitation of movement paterns by a multiple predictor-controller architecture. Technical Report of IEICE, TL2000-11, 33-40.
Doya K., Samejima K., Katagiri K., Kawato M. (2000). Multiple model-based reinforcement learning. Japan Science and Technology Corporation. [pdf]
Kimura H., Doya K. (2000). Motor control: Neural models and system theory. 14th International Symposium on Mathematical Theory and Networks and Systems, 232.
Kuroda S., Yamamoto K., Miyamoto H., Doya K., Kawato M. (2000). Statistical characteristics of climbing fiber spikes necessary for efficient cerebellar learning. Kawato Dynamic Brain Project.
Morimoto J., Doya K. (2000). Robust reinforcement learning. Technical Report of IEICE, NC2000-49, 59-66.
Morimoto J., Doya K. (2000). Acquisition of stand-up behavior by a real robot using hierarchical reinforcement learning. 17th International Conference on Machine Learning, 1, 623-630.
Nagayuki Y., Ishii S., Doya K. (2000). Multi-agent reinforcement learning: an approach based on the other agent's internal model. Fourth International Conference on Multi-Agent Systems, 215-221.
Nagayuki Y., Ishii S., Ito M., Shimohara K., Doya K. (2000). A multi-agent reinforcement learning method with the estimation of the other agent's actions. Fifth International Symposium on Artifical Life and Robotics, 1, 255-259. [pdf]
Samejima K., Ueda Y., Kimura M., Doya K., Schweighofer N. (2000). Information coding of the striatal neurons during seqential movement. 30th Annual Meeting, Society for Neuroscience.
川人光男, 銅谷賢治, 春野雅彦 (2000). ヒト知性の計算神経科学，第２回：小脳が獲得する内部モデル. 科学, 70, 7, 598-606.
川人光男, 銅谷賢治, 春野雅彦 (2000). ヒト知性の計算神経科学，第４回. 科学, 70, 11, 1009-1017.
鮫島和行, 銅谷賢治, 川人光男 (2000). 複数モデルベース強化学習におけるモジュール間の評価割り付け. 電子情報通信学会技術研究報告. NC2000-49, 51-58.
鮫島和行, 銅谷賢治, 川人光男 (2000). 局所線形モデルに基づく状態分割を用いた階層強化学習. 電子情報通信学会技術研究報告. NC99-115, 173-180.
銅谷賢治, 川人光男, 春野雅彦 (2000). ヒト知性の計算神経科学，第３回：小脳，大脳基底核，大脳皮質の機能分化と統合. 科学, 70, 9, 740-749.
銅谷賢治 (2000). 行動学習系のメタパラメタ制御と神経修飾物質. 数理科学, 38, 6, 19-24.
銅谷賢治 (2000). ロボットと脳科学. 学術月報, 53, 9, 24-28.
銅谷賢治 (2000). 学習のしかたを学習する―メタ学習と神経修飾物質. ATR Journal, 41, 10-11.
銅谷賢治 (2000). 脳科学のためのロボット―脳は創ってみないとわからない. 第23回日本神経科学大会・第10回日本神経回路学会大会合同大会, 291.
銅谷賢治 (2000). 脳における予測と文脈生成. 日本神経回路学会主催 神経情報科学サマースクール, 4.
銅谷賢治 (2000). 神経情報科学サマースクール NISS 2000 報告. 日本神経回路学会誌, 7, 4, 123-124.
中原裕之, 銅谷賢治, 彦坂興秀 (2000). 順序動作の学習の脳内ネットワーク. 脳の科学, 22, 10, 1075-1085.
中原裕之, 銅谷賢治, 彦坂興秀 (2000). 大脳皮質基底核系機能の計算理論. 脳２１, 3, 3, 305-310.
長行康男, 石井信, 伊藤実, 下原勝憲, 銅谷賢治 (2000). 他エージェントの行動予測を利用したマルチエージェント強化学習法, 1, 111.
星野力, 銅谷賢治 (2000). 生物における階層系列学習に関する考察. 電子情報通信学会技術研究報告. NC99-108, 177-124.
松本有央, 岡田真人, 木本智幸, 銅谷賢治, 菅生康子, 山根茂, 河野憲二. サル側頭葉の顔細胞の集団ダイナミクス−MDS による解析と連想記憶回路によるモデル化−. 電子情報通信学会技術研究報告. NC99-159, 69-76.
松本有央, 岡田真人, 銅谷賢治, 菅生康子, 山根茂, 河野憲二. サル側頭葉における顔細胞の集団のダイナミクス, 第23回日本神経科学大会・第10回日本神経回路学会大会合同大会, P-115, 110.
森本淳, 銅谷賢治 (2000). 階層型強化学習を用いた実ロボットにおける起立運動の獲得. 第５回ロボティクスシンポジア, 397-402.
森本淳, 銅谷賢治 (2000). ロバスト強化学習. 第１９回日本ロボット学会学術講演会, 3, 1263-1264.
Bapi R.S., Doya K. (1999). MFM: Multiple forward model architecture for sequence processing. IJCAI'99 Workshop on Sequence Learning, Stockholm, Sweden.
Bapi R.S., Doya K., Harner A.M. (1999). Visual and motor representations for sequence learning. Japan Science and Technology Corporation.
Doya K. (1999). What are the computations of the cerebellum, the basal ganglia, and the cerebral cortex. Neural Networks, 12, 961-974. [pdf]
Doya K. (1999). Multiple representation and algorithms for sequence learning. 2nd International Conference on Cognitive Science, Tokyo, 17-19. [pdf]
Doya K. (1999). Metalearning, neuromodulation and emotion. 13th Toyota Conference on Affective Minds, Mikkabi, Japan, 46-47. [pdf]
Doya K., Sejnowski T.J. (1999). A computational model of avian song learning. Gazzaniga MS, The New Cognitive Neurosciences, MIT Press, 469-482.
Hikosaka O., Nakahara H., Rand M.K., Sakai K., Lu X., Nakamura K., Miyachi S., Doya K. (1999). Parallel neural networks for learning sequential procedures. Trends in Neurosciences, 22, 464-471. [pdf]
Koike Y., Doya K. (1999). Multi state estimation reinforcement learning for driving model. IEEE International Conference on System, Man and Cybernetics, Tokyo, V, 504-509.
Morimoto J., Doya K. (1999). Hierarchical reinforcement learning for motion learning: learning "stand-up" trajectories. Advanced Robotics, 13, 267-268.
Okada M., Toya K., Kimoto T., Doya K. (1999). Retrieval dynamics of associative memory model can explain temporal dynamics of face-responsive neurons in the IT cortex. 29th Annual Meeting, Society for Neuroscience, Miami Beach, Florida, USA.
Schweighofer N., Doya K., Kawato M. (1999). Electrophysiological properties of inferior olive neurons: A compartmental model. Journal of Neurophysiology, 82, 804-817.
岡田真人, 銅谷賢治, 吉岡利福, 川人光男 (1999). 位相を隠れ変数として持つ領域ベース結合MRFモデル, NC98-184, 239-246.
片桐憲一, 銅谷賢治, 川人光男 (1998). 複数のモデルを用いた強化学習による非線形制御方式. 電子情報通信学会技術研究報告, NC98-46.
木村実, 銅谷賢治 (1998). 運動計画と大脳基底核. 科学, 68, 970-979.
小池康晴, 銅谷賢治 (1999). マルチステップ状態予測を用いた強化学習 ―注視点移動を考慮した自動車運転モデル―. 電子情報通信学会技術研究報告. NC98-129, 241-247.
銅谷賢治 (1999). 脳科学とロボット. 日本ロボット学会誌, 17, 7-10.
銅谷賢治 (1999). 神経情報科学の新しい流れ―神経情報科学サマースクール開校. 科学, 69, 11, 858-860.
銅谷賢治 (1999). 試行錯誤から学ぶロボットと脳. 脳を知る・創る・守る, 3, 128-143.
宮本弘之, 森本淳, 銅谷賢治, 川人光男 (1999). 経由点表現を用いた強化学習. 電子情報通信学会論文誌, J82-D-11, 11, 2111-2117.
森本淳, 銅谷賢治 (1999). 強化学習を用いた高次元連続状態空間における系列運動学習 ―起き上がり運動の獲得―. 電子情報通信学会論文誌, J82-D-11, 11, 2118-2131.
森本淳, 銅谷賢治 (1999). 階層型強化学習を用いた実ロボットによる起立運動の獲得. 第９回日本神経回路学会全国大会, 147-148.
Bapi R.S., Doya K. (1998). A sequence learning architecture based on cortico-basal ganglionic loops and reinforcement learning. The 5th International Conference on Neural Information Processing, 1, 260-263.
Bapi R.S., Doya K. (1998). Evidence for effector independent and dependent components in motor sequence learning. 28th Annual Meeting, Society for Neuroscience, 24, 167.
Doya K. (1998). Integration of cortical, cerebellar and basal ganglionic modules specialized in unsupervised, supervised and reinforcement learning. International Basal Ganglia Society 6th Triennial Meeting, 27.
Doya K., Sejnowski T.J. (1998). A computational model of birdsong learning by auditory experience and auditory feedback. Brugge J, Poon P, Central Auditory Processing and Neural Modeling, 77-88.
Morimoto J., Doya K. (1998). Reinforcement learning of dynamic motor sequence: Learning to stand up. Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems, 3, 1721-1726.
Morimoto J., Doya K. (1998). Hierarchical reinforcement learning of low-dimensional subgoals and high-dimensional trajectories. The 5th International Conference on Neural Information Processing, 2, 850-853.
Nakahara H., Doya K. (1998). Near saddle-node bifurcation behavior as dynamics in working memory for goal-directed behavior. Neural Computation, 10, 113-132.
Nakahara H., Doya K., Hikosaka O. (1998). Benefit of multiple representations in parallel cortico-basal ganglia mechanisms for acquisition and execution of visuo-motor sequences. International Basal Ganglia Society 6th Triennial Meeting, 29.
Nakahara H., Doya K., Hikosaka O. (1998). Benefit of multiple representaitons for motor sequence control in the basal ganglia loops. RIKEN Brain Science Institute. [pdf]
Nakahara H., Doya K., Hikosaka O., Nagano S. (1998). Reinforcement learning with multiple representations in the basal ganglia loops for sequential motor control. International Joint Conference on Neural Networks, 1553-1558.
Schweighofer N., Doya K., Kawato M. (1998). A model of the electrophysiological properties of the inferior olive neurons. 28th Annual Meeting, Society for Neuroscience, 24, 667.
Schweighofer N., Doya K., Kawato M. (1998). A model of the electrophysiological properties of the inferior olive neurons. The 5th International Conference on Neural Information Processing, 3, 1525-1528.
片桐憲一, 銅谷賢治, 川人光男 (1998). 複数のモデルを用いた強化学習による非線形制御方式. 電子情報通信学会技術研究報告. NC98-46.
Doya K. (1997). How basal ganglia, cerebellum and cerebral motor areas work together in sequential control tasks. Neural Control of Movement, 7th Annual Meeting Abstracts, 28.
Doya K. (1997). Efficient nonlinear control with actor-tutor architecture. Mozer MC, Jordan MI, Petsche T, Advances in Neural Information Processing Systems 9, MIT Press, 1012-1018.
Nakahara H., Doya K., Hikosaka O., Nagano S. (1997). Multiple representations in the basal ganglia loops for acquisition and execution of sequential motor control. 27th Annual Meeting, Society for Neuroscience, 23, 778.
Nakahara H., Doya K., Hikosaka O., Nagano S. (1997). Multiple representations in the basal ganglia loops for sequential decision making. Technical Report of IEICE, NC97-24.
小池康晴, 銅谷賢治 (1997). 強化学習による自動車運転技能の獲得. 電子情報通信学会技術研究報告, NC96-169.
銅谷賢治 (1997). 運動学習の神経計算機構：基底核，小脳と大脳皮質. 別冊・数理科学「脳科学の前線」, 141-152.
森本淳, 銅谷賢治. (1997). 強化学習による起き上がりパターンの獲得. 電子情報通信学会技術研究報告. NC97-28.
森本淳, 銅谷賢治. (1997). 強化学習による非ホロノミック系の制御：起立運動系列の獲得. ロボット学会全国大会予稿集, 17-18.
Doya K. (1996). An integrated model of basal ganglia and cerebellum in sequential control tasks. 26th Annual Meeting, Society for Neuroscience, 22, 2029.
Doya K. (1996). Temporal difference learning in continuous time and space. Touretzky DS, Mozer MC, Hasselmo ME, Advances in Neural Information Processing Systems 8, MIT Press, 1073-1079.
Doya K. (1996). Reinforcement learning in animals and robots. International Workshop on Brainware, 69-71.
Nakahara H., Doya K. (1996). Dynamics of attention as near saddle-node bifurcation behavior. Touretzky DS, Mozer MC, Hasselmo ME, Advances in Neural Information Processing Systems 8, MIT Press, 38-44.
銅谷賢治 (1996). 強化学習. 日本神経回路学会第7回全国大会講演論文集, 158-162.
銅谷賢治 (1996). 小鳥の歌の学習. 数理科学, 394, 48-55.
Doya K. (1995). Recurrent networks: Supervised learning. Arbib M, The Handbook of Brain Theory and Neural Networks, (796-800).
Doya K., Sejnowski T.J. (1995). A novel reinforcement model of birdsong vocalization learning. Tesauro G, Touretzky DS, Leen TK, Advances in Neural Information Processing Systems 7, MIT Press, 101-108.
Doya K., Sejnowski T.J. (1995). A computational model of birdsong vocalization learning. Fourth IBRO World Congress of Neuroscience Abstracts, 502.
Doya K., Sejnowski T.J. (1995). A model of birdsong vocalization learning. Burrows M, Matheson T, Newland PL, Schuppe H, Nervous Systems and Behavior, 76.
銅谷賢治 (1995). TD学習則の連続時間モデルへの拡張. 日本神経回路学会第6回全国大会講演論文集, 22-23.
Doya K., Sejnowski T.J. (1994). A computational model of song learning in the anterior forebrain pathway of the birdsong control system. 24th Annual Meeting, Society for Neuroscience, 20, 166.
Doya K., Selverston A.I. (1994). Dimension reduction of biological neuron models by artificial neural networks. Neural Computation, 6, 696-717.
Doya K., Selverston A.I., Rowat P.F. (1994). A Hodgkin-Huxley type neuron model that learns slow non-spike oscillation. Cowan JD, Tesauro G, Alspector J, Advances in Neural Information Processing Systems 6, Morgan Kaufmann, 566-573.
Doya K., Boyle M.E.T., Beauchamp M., Selverston A.I. (1993). Computational modeling of the musculoskeletal system of the lobster gastric mill. 23rd Annual Meeting, Society for Neuroscience, 19, 1602.
Doya K., Boyle M.E.T., Selverston A.I. (1993). Mapping between neural and physical activities of the lobster gastric mill. Giles CL, Hanson SJ, Cowan JD, Advances in Neural Information Processing Systems 5, Morgan Kaufmann, 913-920.
Doya K., Selverston A.I. (1993). A learning algorithm for Hodgkin-Huxley type neuron models. Proceedings of 1993 International Joint Conference on Neural Networks, 1108-1111.
銅谷賢治 (1993). ニューラルネットワークの基礎. ニューロ・ファジィ・カオス - 新世代アナログコンピューティング入門 - , 13-39.
Doya K. (1992). Bifurcations in the learning of recurrent neural networks. Proceedings of 1992 IEEE International Symposium on Circuits and Systems, 2777-2780.
Doya K., Yoshizawa S. (1992). Adaptive synchronization of neural and physical oscillators. Moody JE, Hanson SJ, Lippmann RP, Advances in Neural Information Processing Systems 4, 109-116.
Doya K. (1991). A study of learning algorithms for continuous-time recurrent neural networks. Department of Mathematical Engineering and Information Physics, University of Tokyo.
Doya K., Yoshizawa S. (1991). Neural network model of temporal pattern memory. Systems and Computers in Japan, 22, 61-69.
Doya K., Yoshizawa S. (1991). Geometric analysis of the dynamics of autocorrelation associative memory. International Conference on Artificial Neural Networks, 1, 261-266.
銅谷賢治 (1991). リカレントネットワークの学習アルゴリズム, 30, 296-301.
Doya K. (1990). Learning temporal patterns in recurrent neural networks. Proceedings of 1990 IEEE System, Man and Cybernetics Conference, 170-172.
Doya K., Yoshizawa S. (1990). Memorizing hierarchical temporal patterns in analog neuron networks. Proceedings of 1990 International Joint Conference on Neural Networks, San Diego, III:299-304.
銅谷賢治, 吉澤修治 (1990). 時間パターンの記憶の神経回路モデル. 電子情報通信学会論文誌, J73-D-11, 1150-1157.
銅谷賢治 (1990). 歩行パターン学習ロボット. 日本ロボット学会誌, 8, 357.
Doya K., Yoshizawa S. (1989). Adaptive neural oscillator using continuous-time back-propagation learning. Neural Networks, 2, 375-386.
Doya K., Yoshizawa S. (1989). Memorizing oscillatory patterns in the analog neuron network. Proceedings of 1989 International Joint Conference on Neural Networks, I:27-32.
銅谷賢治, 吉澤修治 (1989). 運動パターンの学習と記憶の神経回路モデル. 第2回生体生理工学シンポジウム論文集, 47-50.
銅谷賢治 (1989). ニューラルネットワークによる振動パターンの記憶. コンピュートロール, 29, 52-62.