『統辞構造論 付『言語理論の論理構造』序論』チョムスキー著 （岩波文庫：2014.1.16）
チョムスキーは対談集『生成文法の企て』（福井 直樹 , 辻子 美保子 訳：2003.11.26)の「第一章 言語と認知」で次の様に述べている。
一九五〇年代には、多くの人々が有限オートマトンに興味を示していました。なぜならば、その当時の技術の進歩に大きな信頼が寄せられていましたし、有限オートマトンの理論が理解され始めていた頃でもあったからです。情報理論との関連も明らかに存在しました。一九五〇年代初頭の、シャノンとウイーヴァーの共著『コミュニケーションの数学的理論』やジョージ・ミラーの著書『言語とコミュニケーション』に遡ってみると、研究上のブレークスルーが見つかったような感覚が確かにありましたね。情報理論、有限オートマトン、マルコフ型情報源、音声スペクトログラム等の専門技術が出そろった頃でした。自然科学が人間の心や人間の認知に関わる現象を含むまでに拡大しつつある、正にその瀬戸際に立っている、と皆思っていたのです。大変な興奮でした。ひどく単純な考え方ではありましたが。たぶんやってみる価値はあったんでしょう。私は当時学生だったんですが、そううまく行くはずはないと確信していましたし、事実こういった試みはすぐにつぶれてしまいました。今では誰も有限オートマトンで人間の認知能力の諸特性を表せるとは考えていないと思います。
一九四八年にはMIT(マサチューセッツ工科大学)のノーバート・ウィーナー『サイバネティックス: 動物と機械における制御と通信』、ベル研究所在勤のクロード・シャノンによる論文「通信の数学的理論」が出され、ベル研究所でトランジスタが発明された、コンピュータ技術、通信技術と制御技術の揺籃期でした。この発明・発見の成果が今日の情報通信革命、ICT革命の源となっています。
『通信の数学的理論』（クロード・E. シャノン／ワレン ウィーバー 著, 植松 友彦 翻訳：ちくま学芸文庫2009/8/10)の「通信の数学的理論への最近の貢献」では、情報についてつぎのように記しています。
通信理論においては、情報という言葉は特別の意味で用いられており、それを日常的な用法と混同してはならない。特に情報を意味と混同してはならない。
事実、あるメッセージは意味的に重要で、別のメッセージは全く無意味であったとしても、情報に対する今の視点からすれば、これらの２つのメッセージはまったく等価であるということがありうる。「通信の意味的側面は工学的側面とは関連がない」とシャノンが述べるとき、彼の言わんとするところは、まさにこのことだったに違いない。しかしながらこれは、技術的側面が意味的側面と関連がないということを必ずしも意味するわけではない。
確かに通信理論においては、情報という言葉は、実際に何を言うのかということよりも、何を言うことができるかということに関系している。すなわち、情報とはメッセージを選択するときの、選択の自由度のことなのである。（ゴシックの強調は原文のまま）
そして、「Ⅰ 離散的無雑音システム」では、
離散的情報源では、メッセージを記号毎に生成するものとして考えることができる。一般に情報源は問題となっている特定の記号のみならず、前に行った選択にも依存する確率に従って、後に続く記号を選択する、ある確立に支配されて、そのような記号の系列を生みだす物理的なシステムか、あるいはシステムの数学的モデルは、確率過程として知られている。したがって、離散的情報源は確率過程によって表現されると考えても良い。逆に、有限の集合から選ばれた信号の離散系列を生みだすいかなる確率過程も又離散的情報源とみなして良い。これは次のような場合を含んでいる。
として、「１．英語、ドイツ語、中国語などの自然言語の書き言葉」を挙げています。チョムスキーは『統辞構造論』で、この数学的には離散的マルコフ過程と呼ばれる確率過程を取り上げ、「要するに、ここで示したような、左から右へと文を生みだしていく有限マルコフ過程にもとづいて文法性を分析しようとするアプローチは、第2章で退けた諸提案と全く同様に、行き詰ってしまうように思える。」と記し、
しかし英語のような非有限状態言語を生成するには、根本的に異なる方法と「言語学的レベル」についてのさらに一般的な概念が必要なのである。
と「句構造」の検討に進みます。このようにチョムスキーは「そううまく行くはずはないと確信して」いたにもかかわらず、実際は正しく当時の情報理論の渦中からその文法理論の構築を始めています。■