明治四一（一九〇八）年に平福百穂 、倉田白羊、小杉未醒が、翌年には織田一磨，坂本繁二郎が『方寸』同人となる。『方寸』にも寄稿していた北原白秋、木下杢太郎らが『明星』新詩社を脱退し、『明星』が廃刊となった明治四一（一九〇八）年一一月、木下杢太郎の提案で、新興文芸・美術運動の母体となる「パンの会」が結成された。この名前はドイツベルリンの高踏派の芸術運動体の名前で同名の文芸雑誌も出版していた「Pan（半獣神）」からとったものだ。パリのカフェ文化に倣い、パリのセーヌ川に見立てた隅田川の両国公園にある西洋風の料理屋「第一やまと」で同年一二月五日、第一回目の会合を持つ。『方寸』同人と北原白秋、木下杢太郎、石川啄木、吉井勇ら二〇代の芸術家が集った。回を重ねるごとに参加者も増えていき、「スバル」「白樺」「三田文学」「新思潮」の同人も加わった。芸術の社会的・政治的側面を嫌う高踏・耽美主義的な集まりであったが、若者のデカダン的などんちゃん騒ぎに対して、警察が監視を置くこともあった。

　何でも明治四十二年頃、石井、山本、倉田などの「方寸」を経営してゐる連中と往き来し、日本にはカフエエといふものがなく、随つてカフエエ情調などといふものがないが、さういふものを一つ興して見ようぢやないかといふのが話のもとであつた。当時我々は印象派に関する画論や、歴史を好んで読み、又一方からは、上田敏氏が活動せられた時代で、その翻訳などからの影響で、巴里の美術家や詩人などの生活を空想し、そのまねをして見たかつたのだつた。
　是れと同時に浮世絵などを通じ、江戸趣味がしきりに我々の心を動かした。で畢竟パンの会は、江戸情調的異国情調的憧憬の産物であつたのである。
　当時カフエエらしい家を探すのには難儀した。東京のどこにもそんな家はなかつた。それで僕は或日曜一日東京中を歩いて（尤も下町でなるべくは大河が見えるやうな処といふのが註文であつた。河岸になければ、下町情調の濃厚なところで我慢しようといふのであつた。）とに角両国橋手前に一西洋料理屋を探した。最初の二三回はそこでしたが、その家があまり貧弱で、且つ少しも情趣のない家であつたから、早く倦きてしまつて、その後に探しあてたのは、小伝馬町の三州屋といふ西洋料理屋だつた。ここはきつすゐの下町情調の街区で古風な問屋が軒を並べてゐる処で、其家はまた幾分第一国立銀行時代の建築の面影を伝へてゐる西洋館であつたから、我々は大に気に入つた。おかみさんが江戸つ子で、或る大会の時には葭町の一流の芸者などを呼んでくれて、我々は美術学校に保存してある「長崎遊宴の図」を思ひ出して、喜んだものである。
——木下杢太郎　「パンの会の回想」