今回の目的 前回までは画像処理についていろいろと試してきました。今回からは数回に分けて、自然言語処理(Natural Language Processing)について学んでいく予定です。ここ数年、機械学習の世界においてはTransformerやGPT-x、BERTなどなど、さまざまな技術が生み出されて、自然言語処理の分野が活況を呈しています。その適用領域も翻訳、文章の要約、感情分析、チャットボットなどなど、幅広いものです。 そうした中で、取りあえず今回からは青空文庫から著作権の切れた作品を学習データとして、文章生成を行うことを目的として、自然言語処理にまつわるさまざまな要素を学んでいくつもりです。
![[文章生成]スクレイピングで青空文庫からデータを取得してみよう](https://cdn-ak-scissors.b.st-hatena.com/image/square/395821b0659704f620fc03e348b9943c4a3a03db/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fimage.itmedia.co.jp%2Fait%2Farticles%2F2101%2F29%2Fcover_news030.png)