0
Watch
5
Star
0
Fork
0
Issue

Python爬虫/django/scrapy

Carrie999
Carrie999
pushedAt 4 years ago

Carrie999/Python-spider

Python-spider 介绍

1)写了一些小爬虫,对于百度贴吧,糗事百科,煎蛋网,2345电影网,淘宝网,笔趣阁小说等网站 实现了对网页文字图片等信息的抓取,对网易云音乐评论抓取以及对采集后数据的分析
2)一些反反爬虫技术,模拟登录,设置cookie,设置header,代理ip,ajax获取,selenium+phantomjs模拟用户操作
3)多线程、多进程、GIL锁、异步的研究
4)scrapy的学习与分布式redis的研究
5)把爬取的数据存入数据库mysql
6)以及对爬取后的数据可视化分析
7)django搭建博客后台

ucloud ads