Python爬虫可以爬取什么

Python爬虫可以爬取的东西有很多，Python爬虫怎么学？简单的分析下：

如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像 Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。

利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：

知乎：爬取优质答案，为你筛选出各话题下最优质的内容。

淘宝、京东：抓取商品、评论及销量数据，对各种商品及用户的消费场景进行分析。

安居客、链家：抓取房产买卖及租售信息，分析房价变化趋势、做不同区域的房价分析。

拉勾网、智联：爬取各类职位信息，分析各行业人才需求情况及薪资水平。

雪球网：抓取雪球高回报用户的行为，对股票市场进行分析和预测。

爬虫是入门Python最好的方式，没有之一。Python有很多应用的方向，比如后台开发、web开发、科学计算等等，但爬虫对于初学者而言更友好，原理简单，几行代码就能实现基本的爬虫，学习的过程更加平滑，你能体会更大的成就感。

掌握基本的爬虫后，你再去学习Python数据分析、web开发甚至机器学习，都会更得心应手。因为这个过程中，Python基本语法、库的使用，以及如何查找文档你都非常熟悉了。

对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python，然后哼哧哼哧系统学习 Python 的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTMLCSS，结果入了前端的坑，瘁……

但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议你从一开始就要有一个具体的目标。

在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。这里给你一条平滑的、零基础快速入门的学习路径。

1学习 Python 包并实现基本的爬虫过程

2了解非结构化数据的存储

3学习scrapy，搭建工程化爬虫

4学习数据库知识，应对大规模数据存储与提取

5掌握各种技巧，应对特殊网站的反爬措施

6分布式爬虫，实现大规模并发采集，提升效率

一

学习 Python 包并实现基本的爬虫过程

大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。

Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，建议从requests+Xpath 开始，requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。

如果你用过 BeautifulSoup，会发现 Xpath 要省事不少，一层一层检查元素代码的工作，全都省略了。这样下来基本套路都差不多，一般的静态网站根本不在话下，豆瓣、糗事百科、腾讯新闻等基本上都可以上手了。

当然如果你需要爬取异步加载的网站，可以学习浏览器抓包分析真实请求或者学习Selenium来实现自动化，这样，知乎、时光网、猫途鹰这些动态的网站也可以迎刃而解。

二

了解非结构化数据的存储

爬回来的数据可以直接用文档形式存在本地，也可以存入数据库中。

开始数据量不大的时候，你可以直接通过 Python 的语法或 pandas 的方法将数据存为csv这样的文件。

当然你可能发现爬回来的数据并不是干净的，可能会有缺失、错误等等，你还需要对数据进行清洗，可以学习 pandas 包的基本用法来做数据的预处理，得到更干净的数据。

三

学习 scrapy，搭建工程化的爬虫

掌握前面的技术一般量级的数据和代码基本没有问题了，但是在遇到非常复杂的情况，可能仍然会力不从心，这个时候，强大的 scrapy 框架就非常有用了。

scrapy 是一个功能非常强大的爬虫框架，它不仅能便捷地构建request，还有强大的 selector 能够方便地解析 response，然而它最让人惊喜的还是它超高的性能，让你可以将爬虫工程化、模块化。

学会 scrapy，你可以自己去搭建一些爬虫框架，你就基本具备爬虫工程师的思维了。

四

学习数据库基础，应对大规模数据存储

爬回来的数据量小的时候，你可以用文档的形式来存储，一旦数据量大了，这就有点行不通了。所以掌握一种数据库是必须的，学习目前比较主流的 MongoDB 就OK。

MongoDB 可以方便你去存储一些非结构化的数据，比如各种评论的文本，的链接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。

因为这里要用到的数据库知识其实非常简单，主要是数据如何入库、如何进行提取，在需要的时候再学习就行。

五

掌握各种技巧，应对特殊网站的反爬措施

当然，爬虫过程中也会经历一些绝望啊，比如被网站封IP、比如各种奇怪的验证码、userAgent访问限制、各种动态加载等等。

遇到这些反爬虫的手段，当然还需要一些高级的技巧来应对，常规的比如访问频率控制、使用代理IP池、抓包、验证码的OCR处理等等。

往往网站在高效开发和反爬虫之间会偏向前者，这也为爬虫提供了空间，掌握这些应对反爬虫的技巧，绝大部分的网站已经难不到你了

六

分布式爬虫，实现大规模并发采集

爬取基本数据已经不是问题了，你的瓶颈会集中到爬取海量数据的效率。这个时候，相信你会很自然地接触到一个很厉害的名字：分布式爬虫。

分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握 Scrapy + MongoDB + Redis 这三种工具。

Scrapy 前面我们说过了，用于做基本的页面爬取，MongoDB 用于存储爬取的数据，Redis 则用来存储要爬取的网页队列，也就是任务队列。

所以有些东西看起来很吓人，但其实分解开来，也不过如此。当你能够写分布式的爬虫的时候，那么你可以去尝试打造一些基本的爬虫架构了，实现一些更加自动化的数据获取。

你看，这一条学习路径下来，你已然可以成为老司机了，非常的顺畅。所以在一开始的时候，尽量不要系统地去啃一些东西，找一个实际的项目（开始可以从豆瓣、小猪这种简单的入手），直接开始就好。

因为爬虫这种技术，既不需要你系统地精通一门语言，也不需要多么高深的数据库技术，高效的姿势就是从实际的项目中去学习这些零散的知识点，你能保证每次学到的都是最需要的那部分。

当然唯一麻烦的是，在具体的问题中，如何找到具体需要的那部分学习资源、如何筛选和甄别，是很多初学者面临的一个大问题。

以上就是我的回答，希望对你有所帮助，望采纳。

公司目前以舆情监测系统、微博营销系统、微博监测系统等。 （也称unotice舆情监控系统，鹰眼舆情监控系统），是将搜索引擎技术应用在企业舆论情报服务的一次创新。系统利用独有爬虫技术，能根据预定的监控关键词在15分钟以内发现15万个重点媒体、论坛、博客、微博等网站里的舆情信息，并对危机信息及时报警。系统利用中文分词技术、自然语言处理技术、中文信息处理技术，对信息进行垃圾过滤、去重、相似性聚类、情感分析、提取摘要、自动聚类等处理，配合专业分析师生成详细的舆情分析报告。

服务对象：政府机关、各级各类组织机构、企业等。 集成了微博深度分析、监测、实用营销工具库、批量管理微博账号等功能，是相关企业及品牌进行微博营销的必备系统。红麦微博能：

1）全面准确快速监测微博关于自己品牌及其行业信息。

2）深入分析和统计相关的品牌网络口碑情况，掌控品牌微博口碑

3）深入分析客户粉丝情况，掌握用户分粉丝关联，逐渐形成微博推广人群库

4）便捷管理企业微博账号，大幅度节省人力，提高营销效率

5）实用微博营销工具库，让客户营销更有针对性，事半功倍 根据用户预定的监测关键词在数分钟内发现新浪、腾讯、搜狐、网易等主流微博平台的舆情信息，客户通过系统完成大部分微博舆情监测工作，多维度查看不同阶段的微博舆情信息，追踪微博传播源头，发现突发事件和重大公共事件。并提供WEB、WAP、短信、邮件综合立体服务模式，为领导决策在第一时间提供舆情信息支持，为化解危机争取时间。

大数据处理分析能力在21世纪至关重要。使用正确的大数据工具是企业提高自身优势、战胜竞争对手的必要条件。下面让我们来了解一下最常用的30种大数据工具，紧跟大数据发展脚步。

第一部分、数据提取工具

Octoparse是一种简单直观的网络爬虫，可以从网站上直接提取数据，不需要编写代码。无论你是初学者、大数据专家、还是企业管理层，都能通过其企业级的服务满足需求。为了方便操作，Octoparse还添加了涵盖30多个网站的“任务模板 (Task Templates)”，操作简单易上手。用户无需任务配置即可提取数据。随着你对Octoparse的操作更加熟悉，你还可以使用其“向导模式 (Wizard Mode)”来构建爬虫。除此之外，大数据专家们可以使用“高级模式 (Advanced Mode)”在数分钟内提取企业批量数据。你还可以设置“自动云提取 (Scheduled Cloud Extraction)”，以便实时获取动态数据，保持跟踪记录。

02

Content Graber

Content Graber是比较进阶的网络爬网软件，具有可用于开发、测试和生产服务器的编程操作环境。用户可以使用C#或VBNET调试或编写脚本来构建爬虫。Content Graber还允许你在爬虫的基础上添加第三方扩展软件。凭借全面的功能，Content Grabber对于具有基本技术知识的用户来说功能极其强大。

Importio是基于网页的数据提取工具。Importio于2016年首次启动，现已将其业务模式从B2C转变为B2B。2019年，Importio并购了Connotate，成为了一个网络数据集成平台 (Web Data Integration Platform)。凭借广泛的网络数据服务，Importio成为了商业分析的绝佳选择。

Parsehub是基于网页的数据爬虫。它可以使用AJax，JavaScript等等从网站上提取动态的的数据。Parsehub提供为期一周的免费试用，供用户体验其功能。

Mozenda是网络数据抓取软件，提供企业级数据抓取服务。它既可以从云端也可以从内部软件中提取可伸缩的数据。

第二部分、开源数据工具

01Knime

KNIME是一个分析平台，可以帮助你分析企业数据，发现潜在的趋势价值，在市场中发挥更大潜能。KNIME提供Eclipse平台以及其他用于数据挖掘和机器学习的外部扩展。KNIME为数据分析师提供了2,000多个模块。

02OpenRefine（过去的Google Refine）是处理杂乱数据的强有力工具，可用于清理、转换、链接数据集。借助其分组功能，用户可以轻松地对数据进行规范化。

03R-Programming

R大家都不陌生，是用于统计计算和绘制图形的免费软件编程语言和软件环境。R语言在数据挖掘中很流行，常用于开发统计软件和数据分析。近年来，由于其使用方便、功能强大，得到了很大普及。

04RapidMiner

与KNIME相似，RapidMiner通过可视化程序进行操作，能够进行分析、建模等等操作。它通过开源平台、机器学习和模型部署来提高数据分析效率。统一的数据科学平台可加快从数据准备到实施的数据分析流程，极大地提高了效率。

第三部分、数据可视化工具

01

Datawrapper

Microsoft PowerBI既提供本地服务又提供云服务。它最初是作为Excel附加组件引入的，后来因其强大的功能而广受欢迎。截至目前，它已被视为数据分析领域的领头羊，并且可以提供数据可视化和商业智能功能，使用户能够以较低的成本轻松创建美观的报告或BI仪表板。

02

Solver

Solver专用于企业绩效管理 (CPM) 数据可视化。其BI360软件既可用于云端又可用于本地部署，该软件侧重于财务报告、预算、仪表板和数据仓库的四个关键分析领域。

03

Qlik

Qlik是一种自助式数据分析和可视化工具。可视化的仪表板可帮助公司有效地“理解”其业务绩效。

04

Tableau Public



Tableau是一种交互式数据可视化工具。与大多数需要脚本的可视化工具不同，Tableau可帮助新手克服最初的困难并动手实践。拖放功能使数据分析变得简单。除此之外，Tableau还提供了入门工具包和丰富的培训资源来帮助用户创建报告。

05

Google Fusion Tables

Fusion Table是Google提供的数据管理平台。你可以使用它来收集，可视化和共享数据。Fusion Table与电子表格类似，但功能更强大、更专业。你可以通过添加CSV，KML和电子表格中的数据集与同事进行协作。你还可以发布数据作品并将其嵌入到其他网络媒体资源中。

06

Infogram

Infogram提供了超过35种交互式图表和500多种地图，帮助你进行数据可视化。多种多样的图表（包括柱形图，条形图，饼形图和文字云等等）一定会使你的听众印象深刻。

第四部分、情感分析工具

01

HubSpot’s ServiceHub

HubSpot具有客户反馈工具，可以收集客户反馈和评论，然后使用自然语言处理 (NLP) 分析数据以确定积极意图或消极意图，最终通过仪表板上的图形和图表将结果可视化。你还可以将HubSpot’s ServiceHub连接到CRM系统，将调查结果与特定联系人联系起来。这样，你可以识别不满意的客户，改善服务，以增加客户保留率。

02

Semantria

Semantria是一款从各种社交媒体收集帖子、推文和评论的工具。Semantria使用自然语言处理来解析文本并分析客户的态度。通过Semantria，公司可以了解客户对于产品或服务的感受，并提出更好的方案来改善产品或服务。

03

Trackur

Trackur的社交媒体监控工具可跟踪提到某一用户的不同来源。它会浏览大量网页，包括视频、博客、论坛和图像，以搜索相关消息。用户可以利用这一功能维护公司声誉，或是了解客户对品牌和产品的评价。

04

SAS Sentiment Analysis



SAS Sentiment Analysis是一款功能全面的软件。网页文本分析中最具挑战性的部分是拼写错误。SAS可以轻松校对并进行聚类分析。通过基于规则的自然语言处理，SAS可以有效地对消息进行分级和分类。

05

Hootsuit Insight

Hootsuit Insight可以分析评论、帖子、论坛、新闻站点以及超过50种语言的上千万种其他来源。除此之外，它还可以按性别和位置对数据进行分类，使用户可以制定针对特定群体的战略营销计划。你还可以访问实时数据并检查在线对话。

第五部分、数据库

01

Oracle



毫无疑问，Oracle是开源数据库中的佼佼者，功能丰富，支持不同平台的集成，是企业的最佳选择。并且，Oracle可以在AWS中轻松设置，是关系型数据库的可靠选择。除此之外，Oracle集成信用卡等私人数据的高安全性是其他软件难以匹敌的。

02

PostgreSQL

PostgreSQL超越了Oracle、MySQL和Microsoft SQL Server，成为第四大最受欢迎的数据库。凭借其坚如磐石的稳定性，它可以处理大量数据。

03

Airtable

Airtable是基于云端的数据库软件，善于捕获和显示数据表中的信息。Airtable提供一系列入门模板，例如：潜在客户管理、错误跟踪和申请人跟踪等，使用户可以轻松进行操作。

04

MariaDB

MariaDB是一个免费的开源数据库，用于数据存储、插入、修改和检索。此外，Maria提供强大的社区支持，用户可以在这里分享信息和知识。

05

Improvado

Improvado是一种供营销人员使用自动化仪表板和报告将所有数据实时地显示在一个地方的工具。作为营销和分析领导者，如果你希望在一个地方查看所有营销平台收集的数据，那么Inprovado对你再合适不过了。你可以选择在Improvado仪表板中查看数据，也可以将其通过管道传输到你选择的数据仓库或可视化工具中，例如Tableau、Looker、Excel等。品牌，代理商和大学往往都喜欢使用Improvado，以大大节省人工报告时间和营销花费。

总的来讲，我国的网络舆情监测技术已经趋于成熟，并且还不断的有新兴的企业涌入这个行业，监测技术注意依赖于前期信息采集和数据挖掘，与搜索引擎技术有些相似。

目前专门研究这个的企业有很多，产品也不少，像军犬网络舆情监测系统、人民网舆情报告、谷尼等都是这行业中的老品牌，有一定的资历。大部分这行业的企业都是国内的，国外的很少。

好的名字包含父母对宝宝美好寄托，程序只是根据一些规则去生成名字，由于NLP、语料等的限制，程序生成的名字只能作为参考，质量肯定达不到宝妈宝爸钻研推敲的水平，所以不用妄想全自动化生产，还是老老实实动脑比较好。

Github

https://githubcom/clg456852/Baby_name

程序使用Python编写，版本27。程序只考虑了的双字名字。

依赖库：

由于涉及到爬虫，如果在公司跑的话，需要设置代理。同时在 http://auth-proxyoacom/DevNetTempVisitaspx 申请访问外网权限。

。

前面说了，一个好的名字，最重要的是包含父母对宝宝美好寄托。

在此之上，尽量满足意、音、形，同时中国文化的八字也是一个考虑选项。

意： 名字最重要的属性，如希望宝宝开心取“乐”、“欣”字等，个人觉得如果，如果第二个字是动词的话，或者名字是形容词，更能获得好的寓意，如“怀乐“、”欣然“。

音： 如果名字其中的一个字的韵母与姓氏发音类似，则名字读起来会比较平滑，但不能两个都是，可能会比较绕口，同时最后一个字最好是舌根音，读起来短促有力。

形： 如果姓氏是上下结构，那么名字的其他字不宜再用相同结构。

八字： 八字平衡是最好的，通过八字的异类和同类来确定八字的喜用神。其中用神用来平衡八字，而喜神是生成用神的属性。

由上面的分析，程序的实现方案为：从语料（古典诗词）中获取词汇，分析词汇的意、音、八字、五格，给出最靠谱的若干的作为选择。

我整理的语料有：诗经、楚辞、唐诗300首、宋词300首、论语、全唐宋词等，有一些已经与处理过了，以‘corpus’开头。从语料中获取语句，根据一定的规则组词、分词，获取满足目标函数的名词作为潜在的名字。

这里目标函数我没有考虑名字的形，是因为这个属性属于景上添花的类型，宝妈宝爸可以挑选过程自行决定。

计算名字的八字、五格，我是用爬虫提交表单 https://wwwmeimingtengcom/Naming/DefaultaspxTag=4 ，再分析返回结果。所以短时间密集发送表单，可能会被服务器封IP，需要大量爬取的话最好建个代理池。

为了满足上面的需求，采用一些现有的第三方包来实现部分功能。

其中：

snowNLP可以分析词语的词性、声母、情感分析。

jieba可以对现有的语料进行分词。

zhconv用来将繁体语料转成简体版本。

bs4用来分析爬虫爬到的结果。

threadpool利用多线程来加速爬虫请求。

运行create_name脚本，可从语料中组词并提交表单到姓名打分网。

如果已经有名字可以直接运行name_score_post脚本，还还有其他一些是用做辅助工具的脚本。

程序最主要的脚本有两个：‘create_namepy’ 和 ’name_score_postpy’。

从语料中组词，挑选满足目标函数的词，输出到目标文件中。

默认从楚辞里组词，可以自行选择其他语料，全唐宋词规模太大，不推荐。

组词规则： 在句首、句尾、句间挑选字来组词，子句内用jieba分词去取的句内的词。

目标函数： 基于snowNLP实现，用来挑选正向的、词性、发声满足特定规则的词汇。

读取目标文件，利用爬虫获取姓名在&网站&的分析结果，获取姓名的文化印象、八字、五格方面的得分，输出Excel表格以供参考。

理想很丰满，现实很骨感。

目前使用的NLP与用来爬分析结果的网站，均没有表现得很“智能”，所以生成的结果可用率不高，像“无父”、“无母”这种词都能取得很高的分……

不过以更佛系的态度看，生成的结果有一些还是能够给宝妈宝爸一些启发的。还是那句话，名字是父母给宝宝的一份礼物，还是更积极地参与进去比较好，这份经历本身也是甜蜜美丽的财产。