轻松学习：Linux下如何安装Scrapy？ (linux 安装scrapy)

Scrapy是一个基于Python的web爬虫框架，可以用于爬取网站数据以及处理网站数据。在Linux下安装Scrapy也并不难，只需要按照以下步骤进行即可。

之一步：安装pip

在安装Scrapy之前，需要先安装pip， pip是Python的包管理工具，可以帮助我们安装和管理Python模块。在Ubuntu中，可以通过以下命令安装pip：

“`

sudo apt-get install python-pip

“`

这个命令将会安装python-pip包。

第二步：安装lxml和libxml2-dev

在安装Scrapy之前，还需要安装lxml和libxml2-dev，这是因为Scrapy使用lxml解析HTML文档。在Ubuntu中，可以通过以下命令安装lxml和libxml2-dev：

“`

sudo apt-get install libxml2-dev libxslt-dev python-dev

sudo apt-get install zlib1g-dev

sudo apt-get install libffi-dev

sudo pip install lxml

“`

这将会安装lxml以及其依赖项。

第三步：安装Scrapy

完成了lxml和pip的安装，现在可以使用pip安装Scrapy了，通过以下命令可以安装Scrapy：

“`

sudo pip install scrapy

“`

执行完这个命令后，pip将会自动下载和安装Scrapy。

第四步：测试Scrapy

安装Scrapy之后，可以使用以下命令来测试Scrapy是否成功安装：

“`

scrapy

“`

如果成功安装，则应该看到类似以下的输出：

“`

Scrapy 1.5.0 – no active project

Usage:

scrapy [options] [args]

Avlable commands:

bench Run quick benchmark test

check Check spider contracts

crawl Run a spider

edit Edit spider

fetch Fetch a URL using the Scrapy downloader

genspider Generate new spider using pre-defined templates

list List avlable spiders

parse Parse URL (using its spider) and print the results

runspider Run a self-contned spider (without creating a project)

settings Get settings values

shell Interactive scraping console

startproject Create new project

version Print Scrapy version

view Open URL in browser, as seen by Scrapy

“`

这意味着Scrapy已经成功安装。

结论：

相关问题拓展阅读：

• linux怎么截图，小窗口那种

linux怎么截图，小窗口那种

如果是有虚拟机的话，可以用windows下的截图工具，比如qq截图之类。

linux 下 要是小窗口截图就只能源缓汪装截图工具了 推荐一款小巧好用的截图工具scrot

scrot使用方法如下 :

一 快哪岁捷使用方法:

安装后输入命令 scrot -s rectangle.png 然后拖动鼠标画矩形框，矩形框内的图像会被截取出来，并保存至当前目录下的rectangle.png中。

二 详细使用方法:

1.安装，想安装其他软件一样，Fedora redhat下用 yum install scrot ， Ubuntu下apt-get install scrot就可以了。

2.使用一般用法就一般而言，使用 scrot 可以抓取整个桌面、某个指定的窗口、以及选择的矩形区域。

抓取桌面:scrot desktop.png，该命令将当前的整个桌面抓取下来，并保存为 desktop.png 文件。可以在当前的目录中找到此图像文件。

抓取窗口:scrot -bs window.png，选项 b 使 scrot 在抓取窗口时一同将外边框抓取下来，而 s 选项则让用户选择所要抓取的是何窗口。

抓取区域:scrot -s rectangle.png，在执行此命令后，使用鼠标拖曳的矩形区域将被 scrot 抓取下来。

高级使用对于普通的抓取使用 scrot 的基础便足以应付了。但在某些特殊情况之下，使用 scrot 抓取图像需要讲究一些技巧。

延时抓取:scrot -cd 10 menu.png，此命令中的 d 选项用于延时抓取图像，雹仔其后的 10 代表延时 10 秒;前面的选项 c 显示倒计时。在抓取菜单或是命令提示时，该技巧将充分展示其魔力。

生成缩图:scrot -t 50% thumb.png，这个命令在抓取图像的同时生成该图像的缩略图。选项 t 将打开此功能，其后的 50% 为原图的缩放百分比。

更改品质:scrot -q 70 quality.jpg，此命令中的 q 选项用于更改所抓图像的品质，其数值介于之间，默认为 75。数值越大，意味着图像品质越高;同时，图像的压缩率也就越低，占用空间越大。

操作抓图:scrot action.png -e ‘mv $f ~/images/’，该命令将抓取的图像移动到 ~/images/ 目录。显然，操作图像的功能由 e 选项开启，其中的 $f 代表原图的路径/文件名。

以上示例皆指定了需要保存的抓图的文件名称。实际上，如果不指定名称，那么 scrot 在抓取图像后会自动使用当前的日期时间、宽度高度的组合来生成文件名称。

关于linux 安装scrapy的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。

香港服务器首选树叶云，2H2G首月10元开通。
树叶云（shuyeidc.com）提供简单好用，价格厚道的香港/美国云服务器和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。