博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
scrapy的调试和环境安装技巧
阅读量:5739 次
发布时间:2019-06-18

本文共 1139 字,大约阅读时间需要 3 分钟。

1,先在settings中把ROBOTSTXT_OBEY = False

在主目录下面新建main文件

__autor__ = 'zhouli'__date__ = '2018/11/3 22:39'from scrapy.cmdline import execute  # 可以执行scrapy的脚本import sysimport ossys.path.append(    os.path.dirname(os.path.abspath(__file__)))  # os.path.abspath(__file__)获取到main.py的路径,os.path.dirname()获取到父目录execute(['scrapy', 'crawl', 'project_name'])  # 该方法是讲命令的三个字符传递进来

也就是说需要调试什么命令就这样传输即可

单击鼠标右键debug

2,虚拟环境

安装 pip install -i http://pypi.douban.com/simple/ virtualenv (这个是使用豆瓣源安装)

测试安装  virtualenv --version

让虚拟的python环境可以使用系统的python第三方库 virtualenv --always-copy --system-site-packages venv

cd my_projectvirtualenv my_project_env

 让我们从头捋一遍:

# 1,新建虚拟环境virtualenv scrapytest# 2,进入虚拟环境cd  scrapytestcs Scriptsactivate.bat  # 运行这个activate.bat文件即可进入虚拟环境(前面有括号的)deactivate.bat  # 退出虚拟环境(前面括号消失)# 如何选择python版本?virtualenv -p C:\\***  # -p后面是python的路径

当需要改变python的版本时候需要在虚拟环境下运行!

但是比较蛋疼的是每一次都需要找到路径,然后运行命令,比较繁琐,如何解决呢?

虚拟环境管理包:

pip install virtualenvwrapper# 安装完成之后使用workonworkon # 列出所有虚拟环境mkvirtualenv py3scrapy # 新建一个虚拟环境py3scrapy,然后自动进入虚拟环境# 注意默认位置workon py3scrapy # 进入虚拟环境py3scrapy

这样就能够保证环境是独立的

 

转载于:https://www.cnblogs.com/zhoulixiansen/p/9902526.html

你可能感兴趣的文章
Java 的swing.GroupLayout布局管理器的使用方法和实例
查看>>
Android中Activity和Fragment的生命周期的对比
查看>>
C++Primer_笔记_异常处理
查看>>
分区交换 alter table exchange partition 在线表 历史表交换
查看>>
zabbix详解:(二)添加被监控机器
查看>>
人像模式的灯光效果?iPhone 8开挂袭来
查看>>
Linux下MongoDB安装与配置
查看>>
DSL配置(PPPOA)
查看>>
WEBRTC执行流程
查看>>
Spring Boot 入门系列
查看>>
Spring Cloud版——电影售票系统<六>使用 Spring Cloud Config 统一管理微服务配置
查看>>
Java not support java EE1.3
查看>>
iptables规则备份及恢复、firewalld九个zone,service的操作
查看>>
www.conf配置文件的参数详解
查看>>
如何实现邀请好友帮抢票功能?
查看>>
深圳联通特邀湖北籍企业参观公司总部大楼举行
查看>>
告警系统主脚本、告警系统配置文件、告警系统监控项目
查看>>
Python 和 PyCharm 在 windows10 环境的安装和设置
查看>>
C语言入门基础之数组——数学和编程的完美结合(图)
查看>>
《远见》的读后感作文1000字范文
查看>>