1,先在settings中把ROBOTSTXT_OBEY = False
在主目录下面新建main文件
__autor__ = 'zhouli'__date__ = '2018/11/3 22:39'from scrapy.cmdline import execute # 可以执行scrapy的脚本import sysimport ossys.path.append( os.path.dirname(os.path.abspath(__file__))) # os.path.abspath(__file__)获取到main.py的路径,os.path.dirname()获取到父目录execute(['scrapy', 'crawl', 'project_name']) # 该方法是讲命令的三个字符传递进来
也就是说需要调试什么命令就这样传输即可
单击鼠标右键debug
2,虚拟环境
安装 pip install -i http://pypi.douban.com/simple/ virtualenv (这个是使用豆瓣源安装)
测试安装 virtualenv --version
让虚拟的python环境可以使用系统的python第三方库 virtualenv --always-copy --system-site-packages venv
cd my_projectvirtualenv my_project_env
让我们从头捋一遍:
# 1,新建虚拟环境virtualenv scrapytest# 2,进入虚拟环境cd scrapytestcs Scriptsactivate.bat # 运行这个activate.bat文件即可进入虚拟环境(前面有括号的)deactivate.bat # 退出虚拟环境(前面括号消失)# 如何选择python版本?virtualenv -p C:\\*** # -p后面是python的路径
当需要改变python的版本时候需要在虚拟环境下运行!
但是比较蛋疼的是每一次都需要找到路径,然后运行命令,比较繁琐,如何解决呢?
虚拟环境管理包:
pip install virtualenvwrapper# 安装完成之后使用workonworkon # 列出所有虚拟环境mkvirtualenv py3scrapy # 新建一个虚拟环境py3scrapy,然后自动进入虚拟环境# 注意默认位置workon py3scrapy # 进入虚拟环境py3scrapy
这样就能够保证环境是独立的