Official website (https://scrapy.org/)
Scrapy
Sign in to saveWebcrawling- und Scraping-Framework für Python
Key facts
- Software.name
- Scrapy
- Software.logo
- File:Scrapy logo.jpg
- Software.developer
- Zyte (formerly Scrapinghub)
- Software.programming language
- Python
- Software.operating system
- Windows, macOS, Linux
- Software.genre
- Web crawler
- Software.license
- BSD License
via Wikipedia infobox
Official website
Scrapy — open source web scraping framework for Python
Scrapy is the leading open source Python framework for web scraping — fast, asynchronous, extensible, and BSD-licensed. Trusted by millions of developers.
scrapy.org →Link to the official site · 6,101 chars · not written by Vinony
Described at
TAPoR
tapor.ca →Scrapy is an open source programming library for web crawling and web page text extraction, written in Python. You can make calls to Scrapy code from within your own scripts and applications to automate the task of extracting data from websites. You would typically use Scrapy to automate the task of visiting one or more web pages, on a website to which you have access. You could alternately use it to invoke web-based Application Programming Interfaces (APIs).
Excerpt from a page describing this subject · 2,477 chars · not written by Vinony
Wikidata facts
- Instance of
- software
- Official website
- scrapy.org
- Has use
- data visualization
Show 9 more facts
- source code repository URL
- github.com/scrapy/scrapy
- programmed in
- Python
- copyright license
- 3-clause BSD License
- issue tracker URL
- github.com/scrapy/scrapy/issues
- software quality assurance
- continuous integration
- software version identifier
- 2.15.1
- described at URL
- marketplace.sshopencloud.eu/tool-or-service/UfX6Ad
- operating system
- Berkeley Software Distribution
- social media followers
- 5365
Sources (11)
via Wikidata · CC0
Article · Deutsch
Scrapy ([skrɛɪ̯pi̯]) ist ein „Free and Open Source“-Webcrawling- und Scraping-Framework, das in der Programmiersprache Python geschrieben wurde. Ursprünglich wurde Scrapy für Webscraping designt, jedoch kann es als Allzweck-Webcrawler oder auch zur Extraktion von Daten mittels API genutzt werden. Gegenwärtig wird es von der Firma Zyte Limited (früher Scrapinghub Ltd.) betreut. Die Architektur baut auf sogenannten Spiders auf. Dies sind in sich geschlossene Crawler, denen eine Reihe von Anweisungen gegeben werden. Nach dem Prinzip anderer „Don’t repeat yourself“-Frameworks, wie beispielsweise Django, vereinfacht das Framework den Aufbau und die Skalierung von großen Crawling-Projekten, indem es Entwicklern erlaubt, den Code wiederzuverwenden. Scrapy bietet auch eine Shell, die Entwickler nutzen können, um ihre Annahmen auf das Verhalten einer Website zu testen. Einige Unternehmen und Produkte, die Scrapy nutzen, sind: * Lyst * Parse.ly * Sayone Technologies * Sciences Po Medialab * Data.gov.uk
Abstract from DBpedia / Wikipedia · CC BY-SA