Roxie Gibson 75afe20922 Script is finished! | před 4 roky | |
---|---|---|
.gitignore | před 4 roky | |
.pylint.rc | před 4 roky | |
.style.yapf | před 4 roky | |
Pipfile | před 4 roky | |
Pipfile.lock | před 4 roky | |
README.md | před 4 roky | |
main.py | před 4 roky | |
requirements.txt | před 4 roky | |
urls.json | před 4 roky |
Script to scrape a number of landbot.io chat bot messages. This keeps intact choices, dialogue blocks, and image and youtube links.
Installation requires Python 3.6+, pip, and venv
Also requires Firefox and the Gecko drivers for selenium to interact with Firefox.
git clone REPO_URL
cd landbot_scrape
python3 -m venv .venv
source .venv/bin/activate
python3 -m pip install -r requirements.txt
Add all required urls to scrape to the json file urls.json
To run the script, make sure you are source’d into the virtual env, then run
python3 main.py