전체 글 (84) 썸네일형 리스트형 Bot Detection / 크롤러 차단 / 크롤러 우회 #1 에이, 너가 그런거 아니지? 그냥 좋은 로직으로 크롤링만 하면 만사인줄 알았는데, 고비가 하나 더 있었다. CLI 환경에서 죽어라 크롤러를 돌리는데 자꾸 이상한 타이밍에서 Response를 못받아오거나, Connection Refuse가 발생해서 크롤러가 죽는 경우가 있었다. 내가 웹사이트 구조를 잘 이해하지 못해서 어디선가 Exception이 발생하는 건가.. 했지만, try / catch로 잡아보려고 해도 Exception은 발생하지 않았다. URL 문제인가? 라고 생각하면서 주소창에 여러가지 주소를 빠르게 넣어보며 웹페이지를 돌아 다니던 중, 갑자기 리다이렉션된 페이지. 정말 흠칫했는데 동시에 아차 싶었다. 지금까지 연습해온 크롤링은 정말 소규모에 불과했고, .. dpkg: error: parsing file install의 늪요번에 pcapy를 설치하던 중에 엄청나게 고생했는데.. 다름아닌 dpkg 때문에.. pcapy를 apt-get 같은 패키지 설치관리자가 아니라 수동으로 git hub 에서 받아오다보니, 여러 의존성 문제가 발생했다. 중간에 pcap가 설치가 안된 것을 보고 설치하려 했다.apt-get install libpcap-dev그런데, 에러가 하나 발생했다.dpkg was interrupted you must manually run "sudo dpkg --configure -a " ....시키는대로 하면 되겠지하고 sudo dpkg --configure -a 를 터미널에 입력하자,dpkg: error: parsing file '/var/lib/dpkg/updates/0001' near line.. [190222] 모의해킹 환경구성 갑분칼로그 분석과 관련해서 평소에 흥미를 두고 있었는데.. suricata나 snort같은.. 막상 써보고 싶어도 분석할 로그를 못찾겠어서 계속 어떻게 해야되나 생각만해왔다. 근데 모의침투환경을 내가 만들면 되는 것 아닌가 싶어서.. VMware로 우분투와 Kali를 설치했다. 설치 가이드 같은 포스팅은 아니고.. 그냥 기록일 뿐이니 Kali 설치와 한글 설정 등에 대한 내용은 다음 블로그에서 매우 잘 기술해 주셨다. (https://gmyankee.tistory.com/125) MsfvenomKali에 있기도 하고 취약점 분석 툴로 대표적인 Metasploit을 이용해서 snort 로깅 테스트를 해보자. linux 환경에서 실행될 reverse_tcp 바이너리를 하나 만들어줍니다. msfvenom 즉 .. 이전 1 ··· 9 10 11 12 13 14 15 ··· 28 다음
