ecsimsw

Google image crawler    -  파이썬으로 크롤링을 공부하고 이를 연습해보기 위한 간단한 프로젝트로 구글 이미지 다운로더를 만들었다.    - 구글에서 검색하고자 하는 이미지를, 미리 정의해둔 개수만큼 저장한다. 언어는 python, 라이브러리는 Urllib, BeautifulSoup4, Selenium을 주로 사용하였다. Crawling / Scraping https://ecsimsw.tistory.com/entry/Crawling-Scraping?category=869268 jinhwan web.." data-og-host="ecsimsw.tistory.com" data-og-source-url="https://ecsimsw.tistory.com/entry/Crawling-Sc..

Introduction구글 검색 시, 엄청난 수의 정보 속에서 어떤 알고리즘으로 자료의 우선 순위를 매겨 사용자에게 보여주는지 궁금하여 알아보다가 좋은 포스트를 발견하여 나름대로 정리해보았다. PageRank구글이 검색 엔진에서 정보의 우선 순위를 할당하는 방식이다. 결과부터 말하면, 페이지의 우선도는 해당 페이지를 링크하고 있는 페이지들의 우선도 값으로 결정된다. 사람을 평가하기 위해, 잘 어울려다니는 친구들을 평가하는 느낌이다. 세르게이 브린과 래리 페이지는 웹 안에서 인덱싱을 통한 기존의 검색 방식이 문제가 있고, 텍스트 그 자체를 통한 검색이 아닌, 하이퍼텍스트를 이용하여 링크 구조와 링크 텍스트를 이용하면 보다 유용한 정보를 제공할 수 있다고 생각하였다. 이 구조를 이용하면 페이지 마다의 영향력..

유전 알고리즘 유튜브에서 우연히 유전 알고리즘으로 자동차 자율 주행을 위한 최적의 조건을 찾는 영상이나 그네를 타기 위해 학습시키는 영상을 보게 되었고, 유전 알고리즘을 공부하고 간단하게 확인해볼 수 있는 자율 주행 자동차 시뮬레이션을 만들어보았다. Generic Algorithm 사건 안에서 더 나은 결과를 갖는 염색체들끼리의 유전 정보 교차하여 세대를 거듭하면, 점점 더 나은 염색체를 얻을 수 있겠다는 생각에서 시작.  Chromosome : 염색체, Gene : 유전자, Child : 자손, Fitness : 적합도 Process  유전 알고리즘을 구현하기 위한 순서는 다음과 같다.1. Definite : 학습하고자 하는 정보를 어떤식으로 표현할 것인가.2. Fitness : 어떤 기준으로 유전자의..

Introduction - Teachable machine을 사용해보고, 유튜브로 머신 러닝 영상들을 찾아보다가, 유전 알고리즘으로 자동차 자율 주행을 위한 최적의 조건을 찾는 영상이나 그네를 타기 위해 학습시키는 영상을 보게 되었고, 재밌어보여서 공부하게 되었다. - 유전 알고리즘을 공부하고, 간단하게 자율 주행 자동차를 위한 최적의 조건을 찾아보았다. Generic Algorithm - 사건 안에서 더 나은 결과를 갖는 염색체들끼리의 유전 정보 교차하여 세대를 거듭하면, 점점 더 나은 염색체를 얻을 수 있겠다는 생각에서 시작. - Chromosome : 염색체, Gene : 유전자, Child : 자손, Fitness : 적합도 Process - 유전 알고리즘을 구현하기 위한 순서는 다음과 같았다. ..

https://teachablemachine.withgoogle.com/train 구글에서 런칭한 무료 머신러닝 서비스. 신기함 반, 심심함 반으로 사용해봤는데, 머신러닝이 이렇게 재밌는 거구나 생각했다. 좌측 class 라인에 분류할 이미지 class 별 명칭을 적고, 웹캠이나 직접 사진을 업로드하여 Training하면 끝. Preview에서 마찬가지로 데이터를 넣어 시험해볼 수 있고, Export Model을 통해, javascript 코드나 Model 파일을 추출할 수 도 있다. // More API functions here: // https://github.com/googlecreativelab/teachablemachine-community/tree/master/libraries/image /..

Disk scheduling - 어떤 알고리즘으로 헤드를 움직여야 가장 효율적인 방식으로 디스크 큐의 request를 처리할 수 있을지에 대한 고민. FCFS (first come, first served) - 먼저 온 것부터 처리하면 간편하고, 공정하지만 다음 요청을 무시한 체 헤드를 왔다 갔다 움직여 비효율적이다. SSTF (shortest seek time first) - 현재 헤드의 위치에서 가장 가까운 위치의 요청부터 처리한다. - 큐에 요청이 계속 들어오고, 한 쪽으로 헤드가 편향되면서 starvation이 발생한다. SCAN - 헤드를 디스크 전체를 스캔하는 방식으로 큐의 작업을 처리해간다. - SCAN, C_SCAN, Look Scan, C_look Scan 방식이 있다. 1. SCAN :..

Disk Sector, Disk Cluster, Disk Block - Sector : 자체적으로 주소를 갖고 있는 스토리지 단위이다. 하드디스크의 섹터 크기는 보통 512byte이고, 소프트웨어적으로 접근할 수 있는 가장 작은 단위가 된다. - Cluster : Sector의 집합으로, 파일을 할당할 수 있는 항당 단위이다. 파일이 할당 될 수 있는 가장 작은 디스크 공간이다. - Block : 운영체제가 디스크를 접근하는 기본 단위이다. 즉 1개 이상의 섹터를 갖는다. 블록 단위의 크기가 커지면 한번에 참조하는 양이 많아지므로 속도는 빨라지지만, 낭비되는 메모리가 많아 메모리 활용에서는 떨어진 성능을 보인다. Allocate and Free - Disk에 파일을 할당하고, 해제하는 방식을 결정한다. ..

Thrashing - CPU utilization 과 degree of mulit-programming은 비례할 것지만 실제로는 그렇지 않다. multi-programming 정도가 커지면서 page in-out 빈도가 늘어나고, 비교적 많이 느린 메모리와 보조 메모리를 사용하는 시간동안 cpu의 활용이 줄어들기 때문이다. 이런 페이지 결함이나 그로 인한 과도한 페이징 작업을 thrashing 이라고 한다. - thrashing은 페이지 수에 크게 의존하고, thrashing만을 생각한다면 global 보다는 local replacement가, 더 나아가 한 프로세스 당 페이지 수를 적절하게 할당하는 것이 좋다. Techniques to handle - thrashing을 예방하기 위해 적절한 수를 할당..